Kapan Gak Boleh Pakai AI — Gw Belajar dari 3 Kesalahan Sendiri

Gw jalanin 19+ agent AI tiap hari buat beberapa bisnis kecil — mulai dari yang ngurusin email sampai yang ngurusin toko online. Orang sering nganggep itu artinya gw percaya AI harus dipakai buat semuanya. Kebalikannya. Justru karena gw yang paling sering ngeliat AI salah, gw yang paling tegas soal kapan dia gak boleh dipegang sama sekali.

Kenapa gw yang nulis ini, bukan sekadar opini

Ini bukan rangkuman pendapat orang lain soal AI. Ini kesimpulan dari sistem yang beneran jalan, dan beneran pernah salah, di depan gw sendiri. Kalau kalian belum baca cerita di baliknya, tiga insiden di bawah ini semuanya udah gw tulis lengkap sebagai Build Story terpisah — bagian ini cuma ngambil pelajaran yang nyambung satu sama lain.

Tiga insiden yang ngajarin gw batasnya

Insiden pertama: agent nyaris ngirim 6 artikel lama ke semua subscriber sekaligus. Logikanya kelihatan aman di atas kertas — "cari yang belum dinotif, kirim." Tapi begitu catatan "udah dinotif"-nya kosong pas sistem baru nyala, semua data lama otomatis dianggap baru. Selengkapnya ada di cerita nyaris blast 6 artikel lama ini.

Insiden kedua: bot customer service jawab pakai data yang udah basi. Bot FAQ toko online yang gw pegang jawab "ready semua warna" ke pertanyaan soal warna yang sebenarnya lagi habis stok. Botnya gak salah — dia jawab persis sesuai data yang diisiin. Masalahnya di asumsi gw bahwa data itu bakal selalu ke-update tepat waktu. Ceritanya lengkap di otomasi notifikasi toko online yang gagal dua kali.

Insiden ketiga: form yang "kelihatan berhasil" tapi diam-diam gagal total. Pas bangun situs ini sendiri, form subscribe nampilin pesan sukses tiap kali dicoba — padahal di belakang layar, datanya nyasar ke tempat yang salah gara-gara satu ID yang ke-salah copy. Ketauan cuma karena gw sengaja cek manual, bukan karena sistemnya kasih tau. Ceritanya ada di artikel soal bangun media site ini.

Polanya sama di tiga-tiganya: AI-nya gak "salah" secara teknis. Dia ngerjain persis apa yang diminta. Yang salah adalah gw yang nyerahin keputusan ke sistem tanpa nahan satu titik buat verifikasi manusia.

Kenapa ini penting: definisi "unggul pakai AI" yang keliru

Kebanyakan orang ngukur kemampuan pakai AI dari seberapa banyak yang mereka delegasiin. Makin banyak tugas dilempar ke AI, makin dianggap canggih. Menurut gw itu ukuran yang salah arah.

Keunggulan yang sebenarnya bukan di jumlah tugas yang didelegasikan — tapi di ketepatan milih mana yang gak boleh didelegasikan. Orang yang jalanin 19 agent kayak gw sekalipun tetap nahan sejumlah keputusan di tangan sendiri, dan itu bukan karena AI-nya kurang canggih. Itu karena sebagian keputusan risikonya nempel ke orang lain, bukan cuma ke gw.

Tiga insiden di atas polanya sama: yang berisiko bukan tugasnya, tapi siapa yang kena dampak kalau salah. Notifikasi dobel ke grup internal cuma bikin ribet — paling banter karyawan double-check. Bot yang salah jawab ke pembeli bikin mereka kecewa beneran dan itu nyangkut ke reputasi toko. Semakin dekat sebuah tugas ke keputusan yang menyangkut orang lain — uang mereka, waktu mereka, kepercayaan mereka — semakin AI itu cuma boleh jadi draft, bukan keputusan final.

Kerangka yang gw pakai buat mutusin

Sebelum nyerahin sebuah tugas ke AI, gw jawab tiga pertanyaan ini dulu. Kalau jawabannya "iya" di salah satu, gw tahan tugas itu di tangan manusia — atau minimal kasih titik cek manual sebelum jalan sendiri.

Sebelum gw delegasiin tugas ini ke AI, gw cek tiga hal:

TUGAS: [ISI — tugas yang mau didelegasikan]

1. Kalau AI ini salah, siapa yang kena dampak duluan — cuma
   gw/tim internal, atau orang di luar (pembeli, klien,
   subscriber)? [ISI]
2. Apakah tugas ini butuh penilaian soal selera, konteks personal,
   atau situasi yang berubah-ubah — bukan cuma pola yang berulang?
   [ISI]
3. Kalau ini jalan otomatis tanpa gw awasi seminggu penuh, apa
   hal terburuk yang bisa kejadian, dan apa gw bakal tau kalau
   itu kejadian? [ISI]

Kalau jawaban #1 "orang di luar", #2 "iya butuh penilaian", atau
#3 "gw gak bakal tau" — tugas ini gw tahan, atau gw kasih titik
cek manusia sebelum jalan sendiri.

Kerangka ini gak bikin AI-nya kurang berguna. Dia bikin gw lebih berani nyerahin tugas yang emang aman — karena gw udah jelas tau batasnya, bukan nebak-nebak tiap kali. Kalau kalian mau audit lebih jauh sistem yang udah kalian punya, ada prompt untuk mapping failure mode di prompt library kita yang bisa dipakai buat cek satu-satu sebelum kejadian beneran, bukan sesudahnya kayak gw.