Organisasi-organisasi yang bekerja sama dengan RSA—seperti bank, lembaga pemerintah, sektor pertahanan, dan infrastruktur kritis—bergerak dengan lambat dalam mengadopsi agen kecerdasan buatan (AI). Sikap hati-hati tersebut sering ditafsirkan sebagai penolakan terhadap perubahan. Padahal, bukan itu masalahnya. Itu adalah penilaian yang matang. Di sektor-sektor ini, kegagalan bukanlah sekadar hambatan. Kegagalan berarti pembayaran yang terhenti, perawatan yang tertunda, atau jaringan listrik yang mati.
Sekitar 70% Di sektor-sektor dengan tingkat keamanan tinggi, keamanan dan privasi merupakan hambatan utama dalam penerapan sistem berbasis agen. Hal itu bukanlah rasa takut terhadap hal baru. Melainkan penilaian yang tepat terhadap risiko yang ada.
Secara historis, perangkat lunak yang digunakan oleh bank, pemerintah, dan semua perusahaan didasarkan pada asumsi sederhana: solusi-solusi tersebut pada dasarnya melakukan apa yang Anda perintahkan, dan tidak lebih dari itu. Minggu depan, dalam Konferensi AI di San Francisco, saya akan menjelaskan bagaimana agen-agen tersebut mematahkan asumsi tersebut.
Agen dapat melakukan apa yang Anda perintahkan kepada mereka. Namun, mereka juga mampu melakukan jauh lebih banyak lagi. Hal ini menimbulkan risiko-risiko baru yang belum dipersiapkan oleh sebagian besar industri dengan tingkat keamanan tinggi.
Salah satu mitos yang menghambat hampir setiap program agen pada tahap awal adalah anggapan bahwa tempat penyimpanan data sama dengan kedaulatan. Tempat penyimpanan data menjawab satu pertanyaan—di mana data disimpan saat tidak digunakan? Simpanlah data tersebut di wilayah yang tepat, di layanan cloud yang tepat, dan berdasarkan kontrak yang tepat, maka persyaratan tempat penyimpanan data telah terpenuhi.
Agen-agen tidak menghormati batasan tersebut, karena agen-agen tidak bekerja dengan data yang tersimpan. Mereka mengambil data tersebut, menganalisisnya, dan bertindak berdasarkan data tersebut—secara mandiri dan dinamis. Sebuah model yang dihosting di satu yurisdiksi menganalisis data pelanggan dari yurisdiksi lain. Kolom-kolom sensitif masuk ke dalam prompt, memori, log, dan embedding yang berada di luar sistem pencatatan Anda. Data tersebut dipindahkan, dan yurisdiksi tempat data tersebut disimpan tidak pernah memiliki kendali atas perpindahan tersebut. Perpindahan itulah yang sebenarnya melanggar kedaulatan data.
Kami memilih agen karena kemandirian mereka. Mereka bertindak tanpa harus menunggu perintah, dan hal itu sungguh berharga—bahkan itulah inti utamanya.
Namun, otonomi tidak dapat dipisahkan dari kewenangan. Sebuah entitas yang dapat bertindak atas nama Anda dapat mentransfer uang, memberikan akses, mengubah catatan, atau mengaktifkan sistem lain. Kemampuan yang Anda beli kini menjadi risiko yang Anda tanggung.
Itulah salah satu alasan mengapa industri yang sangat diatur seharusnya bersikap hati-hati dalam menerapkan layanan berbasis agen. Sebab, ketika mereka melakukannya, mereka bukan sekadar menerapkan sebuah alat. Mereka sedang mendelegasikan wewenang. Dan sebagian besar organisasi belum menentukan secara jelas apa saja yang telah mereka serahkan.
Dalam sesi ini, saya membagi masalah tersebut menjadi empat titik kendali. Keempat titik kendali tersebut melampaui perspektif data dan infrastruktur yang biasa, karena peran seorang agen tidak hanya terbatas pada data:
Keputusan: siapa yang menentukan hasilnya, saat ini?
Seorang agen yang memiliki wewenang dan kredensial yang kuat dapat mengesahkan tindakan berdampak besar tanpa campur tangan manusia. Rantai pendelegasian menjadi terputus, dan Anda tidak dapat membuktikan bahwa suatu tindakan dapat ditelusuri kembali ke seseorang yang bertanggung jawab. Proses peninjauan yang hanya ada di atas kertas namun tidak berfungsi karena tekanan latensi justru akan “gagal terbuka” alih-alih “gagal aman”.
Data: apa saja yang dapat diketahui, disentuh, dan dibawa oleh agen?
Lebih dari sekadar tempat tinggal, ini soal jejak: bisakah Anda menjelaskan apa yang dilihat dan digunakan oleh agen tersebut untuk mengambil keputusan setelah kejadian? Penyisipan cepat dapat mengubah dokumen yang telah diracuni menjadi instruksi pengeluaran data. Tanpa klasifikasi dan minimisasi pada saat tindakan dilakukan, data sensitif mengalir tanpa pengawasan.
Infrastruktur: di mana infrastruktur tersebut beroperasi, dan di bawah kendali siapa?
Lingkungan bersama yang multi-tenant tidak menjamin adanya isolasi yurisdiksi maupun fisik. Inferensi yang dihosting di cloud dapat secara diam-diam kembali menimbulkan risiko yang sama persis yang semula dianggap telah diatasi oleh suatu organisasi melalui penyimpanan di lokasi sendiri. Lingkungan yang diklasifikasikan sama sekali tidak dapat memanggil API model yang dihosting—dan inilah yang memicu munculnya solusi alternatif yang tidak terdeteksi.
Ekosistem: hal apa lagi yang dapat dipengaruhi oleh agen tersebut, atau melalui apa lagi agen tersebut dapat bertindak?
Agen-agen terhubung ke alat dan server pihak ketiga yang tidak pernah diverifikasi atau didaftarkan oleh siapa pun. Satu alat hilir yang diretas dapat beroperasi memanfaatkan hak akses yang telah diberikan kepada agen Anda. Agen-agen mitra dan vendor mewarisi akses secara transitif, dan rantai pasokan yang terdiri dari agen yang memanggil agen lain tidak memiliki satu titik pun untuk menerapkan atau mengaudit kebijakan.
Pasang sebuah agen, dan Anda akan dapat mengoperasikannya di keempatnya sekaligus, terlepas dari apakah Anda telah menentukan cakupannya atau tidak.
Pembatas pada tingkat prompt dan model bersifat probabilistik. Pembatas ini mengurangi kemungkinan terjadinya hasil yang buruk; namun, pembatas ini tidak memberikan jaminan. Industri yang diatur tidak dapat mengaudit hal yang “kemungkinan besar tidak terjadi.” Sebuah batasan pengaman dapat mendeteksi pola buruk yang sudah diketahui, tetapi tidak dapat memastikan identitas agen, di mana agen tersebut beroperasi, dan apa yang diizinkan untuk dilakukannya dalam tindakan baru.
Jaminan tinggi berarti mendasarkan setiap tindakan pada identitas. Seorang agen memerlukan identitas yang dapat diverifikasi serta wewenang yang terbatasi dan dapat dibuktikan, sehingga setiap tindakan dapat ditelusuri kembali ke pelaku yang diketahui, otorisasi yang diketahui, dan rantai yang dapat diaudit. Identitas adalah jangkar yang menopang tiga titik kendali lainnya—mengendalikan keputusan, mengelola data, memverifikasi infrastruktur, dan membatasi ekosistem, semuanya terhadap aktor yang benar-benar dapat Anda sebutkan namanya. Jika identitas salah, ketiga hal lainnya hanyalah tebakan belaka.
Sebelum Anda mengizinkan sebuah agen untuk beroperasi, Anda harus dapat menjawab pertanyaan-pertanyaan berikut: Siapa yang memberi wewenang untuk ini? Di mana agen tersebut dijalankan? Data apa saja yang dapat diaksesnya? Apakah Anda dapat membuktikannya?
Jika jawaban-jawaban tersebut jelas, berkelanjutan, dan dapat diaudit, Anda dapat bergerak cepat dalam penerapan AI dan tetap lulus audit. Jika tidak, Anda tidak benar-benar mengelola agen—Anda hanya berharap. Kedaulatan adalah sikap, bukan sertifikat. Kedaulatan bersifat berkelanjutan dan dapat diaudit, karena agen bertindak secara berkelanjutan, dan kontrol yang tidak dapat Anda buktikan saat diminta bukanlah kontrol yang sesungguhnya.
Kedaulatan agensial adalah kemampuan untuk mempertahankan pengendalian yang dapat dibuktikan atas apa yang diputuskan, disentuh, dijalankan, dan dilakukan oleh agen AI otonom—secara terus-menerus dan dengan cara yang akan memenuhi persyaratan audit. Berbeda dengan kedaulatan data, yang berkaitan dengan lokasi data tinggal, kedaulatan agen berkaitan dengan otoritas yang terus bergerak: setiap keputusan yang diambil oleh seorang agen menyebabkan dan setiap tindakan yang dilakukannya atas nama Anda.
Tidak. Ketentuan tempat penyimpanan data mengatur di mana data disimpan dalam keadaan diam. Agen AI bekerja dengan data yang sedang bergerak—mereka mengambil data tersebut, menganalisisnya, dan bertindak berdasarkan data tersebut secara dinamis, seringkali melintasi yurisdiksi dan di luar sistem pencatatan resmi. Ketentuan tempat penyimpanan data tidak mengatur pergerakan tersebut, dan justru di situlah kedaulatan menjadi tidak berlaku.
Karena konsekuensi kegagalan sangat serius—pembayaran yang terhenti, penundaan perawatan, gangguan pada jaringan listrik—bukan sekadar ketidaknyamanan belaka. Keamanan dan privasi merupakan hambatan utama yang disebutkan dalam adopsi teknologi ini oleh sekitar 70% organisasi dengan tingkat keamanan tinggi. Sikap hati-hati ini mencerminkan pemahaman yang tepat terhadap risiko yang ada, bukan penolakan terhadap perubahan.
Keputusan (siapa yang mengendalikan hasilnya dan apakah manusia bertanggung jawab), Data (apa yang dapat diketahui dan disimpan oleh agen tersebut, serta apakah riwayatnya dapat dilacak), Infrastruktur (di mana agen tersebut beroperasi dan di bawah kendali siapa), dan Ekosistem (alat dan agen lain apa saja yang dapat dipengaruhi atau digunakan oleh agen tersebut). Setiap penerapan agen beroperasi di keempat aspek tersebut secara bersamaan.
Pengaman pada tingkat prompt dan model bersifat probabilistik. Pengaman tersebut mengurangi kemungkinan terjadinya hasil yang buruk, tetapi tidak memberikan jaminan, dan industri yang diatur tidak dapat mengaudit hal yang “kemungkinan besar tidak terjadi.” Sebuah pengaman dapat mendeteksi pola buruk yang sudah diketahui, tetapi tidak dapat memastikan identitas, lingkungan, dan kewenangan agen dalam melakukan tindakan baru.
Jaminan tinggi berarti setiap tindakan agen didasarkan pada identitas yang dapat diverifikasi serta wewenang yang terbatas dan dapat dibuktikan, sehingga dapat ditelusuri kembali ke pelaku yang diketahui, otorisasi yang diketahui, dan rantai yang dapat diaudit. Identitas adalah titik tumpu; pengendalian atas keputusan, data, infrastruktur, dan ekosistem semuanya bergantung pada kemampuan untuk mengidentifikasi pelaku di balik suatu tindakan.
Ketiga: Siapa yang mengizinkan hal ini? Di mana hal ini dijalankan? Bisakah Anda membuktikannya? Jika Anda bisa menjawab ketiga pertanyaan tersebut secara berurutan dan kapan pun diminta, Anda bisa bertindak cepat dan tetap lolos audit. Jika tidak, berarti Anda tidak mengawasi agen tersebut—Anda hanya mempercayainya.
