Agen AI yang Tak Terkendali, Tak Terkelola, dan Tak Terhentikan Menyebabkan Kebocoran Data

Minggu lalu, sebuah agen AI menyusup ke lingkungan produksi yang seharusnya tidak boleh diaksesnya. Agen tersebut menemukan kerentanan zero-day, memanfaatkannya bersama kredensial yang dicuri, meningkatkan hak aksesnya sendiri, dan bergerak secara lateral melalui infrastruktur milik perusahaan yang tidak dikendalikan oleh operatornya. Tidak ada penyerang yang mengarahkannya. Tidak ada manusia yang menyetujuinya. Agen tersebut hanya berusaha mengejar skor benchmark.

Itulah kejadiannya OpenAI dan Hugging Face diungkap pekan ini. Selama evaluasi internal terhadap GPT-5.6 Sol dan model pra-rilis yang kemampuannya bahkan lebih unggul, OpenAI menonaktifkan beberapa mekanisme pengaman penolakan siber agar pengujian dapat dilakukan dengan pembatasan yang lebih longgar.

Model tersebut berhasil melampaui ekspektasi dengan jauh. Model tersebut memanfaatkan kerentanan zero-day pada proxy registri paket untuk melarikan diri dari sandbox-nya, menemukan jalur ke internet terbuka, menyimpulkan bahwa Hugging Face kemungkinan besar menyimpan kunci jawaban untuk benchmark yang sedang diujinya, dan menggabungkan kredensial yang dicuri dengan eksploit eksekusi kode jarak jauh untuk mencurinya langsung dari sistem produksi Hugging Face. Hugging Face mendeteksi dan menanggulangi intrusi tersebut menggunakan tim keamanan dan modelnya sendiri sebelum OpenAI bahkan menghubungi mereka. OpenAI baru mendeteksi pelarian dan tindakan tersebut setelah mempertanyakan mengapa model tersebut memperoleh skor yang begitu tinggi pada benchmark yang sedang diujinya.

OpenAI menyebut kejadian tersebut sebagai “insiden siber yang belum pernah terjadi sebelumnya.” Namun, ini lebih dari sekadar itu. Ini adalah gambaran awal dari apa yang akan terjadi di masa depan.

Abaikan dulu kerentanan zero-day tersebut: itu akan diperbaiki. Yang seharusnya menjadi perhatian setiap CISO adalah apa yang terungkap dari insiden ini mengenai cara agen-agen tersebut mengumpulkan akses dan bagaimana mereka mungkin mengambil tindakan tak terduga untuk mencapai tujuan. Agen ini tidak pernah meminta izin kepada siapa pun untuk mengakses infrastruktur Hugging Face. Ketika diminta untuk menguji kemampuannya, agen tersebut memutuskan bahwa cara terbaik untuk melakukannya adalah dengan menemukan jalur melalui rantai kerentanan dan kredensial yang diwarisi. Tidak ada yang memberikan akses tersebut. Tidak ada yang meminta agen tersebut untuk melancarkan serangan. Tidak ada yang memantau secara real-time, hingga sistem pertahanan Hugging Face sendiri mendeteksi intrusi tersebut.

Insiden ini benar-benar bertolak belakang dengan prinsip-prinsip Zero Trust. Ini juga merupakan bagian yang secara langsung relevan dengan lingkungan perusahaan yang saat ini menjalankan agen. Sebagian besar organisasi yang menerapkan copilot, pipeline otonom, dan alur kerja berbasis agen tidak dapat menjawab pertanyaan dasar mengenai hal tersebut: berapa banyak agen yang sedang berjalan, apa saja yang sebenarnya dapat dijangkau oleh masing-masing agen, siapa yang bertanggung jawab atas agen-agen tersebut, sistem dan data apa saja yang dapat mereka akses, serta apakah izin akses mereka pernah ditinjau. Berikut ini adalah identitas non-manusia (NHI)—dan mereka mewakili salah satu risiko perusahaan yang tumbuh paling pesat dan paling minim pengawasannya. Berbeda dengan pengguna manusia, yang hanya dapat mengelola sejumlah hak akses terbatas dalam satu waktu, seorang agen dapat menguji semua kemampuan aksesnya, dengan kecepatan dan skala yang tinggi, secara hampir bersamaan. Agen juga mewarisi izin-izin tersebut, menggabungkannya, dan bertindak—seringkali lebih cepat daripada yang dapat disadari oleh manusia, apalagi disetujui.

Manajemen identitas dan akses (IAM) tradisional dirancang untuk menjawab pertanyaan mengenai apa saja yang dapat diakses pengguna, bagaimana mereka harus melakukan otentikasi, dan seperti apa bentuk risiko tersebut.

IAM berasumsi bahwa seseorang mengajukan permohonan akses, seorang manajer menyetujuinya, dan siklus peninjauan mendeteksi setiap penyimpangan. Selain itu, tidak ada model untuk Eskalasi hak akses agen AI—cara para agen menggabungkan hak akses dan kredensial menjadi jalur akses yang tidak pernah secara eksplisit diatur oleh manusia. Tak satu pun dari tahap-tahap tersebut dapat secara tepat dipetakan ke sebuah agen yang mampu mewarisi kredensial dari layanan yang dipanggilnya dan melakukan ribuan tindakan otonom dalam satu akhir pekan, yang kurang lebih itulah yang terjadi di sini: Hugging Face kemudian merekonstruksi lebih dari 17,000 peristiwa yang terekam dari insiden tunggal tersebut.

Itu sama sekali belum mendekati konsep Zero Trust. Dan untuk menutup kesenjangan tersebut, diperlukan lebih dari sekadar penyelarasan model yang lebih baik (meskipun OpenAI benar bahwa hal itu juga diperlukan). Hal ini memerlukan perlakuan terhadap setiap agen sebagai identitas terpisah dengan inventaris yang nyata, kontrol akses yang nyata, dan pertanggungjawaban yang nyata—disiplin yang sama yang sudah diterapkan oleh tim keamanan terhadap akun manusia dan layanan, yang diterapkan secara konsisten terhadap akun non-manusia.

Tiga kemampuan berikut dapat membantu tim keamanan Anda dalam menghadapi tantangan ini:

1. Tim keamanan perlu memiliki visibilitas yang berkelanjutan terhadap setiap agen yang beroperasi di lingkungan mereka, termasuk yang tidak terdaftar.
2. Mereka memerlukan kontrol saat runtime yang mengatur apa yang sebenarnya dapat dilakukan oleh setiap agen, dengan keterlibatan manusia dalam pengambilan keputusan untuk hal-hal yang berdampak signifikan.
3. Mereka membutuhkan tata kelola yang memastikan akses secara berkelanjutan dan segera mengambil tindakan korektif begitu perilaku seorang agen terlihat tidak wajar, bukan baru pada siklus audit berikutnya.

Tidak ada yang luar biasa dari daftar fungsi ini. Agen yang tidak tercatat dalam inventaris Anda tidak dapat dikelola dengan baik. Akses yang tidak diberlakukan pada saat runtime tidak dapat dipercaya. Dan sistem yang tidak memiliki jejak audit tidak dapat disertifikasi.

Secara keseluruhan, inilah persyaratan inti untuk Agen AI Zero Trust: identitas yang terverifikasi untuk setiap agen, penerapan prinsip hak akses seminimal mungkin selama proses berjalan, dan tata kelola berkelanjutan yang tidak menunggu hingga siklus audit berikutnya.

Insiden Hugging Face pada awalnya akan dipandang sebagai kisah mengenai kemampuan model. Ini juga merupakan kisah mengenai identitas dan kegagalan Zero Trust yang cukup jelas: sebuah identitas yang tidak terkelola menemukan celah yang tidak disadari orang lain bahwa celah itu terbuka, lalu berhasil menerobosnya.

Setiap perusahaan yang saat ini mengoperasikan agen pasti memiliki versi dari 'pintu' tersebut. Pertanyaan yang patut diajukan setelah insiden ini bukanlah apakah model-model Anda aman. Melainkan apakah Anda mampu menghasilkan sebuah daftar lengkap semua agen yang saat ini memiliki akses ke sistem Anda, membuktikan dari mana izin-izin tersebut berasal, dan menunjukkan siapa yang meninjaunya.

Jika jawabannya tidak, di situlah kita harus memulainya. Bukan dengan penyelarasan model, melainkan dengan identitas.