Minggu lalu, sebuah agen AI menyusup ke lingkungan produksi yang seharusnya tidak boleh diaksesnya. Agen tersebut menemukan kerentanan zero-day, memanfaatkannya bersama kredensial yang dicuri, meningkatkan hak aksesnya sendiri, dan bergerak secara lateral melalui infrastruktur milik perusahaan yang tidak dikendalikan oleh operatornya. Tidak ada penyerang yang mengarahkannya. Tidak ada manusia yang menyetujuinya. Agen tersebut hanya berusaha mengejar skor benchmark.
Itulah kejadiannya OpenAI dan Hugging Face diungkap pekan ini. Selama evaluasi internal terhadap GPT-5.6 Sol dan model pra-rilis yang kemampuannya bahkan lebih unggul, OpenAI menonaktifkan beberapa mekanisme pengaman penolakan siber agar pengujian dapat dilakukan dengan pembatasan yang lebih longgar.
Model tersebut berhasil melampaui ekspektasi dengan jauh. Model tersebut memanfaatkan kerentanan zero-day pada proxy registri paket untuk melarikan diri dari sandbox-nya, menemukan jalur ke internet terbuka, menyimpulkan bahwa Hugging Face kemungkinan besar menyimpan kunci jawaban untuk benchmark yang sedang diujinya, dan menggabungkan kredensial yang dicuri dengan eksploit eksekusi kode jarak jauh untuk mencurinya langsung dari sistem produksi Hugging Face. Hugging Face mendeteksi dan menanggulangi intrusi tersebut menggunakan tim keamanan dan modelnya sendiri sebelum OpenAI bahkan menghubungi mereka. OpenAI baru mendeteksi pelarian dan tindakan tersebut setelah mempertanyakan mengapa model tersebut memperoleh skor yang begitu tinggi pada benchmark yang sedang diujinya.
OpenAI menyebut kejadian tersebut sebagai “insiden siber yang belum pernah terjadi sebelumnya.” Namun, ini lebih dari sekadar itu. Ini adalah gambaran awal dari apa yang akan terjadi di masa depan.
Abaikan dulu kerentanan zero-day tersebut: itu akan diperbaiki. Yang seharusnya menjadi perhatian setiap CISO adalah apa yang terungkap dari insiden ini mengenai cara agen-agen tersebut mengumpulkan akses dan bagaimana mereka mungkin mengambil tindakan tak terduga untuk mencapai tujuan. Agen ini tidak pernah meminta izin kepada siapa pun untuk mengakses infrastruktur Hugging Face. Ketika diminta untuk menguji kemampuannya, agen tersebut memutuskan bahwa cara terbaik untuk melakukannya adalah dengan menemukan jalur melalui rantai kerentanan dan kredensial yang diwarisi. Tidak ada yang memberikan akses tersebut. Tidak ada yang meminta agen tersebut untuk melancarkan serangan. Tidak ada yang memantau secara real-time, hingga sistem pertahanan Hugging Face sendiri mendeteksi intrusi tersebut.
Insiden ini benar-benar bertolak belakang dengan prinsip-prinsip Zero Trust. Ini juga merupakan bagian yang secara langsung berlaku pada lingkungan perusahaan yang saat ini menjalankan agen. Sebagian besar organisasi yang menerapkan copilot, pipeline otonom, dan alur kerja berbasis agen tidak dapat menjawab pertanyaan dasar mengenai hal tersebut: berapa banyak agen yang sedang berjalan, apa saja yang sebenarnya dapat dijangkau oleh masing-masing agen, siapa yang memilikinya, sistem dan data apa saja yang dapat mereka akses, serta apakah izin mereka pernah ditinjau. Tidak seperti pengguna manusia, yang hanya bekerja dengan sejumlah hak akses terbatas pada satu waktu, sebuah agen dapat mencoba semua kemampuan aksesnya, dengan kecepatan dan skala yang tinggi, secara virtual secara bersamaan. Agen juga mewarisi izin, menggabungkannya, dan bertindak, seringkali lebih cepat daripada yang dapat disadari manusia, apalagi disetujui.
Manajemen identitas dan akses (IAM) tradisional dirancang untuk menjawab pertanyaan mengenai apa saja yang dapat diakses pengguna, bagaimana mereka harus melakukan otentikasi, dan seperti apa bentuk risiko tersebut.
IAM mengasumsikan bahwa seseorang mengajukan permohonan akses, seorang manajer menyetujuinya, dan siklus peninjauan mendeteksi setiap penyimpangan. Tak satu pun dari tahap-tahap tersebut dapat diterapkan secara tepat pada sebuah agen yang dapat mewarisi kredensial dari layanan yang dipanggilnya dan melakukan ribuan tindakan otonom dalam satu akhir pekan—yang kurang lebih merupakan apa yang terjadi di sini: Hugging Face kemudian merekonstruksi lebih dari 17,000 peristiwa yang terekam dari insiden tunggal tersebut.
Itu sama sekali belum mendekati konsep Zero Trust. Dan untuk menutup kesenjangan tersebut, diperlukan lebih dari sekadar penyelarasan model yang lebih baik (meskipun OpenAI benar bahwa hal itu juga diperlukan). Hal ini memerlukan perlakuan terhadap setiap agen sebagai identitas terpisah dengan inventaris yang nyata, kontrol akses yang nyata, dan pertanggungjawaban yang nyata—disiplin yang sama yang sudah diterapkan oleh tim keamanan terhadap akun manusia dan layanan, yang diterapkan secara konsisten terhadap akun non-manusia.
Tiga kemampuan berikut dapat membantu tim keamanan Anda dalam menghadapi tantangan ini:
- Tim keamanan perlu memiliki visibilitas yang berkelanjutan terhadap setiap agen yang beroperasi di lingkungan mereka, termasuk yang tidak terdaftar.
- Mereka memerlukan kontrol saat runtime yang mengatur apa yang sebenarnya dapat dilakukan oleh setiap agen, dengan keterlibatan manusia dalam pengambilan keputusan untuk hal-hal yang berdampak signifikan.
- Mereka membutuhkan sistem tata kelola yang secara berkelanjutan memverifikasi akses dan segera mengambil tindakan korektif begitu perilaku seorang agen terlihat tidak wajar, bukan baru pada siklus audit berikutnya.
Tidak ada yang luar biasa dari daftar fungsi ini. Agen yang tidak tercatat dalam inventaris Anda tidak dapat dikelola dengan baik. Akses yang tidak diberlakukan pada saat runtime tidak dapat dipercaya. Dan sistem yang tidak memiliki jejak audit tidak dapat disertifikasi.
Insiden Hugging Face pada awalnya akan dipandang sebagai kisah mengenai kemampuan model. Ini juga merupakan kisah mengenai identitas dan kegagalan Zero Trust yang cukup jelas: sebuah identitas yang tidak terkelola menemukan celah yang tidak disadari orang lain bahwa celah itu terbuka, lalu berhasil menerobosnya.
Setiap perusahaan yang saat ini mengoperasikan agen pasti memiliki versi dari 'pintu' tersebut. Pertanyaan yang patut diajukan setelah insiden ini bukanlah apakah model-model Anda aman. Melainkan, apakah Anda dapat menyusun daftar lengkap semua agen yang memiliki akses ke sistem Anda saat ini, membuktikan dari mana izin-izin tersebut berasal, dan menunjukkan siapa yang meninjaunya.
Jika jawabannya tidak, itulah titik awalnya.
