행위자적 주권이 없으면, 행위자적 안보도 없다

RSA가 협력하고 있는 기관들—은행, 정부 기관, 국방, 핵심 인프라—은 AI 에이전트 도입에 있어 신중한 태도를 보이고 있습니다. 이러한 신중함은 변화에 대한 저항으로 비춰지기도 합니다. 하지만 그렇지 않습니다. 이는 신중한 판단입니다. 이러한 분야에서는 실패가 단순한 마찰이 아닙니다. 실패는 결제 중단, 치료 지연, 전력망 마비와 같은 결과를 초래합니다.

대략 70% 보안 수준이 높은 분야의 경우, 보안과 개인정보 보호가 에이전트 도입을 가로막는 가장 큰 장벽입니다. 이는 새로운 것에 대한 두려움이 아닙니다. 오히려 그 위험성을 정확히 파악한 결과입니다.

역사적으로 은행, 정부, 그리고 모든 기업에서 운영해 온 소프트웨어는 하나의 단순한 전제를 공유해 왔습니다. 바로 해당 솔루션이 사용자가 지시한 대로만 작동할 뿐, 그 이상은 하지 않는다는 전제입니다. 다음 주 샌프란시스코에서 열리는 AI 컨퍼런스에서, 저는 에이전트가 어떻게 이러한 전제를 깨뜨리는지 설명할 예정입니다.

에이전트는 사용자가 지시하는 대로 행동할 수 있습니다. 하지만 그 외에도 훨씬 더 많은 일을 할 수 있습니다. 이는 대부분의 보안 수준이 높은 산업 분야가 대비하지 못한 새로운 위험 요소를 초래합니다.

거의 모든 초기 에이전트 프로그램을 지연시키는 오해 중 하나는 ‘데이터 상주(residency)’가 곧 ‘주권’과 동일하다는 생각입니다. 상주 여부는 단 한 가지 질문, 즉 ‘데이터가 저장되어 있는 위치는 어디인가?’에 대한 답을 제공합니다. 데이터를 올바른 지역, 올바른 클라우드, 올바른 계약 조건 하에 보관하기만 하면 상주 요건을 충족한 것입니다.

에이전트는 저장된 데이터를 다루지 않기 때문에 이러한 경계를 존중하지 않습니다. 에이전트는 데이터를 수집하고, 이를 바탕으로 추론하며, 독립적이고 동적인 방식으로 행동합니다. 한 관할 구역에 호스팅된 모델이 다른 관할 구역의 고객 데이터를 바탕으로 추론을 수행합니다. 민감한 필드들은 기록 시스템 외부에 존재하는 프롬프트, 메모리, 로그, 임베딩에 포함됩니다. 데이터는 이동했고, 그 이동에 대해 데이터 상주지는 아무런 발언권도 행사하지 못했습니다. 바로 그 이동 과정에서 주권이 실제로 훼손되는 것입니다.

우리는 에이전트의 자율성을 높이 평가합니다. 에이전트는 지시를 기다리지 않고 스스로 행동하며, 이는 진정으로 가치 있는 일입니다. 사실 이것이 바로 핵심입니다.

그러나 자율성은 권한과 떼려야 뗄 수 없는 관계입니다. 사용자를 대신해 행동할 수 있는 에이전트는 자금을 이체하거나, 접근 권한을 부여하거나, 기록을 변경하거나, 다른 시스템을 호출할 수 있습니다. 구매한 그 기능은 이제 사용자가 감내해야 할 위험 요소가 됩니다.

이것이 바로 규제가 엄격한 산업 분야가 에이전트 기반 서비스 도입에 신중한 태도를 보이는 것이 타당한 이유 중 하나입니다. 왜냐하면 이러한 서비스를 도입한다는 것은 단순히 도구를 도입하는 것이 아니라, 권한을 위임하는 것이기 때문입니다. 그리고 대부분의 조직은 자신이 어떤 권한을 넘겨주었는지 명확히 파악하지 못하고 있습니다.

이 세션에서는 문제를 네 가지 통제 지점으로 나누어 살펴봅니다. 이는 일반적인 ‘데이터와 인프라’라는 관점을 넘어서는 것입니다. 왜냐하면 에이전트가 다루는 것은 데이터뿐만이 아니기 때문입니다:

결정: 지금 이 순간, 결과를 좌우하는 것은 누구인가?

충분한 권한과 폭넓은 자격을 갖춘 에이전트는 사람의 개입 없이도 중대한 결과를 초래하는 조치를 승인할 수 있습니다. 권한 위임 체인이 무너지고, 해당 조치가 책임을 질 수 있는 특정 개인에게까지 거슬러 올라간다는 사실을 입증할 수 없게 됩니다. 문서상으로는 존재하지만 지연 시간의 압박으로 인해 작동하지 않게 되는 검토 절차는 ‘안전 모드(fail-safe)’가 아닌 ‘오픈 모드(fail-open)’로 작동하게 됩니다.

데이터: 에이전트가 무엇을 알 수 있고, 만질 수 있으며, 운반할 수 있는가?

단순한 보관 문제를 넘어, 이는 정보의 계보와 관련된 문제입니다. 해당 담당자가 사후에 결정을 내리기 위해 무엇을 확인하고 활용했는지 설명할 수 있습니까? 프롬프트 주입을 통해 악의적인 문서가 정보 유출 지침으로 변질될 수 있습니다. 조치 시점에 기밀 분류와 정보 최소화 조치가 이루어지지 않으면, 민감한 데이터는 통제 없이 유출됩니다.

인프라: 어디에서 운영되며, 누가 관리하는가?

공유형 멀티테넌트 환경은 관할권적 또는 물리적 격리를 보장하지 않습니다. 클라우드 호스팅 추론은 조직이 온프레미스 스토리지를 통해 해결했다고 생각했던 정확히 동일한 보안 취약점을 은밀하게 다시 초래할 수 있습니다. 기밀 환경에서는 호스팅된 모델 API를 전혀 호출할 수 없는데, 이것이 바로 ‘섀도우 워크어라운드’가 생겨나는 원인입니다.

생태계: 에이전트가 그 밖에도 어떤 요소에 영향을 미치거나, 어떤 매체를 통해 작용할 수 있을까?

에이전트는 아무도 검증하거나 등록하지 않은 타사 도구 및 서버에 연동됩니다. 하류 도구 중 하나만 해킹당해도, 해당 도구는 이미 부여된 에이전트의 권한을 통해 활동할 수 있습니다. 파트너 및 공급업체의 에이전트는 전이적으로 접근 권한을 상속받으며, 에이전트가 다른 에이전트를 호출하는 이러한 공급망에서는 정책을 적용하거나 감사할 수 있는 단일 지점이 존재하지 않습니다.

에이전트를 배포하기만 하면, 해당 영역을 설정했는지 여부와 관계없이 네 가지 영역 모두에서 동시에 운영할 수 있습니다.

프롬프트 및 모델 수준의 안전장치는 확률적입니다. 이는 부정적인 결과가 발생할 가능성을 낮춰줄 뿐, 확실한 보장을 제공하지는 않습니다. 규제 대상 산업에서는 “아마도 그렇지 않았을 것”이라는 점을 감사할 수 없습니다. 가드레일은 알려진 악성 패턴을 포착할 수는 있지만, 에이전트가 누구인지, 어디서 실행되고 있는지, 그리고 새로운 행동에 대해 어떤 권한을 부여받았는지를 입증할 수는 없습니다.

높은 신뢰도를 확보한다는 것은 모든 행동을 신원에 기반을 두는 것을 의미합니다. 에이전트는 검증 가능한 신원과 범위 지정된, 입증 가능한 권한을 가져야 하므로, 모든 행동은 알려진 행위자, 알려진 승인, 그리고 감사 가능한 체인으로 거슬러 올라갈 수 있어야 합니다. 신원은 나머지 세 가지 통제 지점—의사결정 통제, 데이터 관리, 인프라 검증, 생태계 제한—이 의존하는 닻과 같습니다. 이 모든 것은 실제로 이름을 지목할 수 있는 행위자를 기준으로 이루어집니다. 신원을 제대로 파악하지 못하면 나머지 세 가지도 추측에 불과해집니다.

대리인이 조치를 취하도록 허용하기 전에 다음 질문에 답할 수 있어야 합니다. 누가 이를 승인했습니까? 어디에서 실행되었습니까? 어떤 데이터에 접근할 수 있습니까? 이를 증명할 수 있습니까?

만약 그 답변들이 명확하고, 일관되며, 검증 가능하다면, AI 도입을 빠르게 진행하면서도 감사 기준을 충족할 수 있습니다. 그렇지 않다면, 에이전트를 제대로 관리하고 있는 것이 아니라 그저 희망에 맡기고 있는 셈입니다. 주권은 인증서가 아니라 태도입니다. 에이전트는 지속적으로 활동하기 때문에 주권 역시 지속적이고 감사 가능한 것이며, 요청 시 입증할 수 없는 통제 수단은 진정한 통제 수단이 아닙니다.

샌프란시스코에서 열리는 AI 컨퍼런스에서 RSA와 함께하세요