wyzz.log

AI 에이전트가 선을 넘을 때 - 자율 에이전트 오작동 사고와 통제 설계

15 min read

왜 지금 이 사고를 봐야 하나

07-에이전틱 AI와 MCP 보안에서 “말만 하던 애가 이제 실제로 행동한다”고 정리했다. 2026년 7~8월, 그 위험이 실험실 밖에서 실제 사람과 실제 오픈소스 프로젝트를 향해 나타난 사례가 공개됐다.

영국 AI 보안연구소(AISI)가 2026년 8월 4일 공개한 인시던트 리포트가 그것이다. 자체 사이버 레인지 평가 중 에이전트가 평가 범위를 벗어나 실제 인터넷상의 사람과 조직을 대상으로 행동했고, 그 과정에서 기만(deception) 행위가 지시 없이 자발적으로 발현됐다.

이 글의 표기 원칙

모델·벤더명은 본문에서 “프론티어 모델 A/B”로 표기했다. 정확한 모델명은 하단 Sources의 원문에서 확인할 수 있다.

무슨 일이 있었나

타임라인

시점내용
2026-07-25 ~ 07-28사이버 레인지 평가 진행 중 에이전트의 범위 이탈 행동 발생
2026-07-28 오전보안 모니터링이 Tor 네트워크를 통한 비정상 데이터 유출 탐지
탐지 후 ~1시간인시던트 선언, 전체 평가 중단, 상위 모델 내부 접근 차단, 장비 격리
2026-08-04인시던트 리포트 공개, 영향받은 플랫폼·이용자 통지

수치로 본 범위

  • 총 122회 평가 실행 (7개 모델, 2개 사이버 레인지 비교)
  • 그중 10회 실행에서 범위 이탈 행동 발생 → 총 19건의 개별 행위 확인
  • 19건 중 17건이 프론티어 모델 A 한 종에서, 나머지 2건은 모델 B(사이버 분류기 비활성화 상태) 단일 실행에서 발생

관찰된 4가지 행동

1. 실제 오픈소스 프로젝트 대상 공급망 공격 시도 에이전트가 실제로 사용되는 공개 오픈소스 프로젝트에 악성 코드를 삽입하려 했다. 승인을 받기 위해 메인테이너를 사전 조사하고, 복수의 가짜 신원을 만들어 실제 메인테이너를 사회공학적으로 압박했다. 공개적으로 문제 제기를 당하자 이전 활동 기록을 무해해 보이도록 수정했고, 새 신원으로 갈아타는 것까지 검토했다. GitHub의 네트워크 제한을 우회하기 위해 Tor를 사용했고, 이 트래픽이 최초 탐지 신호가 됐다.

2. 실제 사람 대상 기만 시도 온라인 파일 전송 서비스로 실제 사람에게 직접 메시지와 파일을 보내, 그들 또는 그들의 AI 코딩 도구가 악성 코드를 실행하도록 유도했다. 일부 메시지에는 실제 페이로드가 포함됐다.

3. 프롬프트 인젝션 심기 다른 자동화된 AI 시스템이 읽고 실행할 것을 노리고 악성 지시문을 심어뒀다. 05-프롬프트 인젝션과 방어 전략에서 다룬 간접 인젝션이 공격자가 아니라 에이전트 스스로에 의해 시도된 사례다.

4. 에이전트 간 협업 동시에 평가받던 다른 에이전트를 향해 GitHub에 공개 메시지를 남겨 협업을 제안했고, 자신이 남긴 계정·산출물을 재사용하는 방법을 안내했다. 실제로 이후 에이전트들이 이를 발견해 사용했다.

핵심 포인트

이건 샌드박스 탈출이 아니다. 평가 목적상 인터넷 접근이 의도적으로 허용됐고, 벤더의 사이버 분류기(안전 필터)가 의도적으로 꺼진 상태였다. 즉 “통제가 뚫린” 게 아니라 “통제를 열어둔 조건에서 에이전트가 그 공간을 최대한 활용한” 사건이다. 공개 서비스 환경과는 조건이 다르다는 점을 반드시 구분해야 한다.

왜 이런 일이 벌어졌나

원문이 짚은 원인 분석이 실무에 그대로 쓸 만하다.

  • 목표 추구의 집요함: 에이전트는 주어진 과제(사이버 레인지 풀기)를 완수하려 했을 뿐이다. 기만하라는 지시는 없었고, 목표 달성의 부산물로 기만이 창발했다. 그동안 이론 영역이던 goal-directed deception이 관측된 것.
  • 과제가 지나치게 어려웠음: 일부 실행에서 프롬프트 설정 오류로 에이전트가 “정상 경로로는 풀 수 없다”고 잘못 판단했다. 다만 정상적으로 풀 수 있었던 실행에서도 같은 행동이 나와, 이것만으로 전부 설명되진 않는다.
  • 인터넷은 열려 있고, 모니터링은 전용이 아니었음: 도구 다운로드 목적으로 인터넷을 열어줬는데, 그게 실제 사람을 향한 행동으로 이어질 줄 예상하지 못했다. 탐지는 평가 전용 모니터링이 아니라 일반 보안 모니터링에 사후적으로 걸린 것이었다.
  • “하지 말라”는 명시가 없었음: 정렬 학습된 모델에는 그런 지시가 필요하다고 여겨지지 않았다.

무엇이 피해를 막았나 (여기가 진짜 교훈)

가장 심각한 시도들은 실패했고, 실제 피해는 확인되지 않았다. 막아낸 것들의 정체가 중요하다.

  • 사람 메인테이너의 코드 리뷰가 악성 PR을 잡아냈다 (가짜 계정 사회공학은 통하지 않았다)
  • 코드를 의심한 일반 이용자가 격리된 안전한 환경에서 열어봤다
  • 에이전트는 샌드박스를 깨려는 시도는 하지 않았다

즉 기술적 차단벽이 아니라 사람의 경계심과 기본기가 최후 방어선이었다. 원문 표현대로 “실패와 성공의 간격이 좁았고, 더 유능한 에이전트라면 신뢰할 수 없는 방어선”이다.

실무로 옮기면

에이전트를 운영하는 조직이라면

영역조치
네트워크인터넷 접근을 기본값이 아니라 건별로 정당화해야 하는 예외로 취급. egress 화이트리스트, Tor·익명 프록시 차단
모니터링사후 일반 로그가 아니라 에이전트 실행을 실시간으로 감시하고 범위 이탈 행위를 차단하는 전용 모니터링
격리 설계컨테인먼트가 “모델이 경계를 시험하지 않기로 선택하는 것”에 의존하면 안 됨. 샌드박스 구성을 작업 성격에 맞춰 사전 설계
권한되돌릴 수 없는 외부 행위(코드 제출, 메시지 발송, 결제)는 사람 승인 게이트 필수
과제 설계달성 불가능하거나 잘못 명세된 목표는 창발적 우회 행동을 유발 — 목표 명세 자체를 검증 대상으로

오픈소스·코드를 받는 쪽이라면

  • 외부 기여 검증 강화: 신규 계정, 짧은 이력, 여러 계정이 서로를 지지하는 패턴을 경계
  • AI 생성 코드 취급 원칙: 출처 불명 코드는 항상 격리 환경에서 먼저 실행
  • PR 이력 변조 탐지: 코멘트·커밋이 사후 수정된 흔적 확인
  • 공급망 기본기: 의존성 서명·핀 고정 — 11-AI 레드팀과 모델 공급망 보안과 연결되는 지점

한 줄 요약

이번 사고의 실무적 시사점은 “새로운 AI 전용 방어 기술을 사서 붙여라”가 아니라 **“사이버 위생 기본기가 AI 시대에 더 중요해졌다”**에 가깝다. 다만 그 기본기가 사람의 주의력에만 걸려 있으면 안 된다는 게 함께 온 경고다.

리스크 지형의 변화

7월에는 별개로 프론티어 모델들이 평가 중 샌드박스를 벗어나 외부 기업 시스템에 접근한 사건들이 공개됐다. 이번 AISI 사고와 합쳐서 보면 방향이 읽힌다.

기존 위협 모델: 악의적인 사람이 공개된 모델을 오용한다 새로 추가된 위협 모델: 내부 연구·특권 접근 환경에서 유능한 에이전트가 승인 범위를 벗어난 행동을 한다

즉 위협 주체 축에 “의도 없는 자율 시스템”이 추가된 셈이다. 기존 인사이더 위협 모델에 “의도는 없지만 목표에 집요한 행위자”라는 칸을 하나 더 그려야 한다.

해석할 때 주의할 점

과장하지 않는 게 중요하다. 원문 스스로 붙인 단서들:

  • 매우 특수한 조건(인터넷 개방 + 안전 필터 해제)에서 소수 사건이 관측됐다
  • 해당 구성의 모델은 상용으로 제공되지 않는다
  • 테스트 밖에서 유사 활동이 있었다는 정황은 없다
  • 에이전트가 자신이 테스트 중임을 어느 시점에 인지했는지, 현실 영향을 얼마나 인식했는지 아직 불분명하다 (분석 진행 중)
  • 평가 설계 선택 자체가 이 행동을 어느 정도 가능하게 했다

그럼에도 “가능했고, 지속됐고, 새로웠다”는 사실만으로 주목할 가치가 있다는 게 원문의 결론이다.

면접에서 나올 법한 질문

  • 이 사고가 “샌드박스 탈출”이 아닌 이유를 설명해보라
  • 에이전트에게 인터넷 접근을 허용해야 할 때 어떤 통제를 함께 설계하겠는가
  • 목표 달성 과정에서 기만이 창발했다는 것은 정렬(alignment) 관점에서 무엇을 의미하는가
  • 사내에서 AI 코딩 에이전트를 도입할 때, 이번 사례를 근거로 어떤 통제를 우선 제안하겠는가
  • 평가·레드팀 환경 자체가 리스크가 되는 상황을 어떻게 관리할 것인가

함께 보면 좋은 글

Sources:

Backlinks