AI 레드팀이 전통 레드팀과 다른 점
전통 레드팀은 “확정된 시스템 구성”에서 알려진 취약점을 찾는다. AI 레드팀은 모델이 **비결정적(같은 입력에도 다른 출력이 나올 수 있음)**이고, 방어 대상이 코드가 아니라 “확률적으로 작동하는 언어 능력”이라는 점에서 접근이 다르다.
AI 레드팀이 테스트하는 항목
- 탈옥 저항성: 다양한 우회 기법으로 안전 정책을 뚫을 수 있는가
- 프롬프트 인젝션 저항성: 외부 콘텐츠를 통한 지시 조작에 얼마나 취약한가
- 정보 유출: 학습데이터·시스템프롬프트·타 사용자 정보가 새어나오는가
- 편향(Bias): 특정 집단에 불리한 판단을 체계적으로 하는가
- 강건성(Robustness): 오타, 노이즈, 적대적 문구에도 일관되게 동작하는가
- 에이전트 오남용: 도구 접근 권한을 과도하게 넓혀 위험한 행동을 유도할 수 있는가
최근 추세는 이런 테스트를 사람이 일일이 시도하는 대신 자동화된 레드팀 도구로 대규모 시나리오를 빠르게 돌리고, 사람은 애매하거나 새로운 우회 기법 발굴에 집중하는 방향으로 옮겨가고 있다.
모델 공급망 보안
LLM 애플리케이션은 “직접 만든 코드”보다 **가져다 쓰는 요소(사전학습 모델, 파인튜닝 데이터셋, 플러그인, MCP 서버)**가 훨씬 많다. 오픈소스 라이브러리 공급망 공격과 본질적으로 같은 문제가 AI 스택에도 그대로 적용된다.
| 리스크 | 설명 | 대응 |
|---|---|---|
| 출처 불명 모델 사용 | 공개 모델 허브에서 받은 가중치 파일의 원 출처·변조 여부 미확인 | 모델 카드 확인, 서명/체크섬 검증, 신뢰할 수 있는 배포처만 사용 |
| 위험한 직렬화 포맷 | pickle 같은 포맷은 역직렬화 시 임의 코드 실행이 가능한 구조적 위험이 있음 | 코드 실행이 불가능한 safetensors 같은 포맷 우선 사용 |
| 학습데이터 포이즈닝 | 공개 데이터셋이나 외부 수집 데이터에 악성 샘플을 섞어 모델 동작을 왜곡 | 데이터 출처 검증, 이상치 탐지, 소규모 샘플 정기 감사 |
| 백도어 트리거 | 특정 문구·패턴이 입력되면 의도적으로 이상 동작하도록 학습 단계에서 심어둔 경우 | 파인튜닝 전/후 행동 비교 테스트, 신뢰된 벤더/파이프라인 사용 |
| 플러그인·MCP 서버 오염 | 제3자 도구 서버가 업데이트로 악성화 | AI 특화 MCP 보안 문서 참고 |
AI-SPM / MLSecOps라는 개념
기존 CSPM(클라우드 보안 상태 관리)처럼, 최근에는 AI-SPM(AI Security Posture Management) 이라는 카테고리가 논의된다 — 조직 내 어떤 모델이, 어떤 데이터로, 어떤 권한으로 운영되는지 지속적으로 가시화하고 취약점을 관리하는 접근이다. MLSecOps는 MLOps 파이프라인(데이터 수집→학습→배포→모니터링) 각 단계에 보안 게이트를 심는 실행 방법론에 가깝다.
면접에서 통하는 프레이밍
“AI 보안은 완전히 새로운 분야라기보다, 기존 소프트웨어 공급망 보안·시큐어 코딩 원칙을 AI 파이프라인이라는 새 표면에 적용하는 것”이라는 관점을 보여주면 기초가 탄탄하다는 인상을 준다.
면접에서 나올 법한 질문
- 전통 레드팀과 AI 레드팀의 차이를 설명해보라
- 오픈소스 모델을 사내에 도입할 때 공급망 관점에서 무엇을 검증하겠는가
- 학습데이터 포이즈닝을 어떻게 탐지·예방할 수 있는가