왜 이 주제가 필요한가
지금까지 정리한 노트들은 “모델이 입력을 어떻게 오남용당하는가”에 집중했음 이 노트는 반대 방향 — “모델이 만들어낸 출력물이 어디서 왔는지 어떻게 증명하는가”를 다룸 딥페이크, AI 생성 뉴스, 합성 이미지가 늘면서 이 질문의 무게가 커지고 있음
두 가지 접근: 워터마킹 vs 출처 인증
| 구분 | 방식 | 목적 |
|---|---|---|
| 워터마킹(Watermarking) | 생성 시점에 눈에 안 보이는 신호를 콘텐츠 자체에 삽입 | ”이건 AI가 만들었다”를 사후에 탐지 가능하게 함 |
| 출처 인증(Provenance/C2PA) | 콘텐츠에 암호학적으로 서명된 메타데이터(누가, 언제, 어떤 도구로)를 첨부 | 편집 이력을 포함한 전체 계보를 추적 가능하게 함 |
두 방식은 경쟁 관계가 아니라 보완 관계로 논의되는 경우가 많음
텍스트 워터마킹의 어려움
이미지·오디오는 픽셀/파형에 신호를 숨기기 비교적 쉽지만, 텍스트는 “이산적”이라 더 어려움 대표적인 접근은 토큰 생성 확률 분포를 미세하게 편향시켜(예: 특정 토큰 집합을 살짝 더 선호하게) 통계적으로만 탐지 가능한 패턴을 남기는 방식임
- 장점: 사람이 읽었을 때는 자연스러움이 거의 그대로 유지됨
- 한계: 짧은 텍스트는 신호가 약해 탐지 신뢰도가 떨어짐, 사용자가 텍스트를 조금만 편집해도 워터마크가 쉽게 깨짐
C2PA(Coalition for Content Provenance and Authenticity)
Adobe, Microsoft, Google 등이 참여하는 산업 표준으로, 콘텐츠 파일에 “Content Credentials”라는 암호학적 서명 메타데이터를 붙임 카메라 촬영, AI 생성, 편집 등 각 단계가 체인으로 기록됨
워터마킹과의 차이 감각
워터마킹은 콘텐츠 “안”에 신호를 숨기는 것이고, C2PA는 콘텐츠에 “붙는” 서명된 딱지에 가까움 파일 포맷이 변환되거나 메타데이터가 제거되면 C2PA 정보는 쉽게 사라질 수 있어, 워터마킹이 그 손실을 보완하는 역할로 같이 쓰임
한계와 현실적 인식
- 두 기법 모두 결연한 공격자를 완전히 막지는 못한다 — 재인코딩, 크롭, 스크린샷 재촬영 같은 간단한 조작으로 신호가 손상될 수 있음
- “워터마크가 없다 = AI 생성이 아니다”로 단정할 수 없다는 게 중요한 함정임 부재 증명이 아니라 존재 증명에 가까움
- 그럼에도 대량 생산되는 허위정보에 대한 마찰(friction)을 늘리는 효과는 있다는 게 업계의 공통된 평가임
더 생각해볼 것들
- 워터마킹과 출처 인증 중 어느 쪽이 우리 조직의 사용 사례(사내 문서 생성 vs 대외 공개 콘텐츠)에 더 맞을까
- “탐지 가능”과 “위변조 방지”는 다른 목표인데, 이 둘을 섞어서 이야기하고 있지 않은지 스스로 점검해볼 필요가 있음
- C2PA 메타데이터가 제거된 콘텐츠를 어떻게 다뤄야 할까 — 의심의 근거로 삼을 수 있을까, 아니면 중립적으로 봐야 할까
Sources: