핵심개념

  • 고영향 AI : 사람의 생명, 안전, 기본권에 중대한 영향을 미칠 수 있는 AI (의료, 금융, 신용평가, 자율주행 등)
  • 생성형 AI : 문자, 음성, 이미지 등을 새로 만들어내는 AI
  • 대규모 AI : 학습 누적 초거대 AI 시스템

사업자 의무

  • 사전 고지 의무 - 제품/서비스가 고영향 AI/생성형 AI 기반임을 이용자에게 미리 알려야 함
  • 표시 의무 - 생성형 AI가 만든 결과물임을 표시, 딥페이크는 반드시 명확히 표시
    • WHAT IS DEEPFAKE ?
      • 인고지능을 활용해 특정 인물의 얼굴, 목소리, 행동 등을 다른 영상이나 사진, 음성에 정교하게 합성하는 기술을 뜻함
  • 안전성, 신뢰성 확보 - 위험관리방안 수립, AI 설명 방안, 이용자 보호 방안, 고영향 AI에 대한 사람의 관리, 감독, 조치 확인 문서를 5년간 보관
  • 대규모 AI는 위험 식별, 평가, 완화 체계를 구축하고, 결과를 과학기술정보통신부에 제출해야 함
  • 해외 빅테크는 국내 대리인 지정 의무

이제는 ?

  • AI 도입을 위해 단순 OUTBOUND의 정보보안체계를 우려하는 것이 아닌 AI 기본법 또한 맞춰나아가야 함

  • 기밀성 : 사내 문서, 소스코드, 고객정보 등을 프롬프트에 입력하여 벤더 학습 재사용으로 이어지는 위협 존재

    • Opt-out 미설정 시 당사자가 거부 의사를 밝히기 전 까지 동의한 것으로 간주
  • 무결성 : hallucination으로 잘못된 결과를 그대로 업무에 반영하는 위협

  • 가용성/거버넌스 : 섀도우 AI Tools

  • 법적 리스크 : AI 기본법 상 표시의무 미이행, 생성물 저작권 분쟁, 딥페이크 오용 등 고려