AI 모델 보안 공격 — 프롬프트 인젝션·모델 탈취·적대적 예제

AI 시스템이 핵심 비즈니스 인프라로 자리 잡으면서, AI 자체를 공격 표면으로 삼는 새로운 위협이 등장하고 있다. 기존 사이버 보안 개념으로는 완전히 설명되지 않는 AI 특유의 공격 기법들을 살펴본다.

1. 프롬프트 인젝션 (Prompt Injection)

악성 입력을 통해 LLM의 시스템 지시사항(System Prompt)을 무력화하거나 의도하지 않은 행동을 유발하는 공격이다. SQL 인젝션의 AI 버전이라 할 수 있다.

• AI 에이전트가 웹을 검색하다 악성 지시가 숨겨진 페이지를 읽고 데이터를 외부로 전송
• 고객 서비스 챗봇을 조작하여 개인정보 유출 또는 잘못된 정보 제공
• AI 코드 생성 도구에 악성 코드 삽입 지시

2. 탈옥 (Jailbreak)

안전 장치가 적용된 LLM을 우회하여 해킹 방법, 무기 제조, 불법 콘텐츠 생성 등 본래 거부해야 할 응답을 이끌어내는 기법이다.

• 역할극(Roleplay): "DAN(Do Anything Now) 모드"처럼 AI에게 제한 없는 존재 역할 부여
• 다국어 우회: 안전 필터가 약한 언어로 동일 질문
• 토큰 스머글링: 금지 단어를 분해·변형하여 필터 우회
• 다단계 컨텍스트 축적: 여러 대화에 걸쳐 점진적으로 유해 콘텐츠 생성 유도

3. 적대적 예제 (Adversarial Examples)

사람 눈에는 보이지 않는 미세한 변조를 이미지·텍스트에 가해 AI 모델이 완전히 다른 결과를 출력하도록 만드는 공격이다.

• 자율주행 카메라를 속이는 정지 표지판 스티커 — 모델이 80km/h 속도 표지로 인식
• 얼굴 인식 시스템을 우회하는 특수 안경 패턴 착용
• 악성코드 탐지 AI를 우회하는 바이너리 변조

4. 모델 반전·추출 공격 (Model Inversion / Extraction)

• 모델 추출: API를 대량 쿼리하여 내부 모델을 복제 — 지식재산 탈취
• 학습 데이터 복원: 모델 출력 분석으로 학습에 사용된 개인정보 재구성
• 멤버십 추론: 특정 데이터가 학습에 포함됐는지 추론 — 개인정보 침해

AI 시스템 보안 강화 방안

• 입력 검증 레이어: 사용자 입력과 외부 데이터를 구조적으로 분리
• 시스템 프롬프트 격리: 사용자 입력이 시스템 지시에 영향 못 주도록 설계
• 출력 필터링: LLM 응답에서 민감 정보·악성 코드 자동 탐지
• API 속도 제한: 모델 추출 공격 방어
• Red Team 테스트: 서비스 출시 전 전문가 공격 시뮬레이션
• 모델 워터마킹: 유출된 모델 추적 가능성 확보