생성형 AI와 AI 에이전트의 활용이 보편화되면서 AI의 특성을 노린 새로운 공격들이 늘어나고 있습니다. CrowdStrike의 공격 대응 작전 총괄 Adam Meyers는 “AI가 기업의 운영 방식은 물론, 해커들의 공격 방법도 새롭게 정의하고 있다”고 말했는데요. 특히 해커들이 단순히 AI를 공격에 활용할 뿐 아니라 기업의 AI 시스템을 표적으로 삼고 있다고 강조했습니다.

그 배경에는 대응 역량과 인프라가 충분히 갖춰지지 않은 상태에서 AI 도입에만 집중하는 기업들의 현실이 있는데요. 특히 승인되지 않은 AI(=Shadow AI)의 사용이 늘어나면서 보안 취약점이 확산되고 있습니다. IBM 보고서에 따르면 Shadow AI로 인한 침해 비용은 67만 달러(한화 9억 5천 원)에 달하며, AI 보안 사고를 경험한 조직의 97%는 AI 보안 기능을 갖추지 못했다고 하죠.

이처럼 AI 도입은 빠르게 이루어져야 하지만 동시에 반드시 보안을 함께 고려해야 합니다. 오늘은 AI 활용 방식별로 어떤 보안 위협이 발생하는지 알아보고 대응 전략과 솔루션까지 함께 살펴보겠습니다.

많은 기업들이 업무 생산성을 높이기 위해 ChatGPT나 Gemini와 같은 AI 도구를 활용하고 있습니다. 또한 디자인, 코딩, 번역 등 직무 특화형 AI 애플리케이션 도입도 증가하고 있는데요. 이러한 AI 도구와 애플리케이션은 사용자가 요청하는 내용(=프롬프트)을 기반으로 작동하는 것이 기본이죠. 이때 가장 주의해야 할 공격은 프롬프트 인젝션(Prompt Injection)인데요. AI가 사용자의 요청이 아닌 공격자가 설계한 악성 프롬프트를 수행하도록 유도하는 공격 방식입니다.

최근에는 외부 데이터 소스에 악성 지시를 숨겨두는 간접 프롬프트 인젝션도 등장했습니다. 한 실험에서는 구글 캘린더 초대장만으로 스마트 홈 기기 제어가 가능하다는 것이 확인되었는데요. 초대장 내용에는 스마트 홈의 전등을 켜라는 프롬프트가 숨겨져 있었고, Gemini에게 캘린더 일정 요약을 요청하자 그 명령이 실행된 것입니다. 이 외에도 같은 기법을 통해 스팸 링크 발송이나 유해 콘텐츠 생성, 이메일 정보 유출 등도 가능했습니다.

AI 브라우저 Comet에서도 비슷한 취약점이 발견되었습니다. 소셜 미디어 게시물에 악성 프롬프트를 삽입하고 웹페이지 요약 기능을 실행했더니 계정 접근 토큰이 노출되었다고 하죠. AI 도구와 애플리케이션이 일상화되면서 이러한 간접 프롬프트 인젝션 공격은 더욱 시급한 문제로 떠오르고 있는데요. 이에 Google은 프롬프트 처리 단계마다 보안 조치를 취하는 다층적 방어 전략을 공개했습니다. 이러한 위협에 대응하기 위해 기업이 참고할 수 있는 일반적인 보안 전략은 다음과 같습니다.

스스로 판단하고 행동하는 AI 에이전트는 업무 효율을 크게 높이지만 동시에 새로운 공격 대상이 되었습니다. AI 에이전트를 공격하면 악성 행위 역시 자율적으로 실행되어 피해를 순식간에 확산시킬 수 있기 때문입니다. 특히 자기 복제 기능을 악용한 AI Worm에 취약한데요. 악성 프롬프트를 실행할 뿐 아니라 다른 AI 에이전트에도 악성 지시를 복제하고 전달해 널리 퍼트리는 것입니다.

작년 초 이스라엘의 보안 전문가들은 자가 복제 기능을 지닌 AI Worm ‘Morris II’를 시연했습니다. 이메일 AI 에이전트를 공격하고 다른 에이전트들도 감염시켜 스팸 이메일을 대량으로 생성했는데요. 또한 개인 정보를 묻는 질문을 알아서 작성해 개인 정보를 탈취하기도 했습니다. 이처럼 사람이 개입하지 않아도 들불처럼 퍼져 AI 시스템을 장악해버리는 것이 AI 에이전트를 대상으로 한 공격의 특징입니다.

AI 에이전트에게 부여된 권한을 악용하기도 합니다. 얼마 전 GitHub에서는 모든 저장소에 접근할 수 있는 권한을 지닌 AI 에이전트를 겨냥한 공격이 발견되었는데요. 악성 명령이 담긴 이슈를 생성하고, 개발자가 이슈 확인을 요청하면 AI 에이전트가 비공개 저장소에 접근해 데이터를 유출하는 수법이었습니다. 이와 같이 마스터 권한을 지닌 AI 에이전트를 공격하면 비공개 저장소의 API는 물론 고객 데이터, 비즈니스 기밀, 개인 금융 정보 등을 탈취할 수 있습니다.