구글2 Presales팀 김인주
금융위원회는 22년 8월 금융권의 인공지능 활용을 지원하기 위해 ｢금융분야 인공지능 활용 활성화 및 신뢰확보 방안｣을 발표했습니다. 신뢰받는 인공지능 활용 환경을 구축하기 위해 ｢AI 기반 신용평가모형 검증체계｣와 ｢금융분야 AI 보안 가이드라인｣을 2가지를 마련했습니다. 이중에서 금융보안원에서 마련한 ｢금융분야 AI 보안 가이드라인｣을 주요 내용을 정리해보았습니다.
1. 추진 배경 및 목적
디지털 금융산업의 발전으로 인공지능(AI)를 활용한 서비스의 도입이 확대되고 있습니다. AI는 초지능·초연결·초융합 시대에 혁신적 서비스의 핵심 기술이며, 금융분야는 마이데이터 도입(20년 8월), 데이터 결합 활성화주1) 등 빅데이터 활성화 기반이 구축되어 데이터 활용이 가장 활성화된 분야입니다.
주1) ’22년 11월 기준 데이터 결합 건수: 금융분야 217건, 비금융분야 32건
– 출처: 한국경제, 22년 12월 11일자, 데이터 결합, 2년간 249건…그 중 87%가 금융
금융분야는 로보어드바이저, 챗봇, 상품 추천, 이상거래탐지, 신용평가 및 여신심사 등에서 활용 중입니다. 금융 전반에서 AI 이용이 확산되면서 AI 활용 시 개인정보 유출, 알고리즘 오작동, 학습데이터 조작 등 위험 요소가 존재하며 다양한 보안 위협이 발생하고 있습니다.
※ 인공지능 관련 사고 사례
이 안내서는 금융 AI 서비스 개발 실무자가 구체적인 보안위협에 대응할 수 있도록 ｢AI 모델 개발단계별 보안 고려사항｣과 ｢AI 챗봇서비스에 대한 보안성 체크리스트｣로 구성되어 있습니다.
2. AI 모델 개발단계별 보안 고려사항
| AI 모델 개발주기 단계 | 보안 고려사항 및 방안 |
|---|---|
| AI 학습 데이터 수집 | 오염된 데이터를 학습하여 발생할 수 있는 보안문제와 성능 저하 등을 방지하고, 데이터 관련 공격·장애 발생 시 원인을 파악할 필요가 있습니다.
|
| AI 학습 데이터 전처리 | 수집한 데이터를 학습에 적합한 형태로 가공하여 AI 모델의 품질과 보안성을 높일 필요가 있습니다.
|
| AI 모델 설계･학습 | 잠재적 공격자가 AI 모델에 대한 적대적 공격 등을 쉽게 수행할 수 없도록 AI 모델을 구성할 필요가 있습니다.
|
| AI 모델 검증･평가 | 학습을 완료한 AI 모델이 잠재적 공격 또는 개인정보 유출 등으로부터 안전한지 보안성을 검증할 필요가 있습니다.
|
주2) AI 모델이 잘못된 예측을 하도록 의도적으로 변조한 데이터
주3) 적대적 예제를 활용하여 AI 모델이 잘못 판단하도록 조작하는 공격
3. AI 챗봇서비스에 대한 보안성 체크리스트
금융분야에서 AI가 가장 활발히 사용되는 분야 중 하나인 챗봇서비스에 대해 실무자가 쉽게 활용할 수 있도록 별도의 보안성 체크리스트를 마련했습니다. (공통영역 23개, 선택영역 10개)
※ 체크리스트 문항 예시
| 분류 | 소분류 | 번호 | 보안성 체크리스트 |
|---|---|---|---|
| 공통 | 계정관리 | 1 | 챗봇 서비스 사용자별(예: 관리자, 이용자)에 따라 계정을 생성하고 관리하는가? |
| 접근통제 | 2 | 챗봇 시스템에 대한 해킹 등을 방지하기 위해 정보보호시스템이 설치 및 운영되고 있는가? | |
| 3 | 챗봇 시스템 관련 파일(예: AI 모델 파일, 소스코드, 학습데이터 등)에 대한 접근통제 정책 등록/변경/삭제 시 그 내역을 기록하고 정기적으로 적정성 및 이상 유무를 검토하는가? | ||
| 보안점검 | 4 | 챗봇 서비스 개발 시 보안 가이드라인 등을 참고하여 개발하고 오픈 전 시스템에 대한 보안점검을 실시하는가? | |
| 5 | 챗봇 시스템에 대해 주기적으로 취약점을 점검하는가? | ||
| .. 중 략 .. | |||
| 학습데이터 관리 | 19 | 학습데이터 관리와 학습 통제 절차를 수립하고 이행하였는가? | |
| 20 | 학습데이터 출처에 대한 신뢰성 평가 기준을 수립하고 이행 하였는가? | ||
| 21 | 학습데이터 공격에 대한 보호대책이 마련되어있는가? | ||
| 22 | 학습데이터에 대한 업데이트 이력을 관리하고 있는가? | ||
| 23 | AI 모델과 학습데이터 등의 주요파일 위변조 시 탐지방안 혹은 무결성 검증 방안이 있는가? | ||
| 선택 | 개인정보 활용 | 24 | (챗봇 서비스 내 개인정보 활용 시) 개인정보 및 민감정보의 활용 필요성을 사전에 검토하는가? |
| 25 | (챗봇 서비스 내 개인정보 활용 시) 챗봇서비스에 개인정보 또는 민감정보를 활용하는 경우에는 안전성 확보에 필요한 조치를 이행하고 이를 정기적으로 점검 하는가? | ||
| .. 중 략 .. | |||
| API 사용 | 31 | (API 사용 시) API에 대한 적절한 보안대책(예: 사용하지 않는 API 식별 및 제거, API 관련 이상행위 모니터링 등)을 수립하여 적용하는가? | |
| 32 | (API 사용 시) API 변경 필요시, 변경 관리 절차에 따라 관리하고 변경내역을 문서화하여 관리하는가? | ||
| 33 | (API 사용 시) API 호출에 필요한 키를 안전한 장소에 보관하고 접근권한을 최소화하는가? | ||