요구사항 13. 인공지능 시스템의 안전 모드 구현 및 문제발생 알림 절차 수립
1. 인증 기준
인공지능 시스템에 발생할 수 있는 안전성 문제 중 일부는, 시스템 측면에서 안전 모드를 구현하고 문제 발생 알림 절차를 수립하는 것으로 해결할 수 있습니다. 데이터 중독, 모델 추출, 모델 전도 공격 등에 대한 시스템 차원의 방어 대책과, 운영자에게 문제발생을 알리는 절차 등이 구현되어야 합니다.
2. 평가 개요
| 구분 | 내용 |
|---|---|
평가대상 | 인공지능 시스템 |
평가방법 | 문서‧절차 검사 |
주요 확인사항 | • 안전 모드 작동 기준 및 조건을 확인합니다. • 안전 모드 작동 시 시스템의 동작 상황을 확인합니다. • 안전 모드 해제 기준 및 절차를 확인합니다. • 문제 감지 절차 및 식별 방법을 확인합니다. • 알림 방식 및 내용을 확인합니다. • 알림 수신자 및 사람의 개입 시 그 역할을 확인합니다. |
3. 평가 세부 설명
3.1 신뢰 속성
보안성 및 회복탄력성: 안전 모드가 시스템을 견고하게 유지하기에 충분한 기능을 갖추는지 확인합니다.
3.2 관련 프로세스 및 양식
침입 탐지 시스템(Intrusion Dection Ssystem, IDS): 네트워크 트래픽, 의심스러운 활동, 보안 정책 위반 등을 탐지
침입 방지 시스템(Intrusion Prevention System, IPS): 네트워크 트래픽에서 잠재적인 위협에 자동적으로 차단조치를 수행하고 관계 보안팀에 알림
데이터 중독 공격: 의도적으로 악의적인 학습 데이터를 주입해 모델을 망가뜨리는 공격
모델 추출 공격: 입력값과 결괏값을 분석해 모델을 추출하는 공격
모델 전도 공격: 여러 질문(query)를 시도한 결과를 통해 학습 데이터를 추출하는 공격
4. 평가 증빙
| 증빙 문서 | 포함 내용 |
|---|---|
시스템(보안) 아키텍처 문서 | - |
문제 발생 대응 절차서(이상 처리, 장애 대응 절차서) | - |
사용자 매뉴얼 | - |
테스트 리포트 | - |
서비스 성능 분석 기록 | - |
위험관리 계획서 | • 윤리 문제 분석 내용 |
5. 관련 문서
Google의 보안 AI 프레임워크(SAIF: Secure AI Framework)
OWASP(Open Web Application Security Project) Top 10 for LLM Applications
ISO/IEC CD 27090 - Cybersecurity — Artificial Intelligence — Guidance for addressing security threats and failures in artificial intelligence systems
6. 추가 고려사항
시스템의 특성 및 활용 분야를 고려하여 안전 모드 돌입 방식 등을 정의해야 합니다.
생성형 AI의 환각 문제를 해결하기 위해서는 사용자의 의견 전달 기능을 통해 관련 피드백을 수용하는 것이 중요합니다.
7. 사례
[1] 이상데이터 확인 프로세스를 구축하여, 데이터 중독 및 모델 회피 보호 시스템을 구축하고, 관련 내용을 로그로 기록하여 보안팀에 전달함을 확인
Last updated