요구사항 1. 인공지능 시스템에 대한 위험관리 계획 및 수행
Last updated
Last updated
인공지능 시스템 개발 및 운영 과정에서 발생할 수 있는 다양한 위험을 효과적으로 관리하고, 안전하고 신뢰할 수 있는 인공지능 시스템의 개발 및 운영을 위한 기준을 제시해야 합니다.
구분 | 내용 |
---|---|
책무성 및 투명성: 인공지능 시스템 관련 법규를 준수하고, 인공지능 시스템 개발, 운영, 사용 과정에서 발생하는 문제에 대한 책임 소재를 명확히해야 하고, 인공지능 시스템의 개발 및 운영 과정에서 발생하는 문제 등의 해결을 위한 정보를 제공해야 합니다.
위험 인식: 인공지능 시스템의 특성을 고려하여 시스템 개발, 운영, 사용, 폐기 단계 별 위험 요소를 식별합니다.
위험 분석: 식별된 위험 요소에 대한 발생 가능성과 영향도를 평가하여 우선순위를 설정합니다.
위험 평가: 위험관리 프로세스의 효과를 지속적으로 평가하고 개선합니다.
위험 대응: 위험 요소의 우선순위에 따라 위험 완화, 회피, 전가, 감수 전략을 수립합니다.
ISO/IEC 23894:2023 - Information technology — Artificial intelligence — Guidance on risk management
ISO 31000:2018 — Risk management — Guidelines
NIST AI Risk Management Framework (AI RMF) 1.0
NTIA 오픈 파운데이션 모델의 위험 및 이익 관련 보고서
인공지능 시스템의 특성을 고려하여 위험관리 계획을 맞춤화해야 합니다.
관련 법규 및 규제의 변화를 지속적으로 주시하고 위험관리 계획서를 업데이트해야 합니다.
이해관계자들과의 협력 및 소통을 통해 위험관리 계획 및 수행을 효과적으로 진행해야 합니다.
[1] 위험관리 계획서 내에 발생가능한 위험 요소를 작성하였고, 이를 분석한 전문가 인터뷰 및 회의록을 보관
증빙 문서 | 포함 내용 |
---|---|
위험관리 계획서
• 위험 요소별 위험 평가(영향,기준, 결과) 내용 및 대응 방안
• 위험 분석 내용 기반 대응 및 모니터링 방법
• 법적책임 관련 사용자 알림 내용
• 본래 사용 목적 외 제품/서비스의 유용, 악용 시의 책임 정보
위험관리 활동 이력
• 위험 요소별 담당자 지정 현황 (내부 교육 또는 점검 이력 등)
평가 대상
인공지능 모델, 인공지능 시스템
평가 방법
문서‧절차 검사
주요 확인사항
• 위험관리 계획 및 수행 프로세스가 명확하게 정의되어 있는지 확인합니다.
• 위험 식별, 분석, 평가, 대응 과정이 체계적으로 수행되는지 확인합니다.
• 위험관리 요소에 대한 충분한 고려가 이루어지는지 확인합니다.