인공지능 모델의 투명성을 높이고, 이해관계자들이 모델의 작동 방식과 추론 결과를 이해할 수 있도록 돕는 것을 목표로 합니다. 또한, 모델의 신뢰성을 확보하고, 윤리적 사용을 위한 기준을 제시해야 합니다.
평가대상
인공지능 모델, 인공지능 시스템
평가방법
문서‧절차 검사 및 측정‧기능 시험
주요 확인사항
• 모델 명세가 완전하고 정확한지 확인합니다. • 적용된 XAI기법이 적절한지 확인합니다. • 추론 결과 설명이 명확하고 이해하기 쉬운지 확인합니다. • 추론 결과에 대한 신뢰도 등이 명확하게 제시되었는지 확인합니다
측정‧기능시험 평가 절차
1. 평가 목표 및 지표 선정: 상담 및 계약 시 측정‧기능 시험을 통해 검증하고자 하는 목표와 지표를 합의합니다. 2. 시험 수행 단계: 시험 합의된 환경에서 XAI기법을 적용하여 수행 또는 시연합니다. 3. 평가 단계: 보고서 작성 과정 중 인증기관 및 전문가들의 의견을 통해 시험 결과를 평가합니다.
설명가능성 및 예측가능성: 모델의 추론 결과를 명확하고 이해하기 쉬운 방식으로 설명해야 합니다.
모델 해석: 모델의 내부 작동 방식을 이해하기 위한 절차입니다.
모델 시각화: 모델의 구조와 작동 방식을 시각적으로 표현하기 위한 절차입니다.
반사실 (counterfactual) 예시 생성: 모델의 예측 결과를 바꾸기 위해 필요한 최소한의 변화를 찾기 위한 절차입니다.
모델카드
-
XAI 기술 적절성 분석 기록
• 시연 확인
• 로그 확인
• 설명 방식에 대한 사용자 평가 기록
모델학습 리소스 기록
-
SHAP: 모델의 각 특징이 예측 결과에 미치는 영향을 설명하는 기법의 코드입니다.
LIME: 모델의 예측 결과를 설명하는 로컬 모델을 생성하는 기법의 코드입니다.
검색증강생성 (Retrieval Augmented Generation, RAG): 외부 소스에서 가져온 정보로 생성형 AI모델의 투명성을 향상시키는 기법입니다.
Chain-of-Thought Prompting: 생성형 AI모델의 설명을 위해, 프롬프트를 분해해서 입력함으로써 모델이 추론결과를 스스로 설명하도록 하는 기법입니다.
Explainable AI Toolkit (XAITK): 美 방위고등연구계획국(DARPA)의 설명가능한 인공지능(XAI) 프로그램에 따라 개발되었으며, 다양한 도구와 리소스가 포함된 오픈소스 도구 키트입니다.
모델의 특성을 고려하여 XAI 기술을 적절하게 선택해야 합니다.
모델의 이해관계자들과의 협력 및 소통을 통해 모델 명세 및 추론 결과 설명 과정을 효과적으로 수행해야 합니다.
[1] 지뢰탐지 시스템에서 XAI기법 중 하나인 LIME을 도입하여 지뢰 종류 및 도출 결과를 사용자에게 시각적으로 설명
Last updated