요구사항 4. 인공지능 시스템의 추적가능성 및 변경이력 확보

1. 인증 기준

인공지능 시스템 개발 및 운영 과정에서 발생하는 변화를 추적하기 위한 기준과 방법을 제시해야 합니다. 이는 인공지능 시스템의 투명성, 책임성, 신뢰성을 향상시키는데 기여합니다.

2. 평가 개요

구분내용

평가 대상

인공지능 모델, 인공지능 시스템

평가 방법

문서‧절차 검사 및 측정‧기능 시험

주요 확인사항

• 데이터 출처 및 변환 과정에 대한 정보가 명확하게 기록되어 있는지 확인합니다.

• 모델 학습 과정 및 알고리즘 변화에 대한 정보가 기록되어 있는지 확인합니다.

• 코드 및 시스템 버전 관리가 체계적으로 이루어지고 있는지 확인합니다.

• 성능 및 결과에 대한 지속적인 추적 및 분석이 이루어지고 있는지 확인합니다.

• 변경 사항에 대한 상세 정보가 정확하게 기록되어 있는지 확인합니다.

• 변경 사항에 대한 승인 및 검증 프로세스가 명확하게 정의되어 있는지 확인합니다.

• 변경 사항에 대한 롤백 및 복구 기능이 정상적으로 작동하는지 확인합니다.

3. 평가 세부 설명

3.1 신뢰 속성

  • 책무성 및 투명성: 개발, 운영과정, 의사결정 과정에 대한 책임 소재가 추적 가능해야 하고, 데이터 정보, 모델 알고리즘 종류 및 작동방식, 사용자와의 상호작용 및 의사결정이 추적 가능해야 합니다.

3.2 관련 프로세스

• 요구사항 추적성 매트릭스를 작성하여 전방향, 역방향, 양방향 추적성 유지 및 관리

4. 평가 증빙

증빙 문서포함 내용

로그

• 로그의 스키마 • 의사결정 추적 (데이터, 모델, 사용자 경험, 기타 모니터링 로그) • 의사결정 관련 소스코드 일부

데이터 라벨링 가이드

• 원천데이터 확인용

형상관리 도구 사용 이력

• 예) Github, SVN

성능 추적기록

• 추적성 매트릭스(전방향, 역방향, 양방향 추적성 유지 및 관리 기록)

5. 관련 기법 및 도구

6. 추가 고려사항

  • 시스템의 일부를 구매하여 이용할 경우 (예: 생성AI Foundation model 제공사), 구매자가 확보할 수 없는 이력으로 인해 발생할 수 있는 위험에 대한 관리 계획이 따로 준비되어야 합니다.

  • 자회사 또는 하도급을 이용하여 일부 모듈을 개발할 경우, 시스템 내 타 모듈과의 호환성 문제 등으로 추적성 및 이력 관리 도구 사용에 어려움이 있을 수 있으므로 이에 유의하여야 합니다.

7. 사례

[1] 성능시험에 대한 결과 출력 시, 성능 수치 뿐만 아니라 대상 테스트 데이터의 경로 등도 같이 표시하여 직관적인 추적성 유지

Previous요구사항 3. 인공지능 시스템의 신뢰성 테스트 계획 수립Next요구사항 5. 데이터의 활용을 위한 상세 정보 제공

Last updated