Ctrlk
For the complete documentation index, see llms.txt. This page is also available as Markdown.

(제품·서비스) AI 위험관리

1. 인증 기준

AI 시스템 개발부터 폐기까지 전 생애 주기에 걸쳐 발생할 수 있는 잠재적 위험을 체계적으로 관리하기 위한 프레임워크를 구축 및 조직에 통합하고, 이를 실현하기 위한 프로세스를 마련하여, 다양한 위험을 효과적으로 관리하고 있는 지를 검사합니다.

2. 평가 개요

구분
내용

인증 대상

제품·서비스

평가 방법

심사(문서‧절차 검사)

주요 확인사항

• AI 위험관리 프레임워크를 평가합니다. • AI 위험관리 프로세스를 평가합니다.

3. 평가 세부 설명

AI 위험관리 인증의 기반표준인” ISO/IEC 23894 - 인공지능 위험관리 지침”에서는 조직이 AI를 안전하고 윤리적으로 사용하고, AI 시스템이 야기할 수 있는 부정적인 결과를 최소화하며, AI 기술의 이점을 극대화하는 데 필요한 효과적인 위험관리의 방안의 구체적인 지침을 제공합니다.

AI 위험관리 인증의 대상은 “제품·서비스” 이지만 해당 대상이 잘 구축된 위험관리 프레임워크를 따르고 있는지 확인 하기 위해, 위험관리 프레임워크가 잘 만들어 졌는지를 함께 확인합니다.

아래의 설명은 그 내용을 요약한 글로 인증 심사에서 평가하고자 하는 구체적인 항목을 확인하기 위해서는 반드시 표준의 내용을 먼저 확인해야 합니다.

표준 절
절 제목
설명

5

Framework

인공지능 위험관리 프레임워크(체계)를 잘 구축했는지 평가

5.1

General

인공지능 위험관리를 위한 정보 수집이 이루어지고, 담당 거버넌스 조직의 운영을 평가

5.2

Leadership and commitment

최고 경영진 및 감독 기관의 리더십과 헌신을 평가

5.3

Integration

인공지능 위험관리 프레임워크를 조직으로 잘 통합시켰는지 평가

5.4

Design

인공지능 위험관리 프레임워크를 적절히 설계하였는지 평가

5.5

Implementation

인공지능 위험관리 프레임워크를 실제로 잘 구현했는지 평가

5.6

Evaluation

인공지능 위험관리 프레임워크 효과성을 평가하는 기업 활동을 평가

5.7

Improvement

인공지능 위험관리 프레임워크 개선 활동을 평가

6

Risk management process

인공지능 위험관리 절차, 활동, 기록이 적절한지 평가

6.1

General

인공지능 위험관리 프로세스가 제품·서비스의 수명주기 범위를 따라 수행되는지 평가

6.2

Communication and consultation

의사소통 및 협의 프로세스를 평가

6.3

Scope, context and criteria

인공지능 위험관리 활동 범위, 내·외부 상황, 기준 정의를 평가

6.4

Risk assessment

위험진단 3단계(‘위험식별’, ‘위험분석’, ‘위험평가’)를 평가

6.5

Risk treatment

- 문서·절차 검사: 위험처리 방안을 평가

- 측정·기능 시험

6.6

Monitoring and review

모든 프로세스(단계)에서 모니터링/검토 활동을 평가

6.7

Recording and reporting

위험관리 프로세스의 문서화 활동을 평가

<참고> 표준에서 요구하는 위험 관리 목표는 다음과 같으며 각각의 목표를 빠짐없이 모두 검토해야 합니다.

목표
설명

책무성 (Accountability)

조직의 결정 및 행동에 대해 관리기관, 법적기관, 이해관계자에게 설명하고 책임을 질 수 있어야 하며, 시스템 내 객체의 결정 및 행동에 대해 추적이 가능해야 함

AI 전문성 (AI Expertise)

인공지능 시스템을 평가, 개발, 배포하는 데 있어 기술 전문성을 갖춘 전담 전문가가 참여해야 함

훈련 및 시험데이터의 품질 및 가용성 (Availability and quality of training and test data)

훈련, 시험, 산출 데이터는 데이터 유형 및 품질 측면에서 인공지능 시스템의 의도된 동작에 적합해야 함

환경영향 (Environmental impact)

인공지능이 환경에 미치는 긍정적 및 부정적 영향을 고려해야 함

공정성 (Fairness)

인공지능 시스템 사용이 특정 개인이나 그룹에 불공평하지 않아야 함

유지보수성 (Maintainability)

조직이 결함을 수정하거나 새로운 요구에 맞게 조정하기 위해 인공지능 시스템을 수정할 수 있어야 함

개인정보보호 (Privacy)

개인정보를 수집, 저장, 처리할 수 있는 대상과 해당 정보를 공개할 수 있는 대상을 통제할 수 있어야 함

강건성 (Robustness)

인공지능 시스템이 다양한 사용 환경에서 성능 수준을 유지해야 함

안전성 (Safety)

정의된 조건하에서 인간의 생명, 건강, 재산 또는 환경이 위험에 빠지지 않아야 함

보안성 (Security)

기존의 정보 및 시스템 보안 문제뿐만 아니라, 데이터 오염, 적대적 공격 및 모델 도용 등에 대한 보안을 갖춰야 함

투명성 및 설명가능성 (Transparency and explainability)

인공지능 시스템의 관리정보, 위험조치 정보, 기타 이해관계자에게 제공되는 정보가 투명해야 하고, 시스템의 결과를 합리화하고 이해하는 데 도움이 되어야 함

4. 평가 증빙

아래에 제시된 “증빙자료(예시)”의 목록은 일부 예시에 불과합니다. 실제로 보유하고 관리해야 하는 증빙 자료는 자사의 위험관리 프레임워크와 프로세스, 그에 따른 위험 관리활동을 증빙할 수 있는 모든 자료에 해당하며 이는 특정 문서 양식에 구애받지 않습니다.

예를 들어, 품질 저하의 위험을 완화하기 위해 정기적으로 모델 성능 시험을 수행하는 경우, 그 활동 증빙으로 제시할 수 있는 문서는 자사 위험 관리 활동 기록 지침에 따라 내용을 모두 포함(시험 데이터, 모델, 성능결과, 날짜, 주기 등)하는 다음과 같은 자료가 될 수 있습니다.

  • 개발 및 형상관리 도구 상의 시험 결과 이력 정보

  • 해당 시험 결과를 기록한 문서

  • 업무 협업 도구 상의 공유 게시글 등

표준 절
절 제목
증빙자료(예시)

5

Framework

5.1

General

[규정 및 정의]

· 위험관리 프레임워크 개요 문서

· 위험관리 정책서

[이행 증빙]

· 위험 관리 활동 목록(catalog)

· 사업계획서 등

5.2

Leadership and commitment

[규정 및 정의]

· 전사 AI 윤리원칙

· 위험관리에 대한 리더십 선언문, 강령 등

[이행 증빙]

· 경영진의 위험관리 참여 증빙 자료(서약서)

· 전사 AI 윤리원칙의 홈페이지 게재

5.3

Integration

[규정 및 정의]

· 위험관리 정책서

· 위험관리 프레임워크 개요 문서

[이행 증빙]

· 위험관리와 조직 프로세스 통합 계획서

· 통합된 위험관리 활동 기록 등

5.4

Design

[규정 및 정의]

· 위험관리 프레임워크 개요 문서

· 조직도, 조직의 위험관리 권한 및 책임 정의서

· 내 외부 위험관리 협의체계 정의서

[이행 증빙]

· 조직의 외부 법적 규제 및 시장 환경 분석 보고서

· 내부 프로세스 및 자원 역량 등 평가 보고서

· 프레임워크 구성 요소 설명서

· 인력의 권한 및 책임 할당 내역, 자원 및 예산 할당 내역, 교육훈련 계획서

· 대 내외 협의체계 활동 내역(회의록) 등

5.5

Implementation

[이행 증빙]

· 위험관리 프레임워크 구현 계획 및 일정

· 구현 상태 보고서 등

5.6

Evaluation

[규정 및 정의]

· 위험관리 정책서(평가 주기, 방법 등)

[이행 증빙]

· 위험관리 프레임워크 성과 평가 보고서

· 내부 감사 결과, 피드백 보고서

· 거버넌스 활동 점검 기록, 윤리점검표, 교육훈련 기록 등

5.7

Improvement

[규정 및 정의]

· 위험관리 정책서(개선 절차 등)

[이행 증빙]

· 위험관리 프로세스 개선 후 성과 평가 보고서

· 위험관리 프로세스 개선 계획

· 이전 개선 활동의 효과 분석 보고서 등

6

Risk management process

6.1

General

[규정 및 정의]

· 위험관리 프로세스 흐름도 및 절차서

· 생명주기 범위 별 위험관리 활동 정의

6.2

Communication and consultation

[규정 및 정의]

· 위험관리 의사소통 체계

[이행 증빙]

· 시험대상 제품의 위험관리 의사소통 진행 증빙 및 산출물

(예시: 위험 관련 의사소통 계획, 이해관계자 협의 기록, 이해관계자의 피드백 및 반영 내역, 사용자 메뉴얼, 모델카드, 내부 보고 문서 등)

6.3

Scope, context and criteria

[규정 및 정의]

· 위험관리 활동 범위 정의서

· 위험 판단 기준 및 방법론 문서

[이행 증빙]

· 시험대상 제품에 적용한 위험관리 범위 및 판단 내용

(예시: 제품의 위험관리 범위 정의를 위한 회의록 또는 관련 내부결재, 위험판단 기준 작성을 위한 회의록 또는 관련 결재, 내외부 상황 반영내용 확인 자료 등)

6.4

Risk assessment

[규정 및 정의]

· 위험관리 활동 범위 정의서

· 위험관리 계획서

· 위험 판단 기준 및 방법론 문서

[이행 증빙]

· 위험관리 활동 에서 정의한 위험 식별-분석-평가 활동(11가지 위험관리 목표를 충족해야 함)을 확인할 수 있는 증빙 또는 산출물

(예시: 위험 식별 기록, 위험 분석 보고서, 위험 평가 매트릭스, 우선순위 보고서, 위험 평가 보고서, AI 영향 평가서, 환경영향 평가서, 제품·서비스 시험계획서, 테스트 데이터, 테스트 리포트, 데이터 출처 기록, 데이터셋 시각화 기록, 최적화된 데이터, 데이터 라벨링 가이드, 오픈소스 현황 관리 문서, 모델 편향 분석 문서(편향제거 기법 포함), 편향성 정량 분석 결과, 모델 취약점 분석 문서, 서비스 성능 분석 기록 등)

6.5

Risk treatment

[규정 및 정의]

· 위험 처리 계획서(구체내용)

[이행 증빙]

· 처리해야하는 위험의 처리 결과를 확인 할 수 있는 증빙 또는 산출물(위험 처리방안 도출 기록, 위험 처리 활동 기록)

(예시: 크라우드 워크 활용 이력, 저전력 모델 최적화 기록, 각종 시험 결과서, 이상데이터 제거 기록, 오픈소스 라이선스 준수사항 이행 내역, 모델 취약점(공격) 대응 후 재평가, 모델 카드 작성, XAI 기술 적용 기록, UI/UX 인터페이스 설계서(편향 완화), 문제발생 대응 절차서, 데이터 라벨링 또는 어노테이션 가이드, 시스템(보안) 아키텍처 문서, 사용자 피드백 채널 제공 등)

6.6

Monitoring and review

[규정 및 정의]

· 위험 모니터링 주기 및 방법

[이행 증빙]

· 시험 대상 제품의 위험 모니터링 활동 내역을 확인할 수 있는 증빙 또는 산출물

(예시: 위험관리 활동 모니터링 보고서, 정기 검토 회의록, 시스템 로그 분석 결과, 위험 재평가 기록)

6.7

Recording and reporting

[규정 및 정의]

· 위험관리 기록 보관 정책

· 시스템 로그 기록 및 보관 정책

· 위험관리 기록 접근 보안 체계

[이행 증빙]

· 시험 대상 제품의 위험 관리 활동 문서화 내용과 보고 활동을 확인할 수 있는 증빙 또는 산출물

(예시: 위험관리 보고서 및 기록물(버전 관리 및 최신화), 시스템 로그 자동 저장 기능, 사용자 매뉴얼 / 제품 설명서, 위험관리 활동 관련 내부 보고자료 등)

  • 예시 양식

47KB
(양식) 위험관리계획서 v0.3.docx
Open
42KB
(양식) 위험관리대장 v0.5.xlsx
Open

5. 관련 문서

Previous인증 절차Next(제품·서비스) AI 신뢰성 확보 조치

Last updated