01 인공지능 시스템에 대한 위험관리 계획 및 수행

인공지능 시스템이 구현 및 운영되는 과정에서 발생 가능한 모델 오인식, 기능 오동작, 보안 및 개인정보 이슈 등의 위험 요소를 사전에 인식하고, 위험의 크기(심각성 및 파급효과)를 분석하여 대응 방안을 마련한다.

01-1 인공지능 시스템 생명주기에 걸쳐 나타날 수 있는 위험 요소를 분석하였는가?

위험관리는 위험 인식(identification), 위험 분석(analysis), 위험 평가(evaluation), 위험 대응(treatment)으로 구분한다. 신뢰성 확보를 위해 이러한 네 가지 활동을 생명주기 단계별로 지속･반복적으로 수행함으로써 위험을 제거 및 방지하여야 한다. ISO 31000:2018 - Risk management에는 위험관리에 대한 개념 및 정의와 전체적인 흐름이 소개되어 있다.
다만, 인공지능의 신뢰성을 확보하는 과정에서 방해가 될 수 있는 위험 요소를 인식, 분석 및 평가하는 방법론은 기존의 소프트웨어 및 하드웨어 기반 시스템과는 상이할 수 있으므로 이 점을 고려해야 한다. ISO/IEC 24028:2020 - Overview of trustworthiness in artificial intelligence와 ISO/IEC 23894:2023 - Guidance on risk management에서는 인공지능의 신뢰성 관점에서 살펴보아야 할 위험 요소의 분류가 제공되어 있다.
위험 요소별로 위험이 발생할 수 있는 원인, 위험의 허용 범위, 상황 및 조건을 분석한 다음, 위험 요소가 인공지능 시스템 또는 인간 및 주변 환경에 얼마나 큰 영향을 미치는지 분석하여야 한다. 만약, 식별된 위험이 극단적으로 부정적인 결과를 초래할 수 있다고 판단된 경우, 인공지능 기술 적용에 대해 재검토하여야 한다.
인공지능 시스템은 특성상 지속해서 그 형태와 형상이 변화할 수 있다. 이는 시스템에서 새로운 위험 요소가 지속해서 발생할 수 있음을 의미한다. 따라서, 생명주기 전반에 걸쳐 위험 요소 분석과 이에 대한 대응이 반복적으로 이루어져야만 적절하고 효과적인 위험관리가 이루어질 수 있다.

01-1a 인공지능 시스템의 위험 요소를 도출하고 이의 파급효과를 파악하였는가?

인공지능 시스템의 위험 요소는 소프트웨어 및 하드웨어 기반 시스템에서 발생할 수 있는 요소와는 다르다. 소프트웨어의 결함 및 오류, 하드웨어의 노후화 및 마모 등과 달리 데이터 기반 분석의 특성으로 나타날 수 있는 편향, 설명 미제공, 모델에 대한 공격 등의 위험 요소를 도출해야 한다. 이러한 요소는 아래 참고와 같이 ISO/IEC 23894:2023 과 ISO/IEC 24028:2020에 제시되어 있다.
도출된 위험 요소별로 이를 야기할 수 있는 원인과 이에 따라 발생 가능한 결과를 분석해야 한다. 발생 가능한 결과란 사회적으로 부정적인 영향을 미칠 수 있는 현상 및 사고를 의미하며, 인체에 위해를 가하는 사고를 야기할 수 있는 차별적인 현상 등이 이에 해당한다.
위험 요소의 발생으로 인한 결과는 심각도와 발생빈도 등의 척도를 기준으로 위험의 크기 또는 수준을 평가할 수 있다. 이는 위험 요소의 파급효과를 의미한다. 위험 요소를 평가해 파급효과가 큰 위험 요소를 최우선으로 대응 방안을 마련해야 한다.
다만, 앞서 언급한 파급효과를 산정 및 평가하는 과정에서 심각도와 발생빈도뿐만 아니라, 상황에 맞는 척도를 도입하여 조합할 수 있다.
측정 되지 않거나 측정할 수 없는 위험의 경우 적절히 문서화하여 확인할 수 있도록 하고 있고, 완화하지 못한 AI 위험이 현재 사용 가능한 측정 기법으로 평가하기 어렵거나 아직 지표를 사용할 수 없는 환경에서는 위험 추적 접근 방식을 고려한다.

참고: 인공지능 시스템의 위험 요소

ISO/IEC 23894:2023에 따르면, 인공지능 시스템의 위험을 식별할 때 시스템의 특성과 그 응용 맥락에 따라 다양한 위험 요소들을 고려해야 한다. 위험 요소는 Annex B에서 다루고 있으며, 목록은 아래와 같다.
- Complexity of environment
- Lack of transparency and explainability
- Level of automation
- Risk sources related to machine learning
- System hardware issues
- System life cycle issues
- Technology readiness
또한, ISO/IEC 24028:2020에서는 인공지능 시스템 구현 관점에서 고려할 수 있는 취약점 및 위험 요소를 정리해 놓았으므로(Chapter 8. Vulnerabilities, threats and challenges) 이를 참고할 수 있다.
- AI specific security threats
- AI specific privacy threats
- Bias
- Unpredictability
- Opaqueness
- Challenges related to the specification of AI systems
- Challenges related to the implementation of AI systems
- Challenges related to the use of AI systems
- System and Hardware faults

참고: MIT AI Risk repository

인공지능의 위험요소를 체계적으로 정리한 연구로, 크게 AI Risk Database, Causal Taxonomy, Domain Taxonomy 세 부분으로 구성되어 있다.
- AI Risk Database: 기존 연구에서 추출한 700개 이상의 위험을 인용문, 페이지 번호와 함께 제공한다.
- Causal Taxonomy : 위험이 어떻게, 언제, 왜 발생하는지 크게 아래와 같은 범주로 분류한다.
  - Entity (human, AI),
  - Intentionality (intentional, unintentional)
  - Timing (pre-deployment, post-deployment)
- Domain Taxonom: 위험을 7개의 도메인과 23개 하위 도메인으로 분류하며, 큰 범주는 아래와 같다.
  - Discrimination & Toxicity
  - Privacy & Security,
  - Misinformation
  - Malicious Actors & Misuse
  - Human-Computer Interaction,
  - Socioeconomic & Environmental
  - AI System Safety, Failures, & Limitations

01-1b 인공지능 기술 적용을 어렵게 만드는 위험 요소가 있는지 확인하였는가?

ISO/IEC 23894:2023에서는 위험 인식 단계에서 위험을 초래할 수 있는 위험 요소, 사건 또는 결과를 식별해야 한다고 말한다. 결과 식별은 조직, 개인, 커뮤니티, 집단, 사회에 대한 모든 결과를 대상으로 해야하며, 기술의 혜택을 경험하는 집단과 부정적인 결과를 경험하는 집단 간의 차이를 식별하는 데 특별한 주의를 기울여야 한다. 식별해야 할 결과의 예시는 다음과 같다.
- 기회의 획득 또는 상실
- 개인의 건강이나 안전에 대한 위협
- 피해 복구를 위한 특정 기술에 대한 재정적 비용
만약 인공지능 기술이 극단적으로 부정적인 결과를 초래할 수 있다고 확인된 경우, 인공지능 기술 적용에 대해 재검토하여야 한다. UNESCO의 <Recommendation on the Ethics of Artificial Intelligence>와 같은 일부 문헌에서는 인공지능 기술을 적용하지 않아야 하는 특정 분야를 명시하고 있다.

참고: UNESCO, EU에서 언급한 인공지능 기술이 적용되지 말아야 할 분야의 예시

Recommendation on the Ethics of Artificial Intelligence(UNESCO): Proportionality and Do No Harm
- 인공지능 시스템은 소셜 스코어링social scoring이나 대규모 감시mass surveillance 목 적으로 사용되어서는 안 된다.
Artificial Intelligence Act(EU): Unacceptable risk
- 허용할 수 없는 위험을 갖는 인공지능 시스템은 인간에게 위협이 되는 것으로 간주되어 금지되어야 할 시스템이다. 여기에는 다음이 포함된다:
  - 사람이나 특정 취약 집단에 대한 인지 행동 조작(예: 어린이의 위험한 행동을 조장하는 음성 인식 장난감)
  - 소셜 스코어링social scoring
  - 안면인식 등 실시간 원격 생체 인식 시스템

01-2 위험 요소를 제거 및 방지하거나 영향을 완화하기 위한 방안을 마련하였는가?

01-1에서 분석된 위험 요소별로 대응 방안을 마련하여야 한다. 위험 요소의 원인을 제거함으로써 인명 피해 및 사고를 미연에 방지하거나, 사고로 인한 파급효과 및 부정적 영향을 최소화하기 위한 수단이 이에 해당한다.
대응 방안이란, 구현 및 운영 방식 등의 절차, 소프트웨어 및 하드웨어 기능, 모델 학습 기법 및 전략 등 기술적으로 적용할 수 있는 모든 방법을 의미한다. 이에 대해 01-2b의 참고와 같이 ISO/IEC 24028:2020에서 대응 방안의 분류를 제공한다. 인공지능을 구현하는 모든 이해관계자는 이를 고려하여 위험 요소에 대한 대응 방안을 마련하고, 위험이 제거 및 완화되었는지 확인하여야 한다.
만일 AI를 폐기하게 되는 경우에도 위험이 커지거나 조직의 신뢰도를 떨어뜨리지 않는 방식으로 단계적 절차를 마련하여 폐기한다.

01-2a 위험 요소별 완화 또는 제거 방안을 마련하였는가?

위험 대응을 통해 위험의 부정적인 결과를 수용 가능한 수준으로 줄이고 긍정적인 결과를 달성할 가능성을 높이도록 해야 한다. 위험 요소별 다양한 대응 방안이 도출될 수 있으며, 각각의 방안에는 장단점이 있을 수 있으므로 신중하게 대응 방안을 선택하고 효과적으로 실행하여야 한다.
대응 방안의 한 가지 예로, 편향 완화를 위해 출처 및 데이터 소스를 분석하여 위험을 파악하고 데이터 수집 또는 라벨링 프로세스를 검토하는 것이 될 수 있다. 추가 예시는 다음 참고와 같이 ISO/IEC 24028:2020에 제시되어 있다.

참고: 인공지능 시스템의 위험 대응 방안

ISO/IEC 24028:2020에서는 인공지능 시스템 구현 관점에서 고려할 수 있는 취약점 및 위험 요소를 정리하였으며(Chapter 8. Vulnerabilities, threats and challenges), 이에 대한 대응 방안(Chapter 9. Mitigation measures)이 개괄적으로 제시되어 있으므로 이를 참고할 수 있다.

ISO/IEC 23894:2023 의 위험관리 프레임워크에서는 조직의 운영에 위험관리 활동을 통합할 것을 제안하며, 조직의 내외부적 상황을 고려한 넓은 범위의 위험관리 활동을 권장한다. 또한 위험관리 활동을 포함한 위험관리 프로세스를 기록 및 보고하고 지속적으로 업데이트 하라고 안내한다.
- 내외부적 상황: 조직, 고객, 공급자, 최종 사용자, 커뮤니티, 규제, 시민단체 등
- 위험의 범위: 시간관련 요소, 위험수준 결정 방법, 조직의 위험 수용력 등

01-2b 위험 요소의 파급효과가 감소하였는지 확인하였는가?

위험 요소를 발생시킬 수 있는 구현 및 운영 방식, 소프트웨어 및 하드웨어 기능, 모델 학습 기법 및 전략 등의 기술적인 방법론을 도출하여야 한다. 이러한 방법론에 대한 분류와 개략적인 내용은 ISO/IEC 24028:2020에 제시되어 있다.
앞서 위험 요소를 분석하는 과정에서 위험 요소의 파급효과를 평가하였는데, 파급효과가 가장 큰 위험 요소를 우선순위로 대응 방안을 적용해야 하며, 위험의 파급효과가 큰 경우 인공지능 시스템의 판단 결과에 대한 사람의 개입을 고려하는 등의 위험 완화 방안을 적용해야 한다.
대응 방안이 적용된 이후에는 파급효과를 재평가함으로써 위험 요소가 실제로 제거, 방지 혹은 이의 영향이 완화되었는지 확인하여야 한다.

개선 의견 보내기

Previous5. 안내서 활용 방법 Next02 인공지능 거버넌스 체계 구성

Last updated 3 months ago

01-1 인공지능 시스템 생명주기에 걸쳐 나타날 수 있는 위험 요소를 분석하였는가?

위험관리는 위험 인식(identification), 위험 분석(analysis), 위험 평가(evaluation), 위험 대응(treatment)으로 구분한다. 신뢰성 확보를 위해 이러한 네 가지 활동을 생명주기 단계별로 지속･반복적으로 수행함으로써 위험을 제거 및 방지하여야 한다. ISO 31000:2018 - Risk management에는 위험관리에 대한 개념 및 정의와 전체적인 흐름이 소개되어 있다.

다만, 인공지능의 신뢰성을 확보하는 과정에서 방해가 될 수 있는 위험 요소를 인식, 분석 및 평가하는 방법론은 기존의 소프트웨어 및 하드웨어 기반 시스템과는 상이할 수 있으므로 이 점을 고려해야 한다. ISO/IEC 24028:2020 - Overview of trustworthiness in artificial intelligence와 ISO/IEC 23894:2023 - Guidance on risk management에서는 인공지능의 신뢰성 관점에서 살펴보아야 할 위험 요소의 분류가 제공되어 있다.

위험 요소별로 위험이 발생할 수 있는 원인, 위험의 허용 범위, 상황 및 조건을 분석한 다음, 위험 요소가 인공지능 시스템 또는 인간 및 주변 환경에 얼마나 큰 영향을 미치는지 분석하여야 한다. 만약, 식별된 위험이 극단적으로 부정적인 결과를 초래할 수 있다고 판단된 경우, 인공지능 기술 적용에 대해 재검토하여야 한다.

인공지능 시스템은 특성상 지속해서 그 형태와 형상이 변화할 수 있다. 이는 시스템에서 새로운 위험 요소가 지속해서 발생할 수 있음을 의미한다. 따라서, 생명주기 전반에 걸쳐 위험 요소 분석과 이에 대한 대응이 반복적으로 이루어져야만 적절하고 효과적인 위험관리가 이루어질 수 있다.

01-1a 인공지능 시스템의 위험 요소를 도출하고 이의 파급효과를 파악하였는가?

인공지능 시스템의 위험 요소는 소프트웨어 및 하드웨어 기반 시스템에서 발생할 수 있는 요소와는 다르다. 소프트웨어의 결함 및 오류, 하드웨어의 노후화 및 마모 등과 달리 데이터 기반 분석의 특성으로 나타날 수 있는 편향, 설명 미제공, 모델에 대한 공격 등의 위험 요소를 도출해야 한다. 이러한 요소는 아래 참고와 같이 ISO/IEC 23894:2023 과 ISO/IEC 24028:2020에 제시되어 있다.

도출된 위험 요소별로 이를 야기할 수 있는 원인과 이에 따라 발생 가능한 결과를 분석해야 한다. 발생 가능한 결과란 사회적으로 부정적인 영향을 미칠 수 있는 현상 및 사고를 의미하며, 인체에 위해를 가하는 사고를 야기할 수 있는 차별적인 현상 등이 이에 해당한다.

위험 요소의 발생으로 인한 결과는 심각도와 발생빈도 등의 척도를 기준으로 위험의 크기 또는 수준을 평가할 수 있다. 이는 위험 요소의 파급효과를 의미한다. 위험 요소를 평가해 파급효과가 큰 위험 요소를 최우선으로 대응 방안을 마련해야 한다.

다만, 앞서 언급한 파급효과를 산정 및 평가하는 과정에서 심각도와 발생빈도뿐만 아니라, 상황에 맞는 척도를 도입하여 조합할 수 있다.

측정 되지 않거나 측정할 수 없는 위험의 경우 적절히 문서화하여 확인할 수 있도록 하고 있고, 완화하지 못한 AI 위험이 현재 사용 가능한 측정 기법으로 평가하기 어렵거나 아직 지표를 사용할 수 없는 환경에서는 위험 추적 접근 방식을 고려한다.

참고: 인공지능 시스템의 위험 요소

ISO/IEC 23894:2023에 따르면, 인공지능 시스템의 위험을 식별할 때 시스템의 특성과 그 응용 맥락에 따라 다양한 위험 요소들을 고려해야 한다. 위험 요소는 Annex B에서 다루고 있으며, 목록은 아래와 같다.
- Complexity of environment
- Lack of transparency and explainability
- Level of automation
- Risk sources related to machine learning
- System hardware issues
- System life cycle issues
- Technology readiness
또한, ISO/IEC 24028:2020에서는 인공지능 시스템 구현 관점에서 고려할 수 있는 취약점 및 위험 요소를 정리해 놓았으므로(Chapter 8. Vulnerabilities, threats and challenges) 이를 참고할 수 있다.
- AI specific security threats
- AI specific privacy threats
- Bias
- Unpredictability
- Opaqueness
- Challenges related to the specification of AI systems
- Challenges related to the implementation of AI systems
- Challenges related to the use of AI systems
- System and Hardware faults

참고: MIT AI Risk repository

인공지능의 위험요소를 체계적으로 정리한 연구로, 크게 AI Risk Database, Causal Taxonomy, Domain Taxonomy 세 부분으로 구성되어 있다.
- AI Risk Database: 기존 연구에서 추출한 700개 이상의 위험을 인용문, 페이지 번호와 함께 제공한다.
- Causal Taxonomy : 위험이 어떻게, 언제, 왜 발생하는지 크게 아래와 같은 범주로 분류한다.
  - Entity (human, AI),
  - Intentionality (intentional, unintentional)
  - Timing (pre-deployment, post-deployment)
- Domain Taxonom: 위험을 7개의 도메인과 23개 하위 도메인으로 분류하며, 큰 범주는 아래와 같다.
  - Discrimination & Toxicity
  - Privacy & Security,
  - Misinformation
  - Malicious Actors & Misuse
  - Human-Computer Interaction,
  - Socioeconomic & Environmental
  - AI System Safety, Failures, & Limitations

01-1b 인공지능 기술 적용을 어렵게 만드는 위험 요소가 있는지 확인하였는가?

ISO/IEC 23894:2023에서는 위험 인식 단계에서 위험을 초래할 수 있는 위험 요소, 사건 또는 결과를 식별해야 한다고 말한다. 결과 식별은 조직, 개인, 커뮤니티, 집단, 사회에 대한 모든 결과를 대상으로 해야하며, 기술의 혜택을 경험하는 집단과 부정적인 결과를 경험하는 집단 간의 차이를 식별하는 데 특별한 주의를 기울여야 한다. 식별해야 할 결과의 예시는 다음과 같다.

기회의 획득 또는 상실
개인의 건강이나 안전에 대한 위협
피해 복구를 위한 특정 기술에 대한 재정적 비용

만약 인공지능 기술이 극단적으로 부정적인 결과를 초래할 수 있다고 확인된 경우, 인공지능 기술 적용에 대해 재검토하여야 한다. UNESCO의 <Recommendation on the Ethics of Artificial Intelligence>와 같은 일부 문헌에서는 인공지능 기술을 적용하지 않아야 하는 특정 분야를 명시하고 있다.

참고: UNESCO, EU에서 언급한 인공지능 기술이 적용되지 말아야 할 분야의 예시

Recommendation on the Ethics of Artificial Intelligence(UNESCO): Proportionality and Do No Harm
- 인공지능 시스템은 소셜 스코어링social scoring이나 대규모 감시mass surveillance 목 적으로 사용되어서는 안 된다.
Artificial Intelligence Act(EU): Unacceptable risk
- 허용할 수 없는 위험을 갖는 인공지능 시스템은 인간에게 위협이 되는 것으로 간주되어 금지되어야 할 시스템이다. 여기에는 다음이 포함된다:
  - 사람이나 특정 취약 집단에 대한 인지 행동 조작(예: 어린이의 위험한 행동을 조장하는 음성 인식 장난감)
  - 소셜 스코어링social scoring
  - 안면인식 등 실시간 원격 생체 인식 시스템

01-2 위험 요소를 제거 및 방지하거나 영향을 완화하기 위한 방안을 마련하였는가?

01-1에서 분석된 위험 요소별로 대응 방안을 마련하여야 한다. 위험 요소의 원인을 제거함으로써 인명 피해 및 사고를 미연에 방지하거나, 사고로 인한 파급효과 및 부정적 영향을 최소화하기 위한 수단이 이에 해당한다.

대응 방안이란, 구현 및 운영 방식 등의 절차, 소프트웨어 및 하드웨어 기능, 모델 학습 기법 및 전략 등 기술적으로 적용할 수 있는 모든 방법을 의미한다. 이에 대해 01-2b의 참고와 같이 ISO/IEC 24028:2020에서 대응 방안의 분류를 제공한다. 인공지능을 구현하는 모든 이해관계자는 이를 고려하여 위험 요소에 대한 대응 방안을 마련하고, 위험이 제거 및 완화되었는지 확인하여야 한다.

만일 AI를 폐기하게 되는 경우에도 위험이 커지거나 조직의 신뢰도를 떨어뜨리지 않는 방식으로 단계적 절차를 마련하여 폐기한다.

01-2a 위험 요소별 완화 또는 제거 방안을 마련하였는가?

위험 대응을 통해 위험의 부정적인 결과를 수용 가능한 수준으로 줄이고 긍정적인 결과를 달성할 가능성을 높이도록 해야 한다. 위험 요소별 다양한 대응 방안이 도출될 수 있으며, 각각의 방안에는 장단점이 있을 수 있으므로 신중하게 대응 방안을 선택하고 효과적으로 실행하여야 한다.

대응 방안의 한 가지 예로, 편향 완화를 위해 출처 및 데이터 소스를 분석하여 위험을 파악하고 데이터 수집 또는 라벨링 프로세스를 검토하는 것이 될 수 있다. 추가 예시는 다음 참고와 같이 ISO/IEC 24028:2020에 제시되어 있다.

참고: 인공지능 시스템의 위험 대응 방안

ISO/IEC 24028:2020에서는 인공지능 시스템 구현 관점에서 고려할 수 있는 취약점 및 위험 요소를 정리하였으며(Chapter 8. Vulnerabilities, threats and challenges), 이에 대한 대응 방안(Chapter 9. Mitigation measures)이 개괄적으로 제시되어 있으므로 이를 참고할 수 있다.

ISO/IEC 23894:2023 의 위험관리 프레임워크에서는 조직의 운영에 위험관리 활동을 통합할 것을 제안하며, 조직의 내외부적 상황을 고려한 넓은 범위의 위험관리 활동을 권장한다. 또한 위험관리 활동을 포함한 위험관리 프로세스를 기록 및 보고하고 지속적으로 업데이트 하라고 안내한다.

내외부적 상황: 조직, 고객, 공급자, 최종 사용자, 커뮤니티, 규제, 시민단체 등
위험의 범위: 시간관련 요소, 위험수준 결정 방법, 조직의 위험 수용력 등

01-2b 위험 요소의 파급효과가 감소하였는지 확인하였는가?

위험 요소를 발생시킬 수 있는 구현 및 운영 방식, 소프트웨어 및 하드웨어 기능, 모델 학습 기법 및 전략 등의 기술적인 방법론을 도출하여야 한다. 이러한 방법론에 대한 분류와 개략적인 내용은 ISO/IEC 24028:2020에 제시되어 있다.

앞서 위험 요소를 분석하는 과정에서 위험 요소의 파급효과를 평가하였는데, 파급효과가 가장 큰 위험 요소를 우선순위로 대응 방안을 적용해야 하며, 위험의 파급효과가 큰 경우 인공지능 시스템의 판단 결과에 대한 사람의 개입을 고려하는 등의 위험 완화 방안을 적용해야 한다.

대응 방안이 적용된 이후에는 파급효과를 재평가함으로써 위험 요소가 실제로 제거, 방지 혹은 이의 영향이 완화되었는지 확인하여야 한다.