3. 안내서 마련 과정

03 안내서 마련 과정

안내서 마련 과정

발간 배경에서 밝힌 바와 같이, 그간 국내외 많은 기관 및 기업이 인공지능 신뢰성 확보를 위한 윤리 원칙과 지침, 가이드라인을 내놓았으나, 기술적 관점에서 상세한 방법론을 제시한 사례는 아직 없었다. 따라서 인공지능 제품 및 서비스 개발 현장에서 데이터 과학자, 모델 개발자 등 이해관계자들이 실무 관점에서 신뢰성 확보에 참고할 수 있는 지침서 성격의 자료를 만들고자 했다. 이를 위해, 2021년도에는 국내외 많은 문헌을 기반으로 인공지능 신뢰성의 개념 및 신뢰성 확보를 위한 원칙, 항목들을 분석하고 종합적으로 정리하였다. 바탕이 된 문헌에는 과학기술정보통신부가 2020년 12월에 마련한 〈인공지능(AI) 윤리기준〉을 비롯해, EC, OECD, UNESCO 등 국제 사회가 발표한 원칙 및 프레임워크 등이 있다. 이렇게 작업본을 마련한 후 12회에 걸쳐 학계 및 산업계 전문가와 실무자 250여 명을 대상으로 개방형 자문과 검토를 거쳤다. 또한, 인공지능 제품･서비스를 제공하는 기업과 협업해 안내서의 현장 적용과 컨설팅 등 공동 연구를 진행하여 케이스 스터디를 마련하고 피드백을 받는 과정을 거쳐 실무 활용도를 높이고자 했다. 그리하여 2021년 11월 ‘인공지능 신뢰성 제고를 위한 공개 정책 세미나’를 개최하여 초안을 공개하였고, 2022년도 및 2023년도에는 과학기술정보통신부가 주관하는 ‘인공지능 윤리 정책 포럼’에서 신뢰성 확보를 위한 기술적･정책적 방안에 대한 논의를 통해 2년여 기간 동안 의견 수렴을 진행하였다. 이렇게 2021년 1월부터 2023년 12월까지 약 3년에 걸쳐 본 안내서를 개발하였으며, 앞으로도 지속해서 최신 기술 동향과 산업계 흐름･인식을 반영해 나갈 예정이다.

3.1. 개발 안내서 설계 요소(인공지능 서비스 구성, 생명주기, 신뢰성 특성)

안내서 개발 과정 중 가장 우선적으로 신뢰성 확보를 위해 어떤 요소들이 실무적으로 고려되어야 하는지 탐색해보았고, 그 결과 세 가지 설계 요소를 도출하여 안내서에 반영하였다. 각 설계 요소들은 요구사항과 검증항목 마련 시 모두 반영되었으며, 이러한 접근법을 아래 그림과 같이 매트릭스matrix 형태로 체계화하여 ‘인공지능 신뢰성 프레임워크’로 정의하였다.

인공지능 신뢰성 프레임워크

첫 번째는 인공지능 구성요소이다. 인공지능을 구성하는 4가지 요소는 인공지능 학습용 데이터, 학습과 추론 기능을 수행하는 인공지능 모델 및 알고리즘, 실제 기능을 구현할 시스템, 사용자와 상호작용하기 위한 인터페이스가 있다. 각 구성 요소들은 개별적으로 또는 통합적으로 인공지능 서비스의 생명주기에 따라 개발, 검증 및 운영된다. 따라서 구성요소별 신뢰성 확보 방안을 고민하고, 각 요소에 따른 요구사항과 검증항목을 제시하고자 했다. 각 요소에 대한 신뢰성 확보 방안은 다음과 같다.

인공지능 서비스 구성 요소

인공지능 서비스 구성 요소	신뢰성 확보 방안
인공지능 학습용 데이터	인공지능 학습 및 추론 과정에 활용하는 데이터를 대상으로 편향성 등이 배제되었는지 검증
인공지능 모델 및 알고리즘	인공지능이 모델 및 알고리즘에 따라 안전한 결과를 도출하며, 이에 대한 설명이 가능한지, 악의적인 공격에 견고한지 등을 검증
인공지능 시스템	인공지능 모델 및 알고리즘이 적용된 전체 시스템을 대상으로 인공지능이 추론한 대로 작동하는지, 인공지능이 잘못 추론한 경우의 대책이 존재하는지 등을 검증
사람-인공지능 인터페이스	인공지능 시스템 사용자･운영자 등이 인공지능 시스템의 동작을 쉽게 이해할 수 있으며, 인공지능의 오작동 시 사람에게 알리거나 제어권을 이양하는지 등을 검증

두 번째, 인공지능 서비스 생명주기는 첫 번째에서 살펴본 인공지능 서비스 구성 요소들을 구현하고 운영하는 일련의 절차를 말한다. 기존 소프트웨어 시스템에서 다루는 공학 프로세스나 생명주기와 비슷하나, 인공지능 특성상 데이터 처리 및 모델 개발 단계가 별도로 필요하며, 이외의 단계에서도 주요 활동에 대한 정의가 조금씩 달라진다. 현재 인공지능 혹은 인공지능 서비스의 생명주기는 다수의 문헌에서 6~8가지 단계로 구분한다. 대표적으로 OECD와 ISO/IEC에서 제시한 생명주기가 있는데, 본 안내서는 두 기구에서 제시한 생명주기를 대표성 있는 사례로 참고하여, 실무자들이 쉽게 활용할 수 있도록 각 생명주기 단계의 성격과 활동을 왜곡하지 않는 선에서 아래와 같이 5가지 단계로 정리하였다.

인공지능 서비스 생명주기별 주요 활동

생명주기 단계	주요 활동
생명주기 관리	인공지능 시스템 관리 감독 조직 및 방안 마련 인공지능 시스템 위험요소 분석 및 대응 방안 마련
데이터 수집 및 처리	데이터 품질 확보, 데이터 사용자의 이해를 위한 정보 제공 방안 마련 데이터 라벨링 및 데이터셋 특성feature 문서화 인공지능 모델 구축을 위한 데이터셋 마련
인공지능 모델 개발	비즈니스 목적에 따른 인공지능 모델 구현 구현된 인공지능 모델 확인 및 검증 인공지능 모델 튜닝, 데이터 분석, 추가로 필요한 데이터 수집 인공지능 모델에 대한 성능평가
시스템 구현	문제 발생 대비 안전모드 구현 및 알림 절차 수립 인공지능 시스템 검증 및 사용자 설명에 대한 평가
운영 및 모니터링	시스템 모니터링 및 인공지능 모델 재학습을 통한 성능 보장 모델 편향 탐지, 공정성, 설명가능성 등 시스템 신뢰성 모니터링 치명적 문제 발생 시 해결 방안 마련

인공지능 서비스의 생명주기 단계는 반복적･순환적인 성격을 띠지만, 반드시 순차적인 것은 아니다. 본 개발 안내서는 이해를 돕기 위해 1단계부터 5단계까지 순차적인 것처럼 설명했으나, 실제 데이터를 수집하고 가공하거나 모델을 개발, 운영하는 과정에서는 순서가 달라질 수 있다.

세 번째, 인공지능 신뢰성에 필요한 특성을 정의하고자 ‘인공지능 윤리기준’의 10대 핵심요건을 준용하여 기술적 관점에서 필요한 요구사항과 검증항목으로 ‘다양성 존중’, ‘책임성’, ‘안전성’, ‘투명성’을 도출했다.

EC, OECD, IEEE 및 ISO/IEC 등의 국제기구는 인공지능 신뢰성의 하위 속성들을 세분화해 제시한다. 특히, ISO/IEC 24028:2020은 신뢰성 확보에 필요한 고려사항의 형태로 키워드를 제공한다. 여기에는 투명성, 통제가능성, 견고성, 복구성, 공정성, 안전성, 개인정보보호, 보안성 등이 포함되나, 키워드 간의 관계나 신뢰성과의 연관성은 정의되지 않았다. 이처럼 관점에 따라 유사해 보이지만 조금씩 다른 용어들이 여러 문헌에서 제각각 달리 정의되고, 아직 합의된 속성 분류나 정의는 없는 상황이다. 이에, 앞서 언급한 EC, OECD, IEEE, ISO/IEC 등 여러 기구에서 제시한 속성과 키워드를 종합적으로 분석하고, 국내 학계･연구계･산업계 전문가의 의견을 수렴해 합의점을 모색했다. 이처럼 폭넓은 의견 공유 과정을 거쳐 인공지능 신뢰성 속성을 도출한 후, 이를 국가 인공지능 윤리기준의 10대 요건에 대응시켜서 기술적 측면에서 다룰만한 특성을 최종 선정하였다. 각 특성에 대한 정의는 아래와 같다.

인공지능 신뢰성 특성

신뢰성 특성	정의
다양성 존중	인공지능이 특정 개인이나 그룹에 대한 차별적이고 편향된 관행을 학습하거나 결과를 출력하지 않으며, 인종･성별･연령 등과 같은 특성과 관계없이 모든 사람이 평등하게 인공지능 기술의 혜택을 받을 수 있는 것 관련 속성: 공정성･공평성(fairness), 정당성(justice) 관련 키워드: 편향(bias), 차별(discrimination), 편견(prejudice), 다양성(diversity), 평등(equality) 국제표준(ISO/IEC TR 24027:2021 - Bias in AI systems and AI aided decision making)에서는 공정성을 정의하지 않는다. 공정성은 복잡하고 문화･세대･지역 및 정치적 견해에 따라 다양하여 사회적으로나 윤리적으로 일관되게 정의하기 힘들기 때문이다.
책임성	인공지능이 생명주기 전반에 걸쳐 추론 결과에 대한 책임을 보장하기 위한 메커니즘이 마련되어 있는 것 관련 속성: 책무성(responsibility), 감사가능성(auditability), 답변가능성(answerability) 관련 키워드: 책임(liability) 국제표준(ISO/IEC TR 24028:2020 - Overview of trustworthiness in artificial intelligence)에서의 정의: 엔터티(Entity)의 작업이 해당 엔터티에 대해 고유하게 추적될 수 있도록 하는 속성
안전성	인공지능이 인간의 생명･건강･재산 또는 환경을 해치지 않으며, 공격 및 보안 위협 등 다양한 위험에 대한 관리 대책이 마련되어 있는 것 관련 속성: 보안성(security), 견고성･강건성(robustness), 성능보장성(reliability), 통제가능성･제어가능성(controllability) 관련 키워드: 적대적 공격(adversarial attack), 회복탄력성(resilience), 프라이버시(privacy) 국제표준(ISO/IEC TR 24028:2020)에서의 정의: 용인할 수 없는 위험(risk)으로부터의 자유
투명성	인공지능이 추론한 결과를 인간이 이해하고 추적할 수 있으며, 인공지능이 추론한 결과임을 알 수 있는 것 관련 속성: 설명가능성(explainability), 이해가능성(understandability), 추적가능성(traceability), 해석가능성(interpretability) 관련 키워드: 설명가능한 인공지능(XAI, eXplainable AI), 이해도(omprehensibility) 국제표준(ISO/IEC TR 29119-11:2020 - Guidelines on the testing of AI-based systems)에서의 정의: 시스템에 대한 적절한 정보가 관련 이해 관계자에게 제공되는 시스템의 속성

※ 개인정보보호 관련 내용은 개인정보보호위원회의 <AI 개인정보보호 자율점검표('21.5)>로 갈음

위와 같이 인공지능 신뢰성 확보를 위한 다양한 속성들이 있으며, 각 신뢰성 속성들에 대한 정의를 파악하는 것뿐만 아니라 신뢰성 속성 간의 상호의존 관계 역시 중요하게 고려되어야 한다. 예를 들어, 인공지능 서비스에 대한 과도한 투명성 요구는 프라이버시 관련 위험을 초래할 수 있다. 또한, 설명가능성만으로는 투명성을 보장하기에 부족하지만, 설명가능성은 투명성을 확보하기 위한 중요한 요소 중 하나이다. 따라서, 인공지능 신뢰성 속성에 대한 충분한 이해를 바탕으로 인공지능 서비스를 제공하는 것이 중요하며, 해당 인공지능 서비스가 고려한 속성에 대해 적절하게 이행하는지 지속해서 검토해야 한다.

3.2. 인공지능 신뢰성 확보 요구사항 및 검증항목 도출

다음 단계로 구체적인 요구사항과 검증항목을 도출했다. 우선 표준화기구, 기술단체, 국제기구, 주요국에서 인공지능 신뢰성 확보를 위해 발표한 정책, 권고안, 그리고 표준을 기반으로 기술적 요구사항을 도출하고 구체화하였다. 이와 함께 AI 개인정보보호 자율점검표('21.5), 금융분야 AI 가이드라인('21.7) 등 국내에서 인공지능 신뢰성 확보를 목적으로 발표된 점검표 등을 검토했다. 검토 과정에서 개발 안내서에 필요한 내용은 반영하고 중복된 내용은 제거하거나 통합하였다. 참고문헌은 다음과 같다.

인공지능 신뢰성 관련 주요 참고문헌

기관명	발간년월	권고 및 표준안 명
대한민국 정부	2020.11	국가 인공지능(AI) 윤리기준
한국정보통신기술협회 (TTA)	2023.12	TTAK.KO-10.1497, 인공지능 시스템 신뢰성 제고를 위한 요구사항
美 백악관	2023.10	Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence
	2023.07	Voluntary commitments – underscoring safety, security, and trust – mark a critical step toward developing responsible AI
유럽위원회	2023.12	Artificial Intelligence Act
유네스코 (UNESCO)	2020.07	The Assessment List for Trustworthy Artificial Intelligence
	2021.11	Recommendation on The Ethics of Artificial Intelligence
국제표준화기구 (ISO/IEC)	2020.05	ISO/IEC TR 24028:2020, Information Technology – AI - Overview of Trustworthiness in artificial intelligence
	2021.03	ISO/IEC TR 24029-1:2021, Artificial Intelligence (AI) - Assessment of the robustness of neural networks - Part 1: Overview
	2021.11	ISO/IEC TR 24027:2021, Information technology - Artificial Intelligence (AI) - Bias in AI systems and AI aided decision making
	2023.02	ISO/IEC 23894:2023, Information Technology - Artificial Intelligence (AI) - Guidance on risk management
美 국립표준연구소 (NIST)	2023.01	NIST AI Risk Management Framework 1.0
세계경제포럼(WEF)	2020.01	Companion to the Model AI Governance Framework
경제협력개발기구 (OECD)	2019.05	Recommendation of the Council on Artificial Intelligence
Google	2019.05	People + AI guidebook
유럽전기통신표준협회 (ETSI)	2021.03	Securing Artificial Intelligence (SAI 005) - Mitigation Strategy Report

이를 통해 최종 도출한 요구사항은 아래 표와 같으며, 인공지능 윤리의 핵심 요건에 대응시킨 결과도 함께 표시했다.

인공지능 신뢰성 확보를 위한 기술적 요구사항과 윤리 요건 매칭 결과

요구사항	다양성 존중	책임성	안전성	투명성
요구사항01 인공지능 시스템에 대한 위험관리 계획 및 수행
요구사항02 인공지능 거버넌스 체계 구성
요구사항03 인공지능 시스템의 신뢰성 테스트 계획 수립
요구사항04 인공지능 시스템의 추적가능성 및 변경이력 확보
요구사항05 인공지능 데이터의 활용을 위한 상세 정보 제공
요구사항06 데이터 견고성 확보를 위한 이상 데이터 점검
요구사항07 수집 및 가공된 학습 데이터의 편향 제거
요구사항08 오픈소스 라이브러리의 보안성 및 호환성 점검
요구사항09 인공지능 모델의 편향 제거
요구사항10 인공지능 모델 공격에 대한 방어 대책 수립
요구사항11 인공지능 모델 명세 및 추론 결과에 대한 설명 제공
요구사항12 인공지능 시스템 구현 시 발생 가능한 편향 제거
요구사항13 인공지능 시스템의 안전 모드 구현 및 문제발생 알림 절차 수립
요구사항14 인공지능 시스템의 설명에 대한 사용자의 이해도 제고
요구사항15 서비스 제공 범위 및 상호작용 대상에 대한 설명 제공

3.3. 산학연 실무자 의견 수렴

신뢰성 확보를 위한 요구사항을 도출한 후에는 각 항목을 기술적 타당성, 효용성 및 포괄성 등의 관점에서 검토한 후 고도화했다. 각각의 세부 검증항목이 요구사항에 해당하는 내용이 맞는지(타당성), 개발 현장에서 실무적으로 활용 가능한 내용인지(효용성), 검증을 위한 내용들이 과거부터 지금까지 연구 내용을 폭넓게 포함하는지(포괄성) 확인했다. 이를 위해 기획자, 개발 프로젝트 리더, 교수, 국가연구소 책임연구원, 관련 국가 정책 담당자 등 다수의 인공지능 분야 전문가가 참여하여 직접 검토하고 자문했으며, 다양한 검토 의견을 수렴하여 반영하였다.

개선 의견 보내기