2. 인공지능 신뢰성 동향
02 인공지능 신뢰성 동향
현재 세계의 주요 국가와 표준 관련 기구, 기술단체들은 인공지능 신뢰성 확보를 위해 다양한 원칙과 방안들을 제시하고 있다. 본 절에서는 인공지능이 폭넓게 활용되면서 발생하는 문제점이나 위험을 알아보고 이를 해결하기 위해 국내외에서 진행 중인 관련 정책 및 연구 동향을 살펴보고자 한다.
2.1. 인공지능 확산에 따른 문제점
인터넷이나 스마트폰 등의 신기술이 우리의 일상과 사회를 빠르고 편리하게 변화시킴과 동시에 새로운 문제가 등장했듯, 사회와 인공지능이 활용되면서 새로운 문제나 위험에 대한 우려가 등장했다. 이러한 문제 상당수는 사회적, 윤리적인 문제이므로 기술을 개선하거나 신기술을 도입하는 것만으로는 해결할 수 없다. 실제로 사용자가 인공지능 기술을 악의적인 목적으로 활용하거나 인공지능이 반사회･반인륜적인 판단을 하여 사회적 혼란을 유발하는 사건이 종종 발생하고 있다.
인공지능 사고사례
사고사례 1: 챗GPT가 알려준 가짜 판례 제출한 美 변호사
미국의 한 변호사가 챗GPT가 제시한 판례가 담긴 의견서를 법원에 제출. 그러나 해당 판례는 모두 가짜인 것으로 드러났으며, 챗GPT에 ‘진짜 판례가 맞느냐’고 거듭 확인했으나, 끝까지 ‘그렇다’고 주장('23.5.)
시사점: 생성형 인공지능의 할루시네이션(hallucination) 발생에 따른 우려
사고사례 2: 가짜 인터뷰 기사를 만든 인공지능 챗봇
독일의 한 주간지는 인공지능 챗봇을 활용해 인터뷰 내용을 만들어 만난 적도 없는 유명 레이싱 선수의 가짜 인터뷰 기사를 대서 특필('23.4.)
시사점: 인공지능을 통해 가짜 정보를 제작･유포하여 사회적 혼란 유발
사고사례 3: 체스 경기 도중 사고 발생
모스크바 체스 토너먼트에서 체스 로봇과 경기를 벌이던 7세 소년이 안전 규정을 어겨 로봇에 의해 손가락이 부러짐('22.7.)
시사점: 인공지능과 연동된 하드웨어로 인한 안전사고 발생
사고사례 4: 피부색에 따라 차별하는 이미지분석 서비스
Google의 Vision API는 흑인 여성이 입고 있는 의사 가운을 ‘길거리 패션’으로 분류. 그러나, 같은 여성에 피부만 밝게 했더니 ‘정식 의복’으로 분류('22.7.)
시사점: 피부색에 따른 차별적 결과 도출
사고사례 5: 금융회사 직원, 딥페이크 (가짜) 화상회의에 속아 340억원 송금
홍콩의 한 금융회사 직원이 딥페이크로 재현된 가짜 최고재무책임자(CFO)와의 화상회의에 속아 2억 홍콩달러(약 340억원)를 송금하는 사기를 당함(’24.2)
시사점: 생성형 AI의 범죄 악용
사고사례 6: 트럼프, 인공지능 생성 가짜 '테일러 스위프트 선거지지' 사진 게시
트럼프 미국 대통령이 선거기간 중, 바이든 지지자로 알려진 인기 가수 테일러 스위프트가 트럼프를 지지하는 것처럼 거짓으로 꾸민 인공지능 합성 사진을 선거 운동에 사용(’24.8)
시사점: 인공지능의 선거 악용으로 투표 혼란 야기
사고사례7: 청소년의 자살을 유발한 인공지능 챗봇
미국 플로리다에서 인공지능 챗봇과 자살을 부추기는 듯한 부적절한 대화를 나눈 14세 소년이 극단적 선택을 하자, 유가족이 챗봇 업체인 Character.AI를 상대로 소송을 제기('24.10.)
시사점: 취약 계층에 미칠 수 있는 인공지능의 악영향
2.2. 인공지능 신뢰성 개념
앞서 사례에서 살펴봤듯 인공지능 제품･서비스는 단지 ‘구현할 수 있는가?’라는 기술적 측면뿐 아니라 ‘이 제품･서비스가 존재해도 괜찮은가?’라는 윤리적 측면도 검토해야 한다. 특히 인공지능이 다양한 분야에 활용되면서 인공지능 시스템과 학습 모델에 윤리적인 결함이 있는데도 이를 인지하지 못한 채 사용될 경우 매우 큰 파급효과를 낳을 수 있다. '인공지능 신뢰성'이란 데이터 및 모델의 편향, 인공지능 기술에 내재한 위험과 한계를 해결하고, 인공지능을 활용하고 확산하는 과정에서 부작용을 방지하기 위해 준수해야 하는 가치 기준을 말한다. 주요 국제기구를 중심으로 인공지능 신뢰성을 확보하는 데 필수적인 요소가 무엇인지 활발한 논의가 이루어지고 있다. 일반적으로 안전성, 설명가능성, 투명성, 견고성, 공정성 등이 신뢰성을 확보하는 데 필수적인 요소로 거론되고 있다.
인공지능 신뢰성의 주요 핵심 속성 및 의미
안전성(safety)
인공지능이 판단･예측한 결과로 시스템이 동작하거나 기능이 수행됐을 때 사람과 환경에 위험을 줄 가능성이 완화 또는 제거된 상태
설명가능성(explainability)
인공지능의 판단･예측의 근거와 결과에 이르는 과정이 사람이 이해할 수 있는 방식으로 제시되거나, 문제 발생 시 문제에 이르게 한 원인을 추적할 수 있는 상태
투명성(transparency)
인공지능이 내리는 결정에 대한 이유가 설명 가능하거나 근거가 추적 가능하고, 인공지능의 목적과 한계에 대한 정보가 적합한 방식으로 사용자에게 전달되는 상태
견고성(robustness)
인공지능이 외부의 간섭이나 극한적인 운영 환경 등에서도 사용자가 의도한 수준의 성능 및 기능을 유지하는 상태
공정성(fairness)
인공지능이 데이터를 처리하는 과정에서 특정 그룹에 대한 차별이나 편향성을 나타내거나, 차별 및 편향을 포함한 결론에 이르지 않는 상태
※ 프라이버시(privacy), 지속가능성(sustainability) 등도 핵심 속성 중 하나로서 다양하게 논의 중
참고: 주요 기관에서 논의 중인 인공지능 신뢰성 개념
(국제표준화기구, ISO) 신뢰성의 세부 속성으로 가용성(availability), 회복탄력성(resiliency), 보안성(security), 프라이버시, 안전성, 책임성, 투명성, 통합성(integrity) 등 제시(ISO/IEC TR 24028:2020)
(경제협력개발기구, OECD) 지속가능한 사회와 인간 중심의 가치에 부합하고 투명성, 설명가능성, 견고성 및 안전성을 갖춘 인공지능('19)
(美국립표준연구소, NIST) 유효하고 신뢰할 수 있으며, 안전하고, 회복력있고, 책임있고 투명하며, 설명가능하고 해석 가능하며, 개인정보를 강화하고, 유해한 편향을 관리하는 공정성을 포함하는 개념('23)
(유럽위원회, EC) 인공지능은 활용 및 동작이 합법적이며, 윤리적이고 기술적･사회적으로 견고해야 함('19)
2.3.국내외 인공지능 신뢰성 정책 및 연구 동향
유럽위원회, 미국 등 주요국들은 인공지능의 신뢰성 확보가 인공지능의 사회적･산업적 수용과 발전의 전제 조건으로 정의하고 신뢰성 확보 정책을 추진하고 있다. 또한 산업계 및 학계에서도 관련 기술 개발을 중심으로 신뢰성 확보를 위한 연구가 활발하다. 구체적으로 유럽위원회, 미국 등 주요국에서는 인공지능 신뢰성을 확보하는 데 필요한 정책과 규범을 본격적으로 마련하고, 이와 함께 국가 차원의 인공지능 전략 핵심 요소로 Trustworthy AI, Safe AI 등을 명시했다. 유럽연합(EU)은 AI 기술의 급속한 발전과 광범위한 적용에 따른 윤리적, 법적, 사회적 영향에 대응하기 위해 마련된 최초의 포괄적인 AI 규제 법안인 인공지능법(AI Act)을 21년 부터 추진하여 24년부터 단계적으로 시행 중이다. 미국의 바이든 행정부는 신뢰할수 있는 AI에 관한 행정명령 발표와 AI 안전연구소 설립 등 적극적인 신뢰성 확보 의지를 보였다. 그러나 최근 출범한 트럼프 2기 행정부는 바이든정부의 행정명령을 공식적으로 폐기하고 , 국가 전략으로서의 AI 발전을 지지하는 한편, 보안 및 국가 안보에 관한 신뢰성 확보는 유지할 것으로 보인다. 우리나라도 2024년 11월 전세계 6번째로 AI안전연구소를 개소하였다. 특히 2025년 1월에는 인공지능의 건전한 발전과 신뢰 기반 조성에 필요한 기본적인 사항을 규정한 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능기본법)을 제정하였으며, 2026년 1월부터 시행 예정이다. 민간 부문에서는 인공지능 신뢰성 확보를 위한 가이드라인을 마련하여 인공지능의 신뢰성을 자율적으로 점검하고 확보할 수 있는 환경을 조성하고자 노력하고 있다. 기술 분야에서는 미국, 유럽 등 주요국의 학계와 글로벌 기업이 인공지능 신뢰성 확보에 필요한 제반 기술을 개발 중이다. 산업계에서는 최근 중국의 스타트업인 딥시크의 보안허점과 데이터 프라이버시 문제가 논란이 되면서 다시금 인공지능 신뢰성의 중요성이 주목받고 있다.
해외 주요 산･학･연 인공지능 신뢰성 연구 동향
美 방위고등연구계획국(DARPA)
지능형 시스템에 대한 안전성･신뢰성 확보 연구(Assured Autonomy) 및 설명가능한 인공지능(XAI, eXplainable AI) 연구･개발 프로젝트 수행 중
美 국립표준기술연구소(NIST)
글로벌 기업 및 연구기관과 공동으로 기업･실무자가 활용 가능한 인공지능 위험관리 프레임워크(Risk Management Framework)를 개발하고, 안전하고 신뢰할 수 있는 인공지능을 만들기 위한 노력을 지원하기 위해 미국 인공지능 안전 연구소(USAISI) 및 관련 컨소시엄을 설립
美 스탠퍼드 대학
매년 인공지능 기술 수준 및 동향을 수록한 ‘AI Index’를 공개하고, 인공지능 안전성 관련 연구 수행 중
IBM
‘Trusted AI’를 모토로, 공정성･설명가능성･견고성 확보를 위한 내부 업무 지침 및 백서, 개발･검증 도구 공개
Microsoft
‘Responsible AI’를 모토로, 공정성･설명가능성･투명성 확보를 위한 내부 지침 및 업무 표준, 개발･검증 도구 공개
‘Responsible AI’ 개발을 위한 원칙 제정, 신뢰성 확인 및 검증을 위한 가이드라인과 도구 공개
글로벌 인공지능 신뢰성 관련 정책 동향
한국
2024: 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(인공지능기본법)
2023: 인공지능 일상화 및 산업 고도화 계획, 초거대AI 경쟁력 강화 방안, 전국민 AI 일상화 실행계획
2021: 사람이 중심이 되는 인공지능을 위한 신뢰할 수 있는 인공지능(AI) 실현 전략
2020: 사람이 중심이 되는 인공지능(AI) 윤리기준
2019: 인공지능 국가전략
유럽위원회
2023: 인공지능법
2019: 신뢰할 수 있는 인공지능 윤리 가이드라인
UN
2024: 인류를 위한 AI 거버넌스(Governing AI for Humanity)
유네스코
2021: 인공지능 윤리 권고
G7
2023: 히로시마 AI 프로세스
미국
2023: 안전하고 신뢰할 수 있는 AI에 관한 행정 명령, 자발적인 인공지능 위험 관리 약속
2022: 인공지능 권리장전
영국
2023: 인공지능(규제) 법안, 경쟁적인 AI 시장 선도 및 소비자 보호를 위한 원칙,
2023: AI 안전성 정상회의 – 브레츨리 선언
중국
2023: 생성 AI 서비스 규제 규정
일본
2022: 인공지능 원칙 구현을 위한 거버넌스 가이드라인, AI전략 2022
2019: 인공지능 활용전략
싱가포르
2020: 인공지능 거버넌스 프레임워크
Last updated