01 인공지능 시스템에 대한 위험관리 계획 및 수행
생성 AI 모델 및 사전 학습된 생성 AI 모델로부터 도메인별 파인튜닝 모델을 활용한 서비스*에서 모델의 생성 결과가 윤리적 측면에서 서비스 이용자의 안전과 생명, 삶의 질에 직접적인 영향을 미칠 수 있으므로 위험관리는 필수적이다. 따라서 위험의 심각성과 파급효과를 사전에 인식하여 분석하고, 그에 따른 대응 방안을 마련하는 등 위험관리를 수행한다. * 혼동을 피하기 위해 통합하여 '생성 AI 기반 서비스'로 표기한다.
01-1 인공지능 시스템 생명주기에 걸쳐 나타날 수 있는 위험 요소를 분석하였는가?
생성 AI 기반 서비스 개발 시 위험 요소를 고려해야 한다. 생성 AI 모델의 데이터 편향의 영속성, 부적절하거나 가짜인 콘텐츠 생성을 둘러싼 윤리적 딜레마, 개인정보 침해 및 보안 취약 가능성, 출력물에 대한 통제력 상실, 규제 복잡성, 의도하지 않은 사용으로 인해 예기치 못한 결과 등을 고려하는 것이 필요하다.
또한 인공지능 관점에서 위험 요소에 대한 일반적인 개념을 다루고 이해하기 위해 ISO/IEC 23894:2023 및 ISO/IEC 24028:2020 표준이 제공되고 있다. 이와 함께 미국 국립표준기술연구소NIST에서 개발한 프레임워크인 AI 위험관리 프레임워크(AI RMF, Risk Management Framwwork)도 참고할 수 있다 [34].
미국 국립표준기술연구소(NIST)는 AI 시스템 생명주기 전반에 걸쳐, 배포 여부 결정에 대한 정보 제공에 실패할 경우의 비용을 정기적으로 평가할 것을 권고[32]
AI 위험관리는 보안, 불평등, 악의적인 사용자의 남용, 치명적인 사고와 같은 기술적 위험과 비기술적 위험을 모두 해결하는 것을 포함하며 AI 기술 사용과 관련된 위험을 식별･평가･관리하는 프로세스[33]
AI RMF에 따르면, 위험은 "이벤트의 발생 가능성과 조직에 미치는 영향의 규모를 종합적으로 측정한 것"[35]
AI 시스템에서 위험관리는 생성 AI 기반 제품 및 서비스의 안전･보안･신뢰성을 보장하는 데 중요[33]
01-1a 인공지능 시스템의 위험 요소를 도출하고 그 파급효과를 파악하였는가?
생성 AI 기반 서비스는, 기반이 되는 생성 AI 모델의 위험을 그대로 간직할 수 있으므로 위험요소를 분석할 때 주의가 필요하다. 언급한 위험 요소 외 일반적인 인공지능 시스템의 위험 요소는 ISO/IEC 23894.2 및 ISO/IEC 24028를 참고할 수 있다.
참고: 생성 AI 모델의 큰 위험 요소 종류 [47]
환각: 생성 AI 모델은 생성된 콘텍스트를 평가할 수 없기 때문에 이러한 모델은 잘못된 정보를 생성하는 경향이 있으며 이러한 오류를 환각이라고 한다.
딥페이크: 이 기술은 생성 AI를 사용하여 다른 개인의 이미지와 유사한 가짜 비디오, 사진 및 음성 녹음을 만든다. 이 가짜 콘텐츠는 사람들을 오도하거나 속이는 데 사용되었다.
데이터 개인정보보호: 이것 또한 주로 개발자가 사용자의 피드백과 프롬프트를 사용하여 개발된 모델을 재교육하기 때문에 또 다른 위험이다. 개발자가 획득한 사용자 데이터를 유지하기 위해 예방 조치를 하지 않으면 보안 침해 또는 개인정보 유출로 이어질 수 있다.
사이버 보안: 일부 악의적인 사용자는 개발된 모델을 악성 코드 생성이나 매우 설득력 있는 피싱 콘텐츠 생성에 사용할 수 있다.
저작권: 생성 AI 모델의 콘텐츠 생성 능력으로 인해 계속해서 논의되고 있다. 특히 텍스트에서 이미지, 비디오, 음성 등으로 변환하는 모델을 개발하고 사용자가 이 모델을 콘텐츠 생성이나 디자인에 사용하는 경우, 생성된 제품이나 콘텍스트의 저작권은 큰 우려 요소로 작용하며 저작권 문제를 야기할 수 있다.
조작: 이러한 모델은 제3자 조직이 윤리적 문제를 해결하지 않고 자체적인 '셀프 어시스턴트' 애플리케이션을 개발함으로써 악용될 가능성이 있다. 예를 들어 사용자를 조작하는 데 사용되거나 선전 도구로 사용되거나 사용자를 고의적으로 오도하는 등의 방식으로 악용될 수 있다.
식별된 각각의 위험 요소는 그 잠재적인 결과와 함께 분석한다. 발생 가능한 결과를 분석하는 것은 각 위험 요소의 영향을 이해하는 데 중요하다. 부적절한 생성 결과는 차별이 지속되게 하고 사회에 부정적인 영향을 미칠 수 있는 현상과 결과를 포함한다.
위험 요소의 결과는 심각도와 발생 빈도 등을 기반으로 그 파급효과를 평가할 수 있다. 위험 요소의 도출 후에는 다양한 환경이나 상황에 따라 관리 조치와 변동 효과를 분석하고, 그 분석 결과에 따라 인공지능 시스템의 생명주기 동안 주기적인 추세 분석과 모니터링을 반복적으로 수행해야 한다.
01-1b 인공지능 기술 적용을 어렵게 만드는 위험 요소가 있는지 확인하였는가?
ISO/IEC 23894:2023에서는 위험 인식 단계에서 위험을 초래할 수 있는 위험 요소, 사건 또는 결과를 식별해야 한다고 말한다. 결과 식별은 조직, 개인, 커뮤니티, 집단, 사회에 대한 모든 결과를 대상으로 해야하며, 기술의 혜택을 경험하는 집단과 부정적인 결과를 경험하는 집단 간의 차이를 식별하는 데 특별한 주의를 기울여야 한다. 식별해야 할 결과의 예시는 다음과 같다.
기회의 획득 또는 상실
개인의 건강이나 안전에 대한 위협
피해 복구를 위한 특정 기술에 대한 재정적 비용
만약 인공지능 기술이 극단적으로 부정적인 결과를 초래할 수 있다고 확인된 경우, 인공지능 기술 적용에 대해 재검토하여야 한다. UNESCO의 <Recommendation on the Ethics of Artificial Intelligence>와 같은 일부 문헌에서는 인공지능 기술을 적용하지 않아야 하는 특정 분야를 명시하고 있다.
참고: UNESCO, EU에서 언급한 인공지능 기술이 적용되지 말아야 할 분야의 예시
Recommendation on the Ethics of Artificial Intelligence(UNESCO): Proportionality and Do No Harm
인공지능 시스템은 소셜 스코어링(social scoring)이나 대규모 감시(mass surveillance) 목적으로 사용되어서는 안 된다.
Artificial Intelligence Act(EU): Unacceptable risk
허용할 수 없는 위험을 갖는 인공지능 시스템은 인간에게 위협이 되는 것으로 간주되어 금지되어야 할 시스템이다. 여기에는 다음이 포함된다:
사람이나 특정 취약 집단에 대한 인지 행동 조작(예: 어린이의 위험한 행동을 조장하는 음성 인식 장난감)
소셜 스코어링social scoring
안면인식 등 실시간 원격 생체 인식 시스템
01-2 위험 요소를 제거 및 방지하거나 영향을 완화하기 위한 방안을 마련하였는가?
위험 대응 방안은 01-1에서 분석된 각 위험 요인별로 완화 계획을 마련해야 한다. 이에 해당하는 대응 방안은 위험 요인의 원인을 제거하여 인권 침해 및 개인에 대한 피해를 사전 예방하거나 틀리거나 잘못된 결정으로 인한 파급효과와 잠재적･부정적 영향을 최소화하는 조치가 포함된다.
생성 AI 모델의 결과물은 편향성으로 인해 인권을 침해할 가능성이 매우 높다. 따라서 ISO/IEC 24028에 따라 도출된 대응 방안은 구현 및 운영 등의 절차, 소프트웨어 및 하드웨어 기능, 모델 학습 기법 및 전략 등 기술적으로 적용할 수 있는 모든 방법을 의미한다. 01-1a에 언급된 위험 요소에 대한 대책을 마련하고 위험을 제거하거나 완화할 수 있도록 고려한다.
개발한 모델을 활용하여 개발되는 생성 AI 모델 및 제3자 애플리케이션의 생명주기에서 발생 가능한 위험 요소에 대응할 수 있는 기술적 방법을 면밀히 분석하여 인공지능 시스템의 신뢰성을 높이고, 개발된 생성 AI 모델로 인한 인권 침해 가능성을 낮출 수 있도록 관련 대책을 마련해야 한다.
01-2a 위험 요소별 완화 또는 제거 방안을 마련하였는가?
위험 요소에 대해서 파급효과를 우선시하는 대응 조치가 적용되어야 하며, 이를 완화하기 위해 엄격한 테스트 및 검증 과정을 구현하는 것이 중요하다. 또한 시스템의 설계에 윤리적 고려 사항을 통합하고 생성된 콘텐츠를 모니터링하고 필터링하며, 투명성과 설명가능성을 촉진하며 관련 규정과 지침을 준수한다. 위험을 효과적이고 책임감 있게 대처하기 위해 개발자, 비즈니스 결정권자 및 다양한 분야의 전문가 간의 지속적인 연구와 협력이 필요하다.
인공지능 모델의 신뢰성 준수 및 평판에 대한 위험은 전통적인 위험관리 기능과 다를 수 있어 주의 깊게 분석해야 한다. 위험 요소의 개선 및 완화 과정 이후에는 위험이 실제로 제거되었는지, 예방되었는지, 완화되었는지를 확인하기 위해 결과의 영향을 재평가해야 한다.
참고: (사용 사례) 생성 AI 모델의 저작권 충돌 및 지식재산권 문제 개요
생성 AI는 저작권 분쟁과 지식재산권 문제를 불러일으키고 있으며, '새벽의 자리야'와 같은 유명한 사례는 복잡한 법적･윤리적 문제를 증폭시키고 있다. '새벽의 자리야' 사건에서는 AI가 생성한 작품의 저작권이 누구에게 있는지 여부가 쟁점이 되어 법적 문제가 발생했다. 이는 생성 AI는 창의적이고 가치 있는 콘텐츠를 생성할 수 있는 잠재력을 지니고 있지만 이러한 지식재산권 문제는 여전히 해결되지 않고 있으며, 생성 AI 시대에 저작권과 ｢지식재산 기본법｣의 복잡한 문제를 해결하기 위한 포괄적인 법적 가이드라인이 필요하다는 점을 시사한다.
'새벽의 자리야' 사례를 중심으로 생성 AI와 관련하여 발생한 저작권 분쟁과 ｢지식재산 기본법｣ 문제를 간략하게 살펴보면 다음과 같다.
법적 명확성 부족: 현행 ｢저작권법｣이 AI로 생성된 저작물을 염두에 두고 설계되지 않았기 때문에 콘텐츠 제작에 생성 AI를 사용하면 법적 회색 지대가 발생한다. 이러한 법적 지침의 부재로 인해 AI가 생성한 콘텐츠의 저작자와 소유권에 대한 분쟁이 발생하고 있다[71].
저작권 보호 거부: 미국 저작권청은 ‘새벽의 자리야’의 구체적인 사례에서 인공지능을 사용하여 창작된 예술에 대한 저작권 보호를 거부하면서 인공지능으로 생성된 콘텐츠는 전통적인 저작권 보호 대상이 될 수 없음을 강조했다. 또한 생성형 AI 저작권에 대한 논의는 저작권으로 보호되는 데이터 사용 문제도 함께 다루고 있다[72].
학습을 위한 저작권 보호 데이터 사용: 공정 사용 원칙은 저널리즘, 교육, 연구, 비평 등 특정 범주에서 저작권이 있는 자료를 저작권자의 허가 없이 제한적으로 사용할 수 있도록 허용한다. AI 모델 학습에 저작권이 있는 데이터를 사용하는 것은 일반적으로 공정 사용에 해당하지만, 학습된 모델에서 콘텐츠를 생성하는 것은 저작권을 침해할 수 있다.
01-2a 위험 요소별 완화 또는 제거 방안을 마련하였는가?
위험 요소를 발생시킬 수 있는 구현 및 운영 방식, 소프트웨어 및 하드웨어 기능, 모델 학습 기법 및 전략 등의 기술적인 방법론을 도출하여야 한다. 이러한 방법론에 대한 분류와 개략적인 내용은 ISO/IEC 24028:2020에 제시되어 있다.
앞서 위험 요소를 분석하는 과정에서 위험 요소의 파급효과를 평가하였는데, 파급효과가 가장 큰 위험 요소를 우선순위로 대응 방안을 적용해야 하며, 위험의 파급효과가 큰 경우 인공지능 시스템의 판단 결과에 대한 사람의 개입을 고려하는 등의 위험 완화 방안을 적용해야 한다.
대응 방안이 적용된 이후에는 파급효과를 재평가함으로써 위험 요소가 실제로 제거, 방지 혹은 이의 영향이 완화되었는지 확인하여야 한다.
Last updated
