2. 생성 AI 신뢰성 동향
Last updated
Last updated
생성 AI 모델에는 일반적으로 기본 모델, 파인튜닝(Fine-Tuning) 모델, 다양한 추가 모델이 있다. 기본 모델인 BERT 및 GPT와 같은 제품군은 주요 구조를 담당하며 대규모 데이터셋에 대해 사전 훈련을 받는다. 파인튜닝은 모델을 특정 작업이나 도메인에 맞게 조정하여 관련성을 높인다. 연구자나 개발자가 신뢰성을 확보하려면 파인튜닝 중 데이터 준비, 모델 편향 완화 등의 과정을 개선하여 윤리적 원칙과 도메인별 가이드라인을 준수하도록 해야 한다.
생성 AI와 도메인별 파인튜닝 모델*은 다양한 애플리케이션에서 강력한 도구로 급속히 발전해 왔다. 그러나 이러한 기술을 배포할 때 신뢰성, 견고성, 윤리와 관련된 중요한 우려가 제기되고 있다. 신뢰할 수 있는 AI는 기술 개발의 핵심 측면 중 하나로서 이러한 서비스가 신뢰할 수 있고 공정하며 윤리적으로 운영되도록 보장한다. 이를 위한 주요 과제 중 하나는 생성 AI의 견고성을 정의하는 것이다. 이는 다양한 환경에서 일관되고 안전하게 작동하고, 적대적인 공격에 대처하며, 신뢰할 수 있는 결과를 생성하는 능력을 포괄한다. 그뿐만 아니라 생성 AI 시스템이 의도치 않게 유해하거나 혼란스럽고 편향된 콘텐츠를 생성할 수 있으므로 윤리적 측면도 중요하다.
*혼동을 피하기 위해 본 안내서 전체에서 이를 ‘생성 AI 기반 서비스’로 통일하여 표현
생성 AI의 신뢰성(Trustworthiness)을 향상하는 방향은 다양한 측면을 고려하는 접근 방식으로 진행되고 있다. 생성 AI 기반 서비스는 강조해야 할 중요한 요소로 견고성과 윤리를 모두 고려하며, 다양한 상황에서 일관성 있게 작동하는 서비스를 구축하는 데 집중하고 있다. 이 다차원적인 접근 방식에는 편견을 줄이고 콘텐츠 다양성을 보장하는 동시에 환각 현상을 완화하기 위해 엄격한 테스트, 적대적 평가, 윤리적 프레임워크가 포함된다. 또한 생성 AI 기반 서비스에서의 신뢰성은 기본 모델의 개선, 파인튜닝 절차, 시스템의 출력을 제어하고 모니터링하며 안내하는 데 도움이 되는 추가 모델 개발과 같이 생성 AI 생태계를 전반적으로 고려한다.
생성 AI를 기반으로 한 서비스는 복잡한 법적・윤리적 문제를 일으키고 있는데, 그중에서도 가장 중요한 문제는 저작권과 지식재산에 관련된 것이다. 특히 AI가 생성한 작품의 소유권에 관한 법적 해석이 여전히 모호한 상황이다. 이런 불확실성으로 인해 의도적이든 실수든 잠재적으로 저작권 침해가 발생할 수 있으며, 특히 공급업체와 고객 간의 계약에서 명확하게 다뤄지지 않으면 더 큰 위험성이 있을 수 있다. 더욱 복잡한 부분은, AI가 생성한 작품에 저작권이 있는 경우에 이를 학습 데이터셋으로 사용할 때, 원래 작성자가 이러한 사용을 승인하지 않으면 법적 문제가 발생할 수 있다는 점이다. 이와 관련하여 미국 저작권청은 AI가 생성한 콘텐츠를 퍼블릭 도메인의 일부로 간주하고 AI를 작성자로 인정하지 않는 것으로 알려져 있다. 또한 아티스트들은 자신의 작품이 생성 AI 플랫폼에서 사용되는 것에 대해 라이선스나 동의 없이 사용되었다며 저작권 침해 소송을 진행하고 있어 상황은 더욱 복잡해지고 있다. 이러한 미해결된 문제로 인해 저작권과 지식재산에 대한 포괄적인 법적 프레임워크와 윤리적 가이드라인이 시급하게 필요한 상황이다.
거대 언어 모델(Large Language Models, LLM)을 비롯한 생성 AI는 다양한 산업 분야에서 점점 더 많이 사용되고 있다. 이 기술은 텍스트, 이미지, 오디오, 합성 데이터 등 다양한 종류의 콘텐츠를 만들 수 있는 인공지능 기술이다. 기업들은 AI 솔루션에 대한 수요가 증가함에 따라 이 분야에서 서비스를 개발하여 세밀하게 조정해서 제공하려고 노력하고 있다. 생성 AI 및 기반 서비스는 기업에 새로운 기회와 가치를 제공할 수 있는 큰 잠재력을 가지고 있지만 동시에 법률, 재무, 평판과 같은 새로운 리스크를 초래할 수도 있다[1].
각 주요 영역은 콘텐츠 제작에 있어 다양한 AI 응용 분야를 나타내며, 각 영역 내에는 특정 작업에 사용되는 도구와 기술이 있을 수 있다. AI 기술은 이러한 각 영역에서 계속 발전하여 콘텐츠 생성 프로세스를 자동화하고 개선하는 데 기여하고 있다. AI는 다양한 분야에서 콘텐츠 생성에 상당한 발전을 이루어 왔는데, 다음 그림은 AI가 콘텐츠 제작에서 적용되는 주요 영역 중 일부를 보여준다.
① 콘텐츠 생성: 텍스트, 스크립트, 비디오, 영화, 저널리즘, 음악, 음성, 이미지, 코드, 애니메이션, 증강・가상현실 및 혼합현실, 딥페이크, 자동 캡션, 번역 등 광범위한 애플리케이션에 걸쳐 있다. 이러한 애플리케이션에는 다양한 크리에이티브, 정보 제공 또는 엔터테인먼트 요구를 충족하기 위해 다양한 형태의 콘텐츠를 생성하거나 생성하는 AI 시스템이 포함된다.
② 정보 분석: 데이터에서 인사이트를 처리하고 추출하는 데 중추적인 역할을 한다. 정보 분석은 텍스트 분류, 광고 분석, 영상 분석, 콘텐츠 검색, 추천 서비스 등의 5가지 응용 분야로 구분되며, 정보를 분류・평가・검색하는 데 활용한다.
③ 정보 추출: AI는 가치 있는 데이터를 추출하여 콘텐츠 향상 등의 전용 작업을 위해 사용하거나 재구성・개선하는 데 사용한다. 정보 추출 작업은 정보 추출, 정보 향상, 인식, 데이터 세분화, 이미지 융합, 콘텐츠 큐레이션, 콘텐츠 요약 등의 7가지 응용 분야로 나뉜다. '정보 추출'과 '콘텐츠 향상'은 일부 응용 분야에서 서로 얽혀 있는 두 가지 영역으로 간주한다.
④ 콘텐츠 향상: 콘텐츠의 품질과 매력을 향상하는 데 중점을 둔다. 콘텐츠 향상 작업은 대비 향상, 이미지 편집, 이미지 업스케일링, 복원, 콘텐츠 개인화 등의 5가지 적용 분야로 나뉜다.
⑤ 사용자 지원: 지능형 어시스턴트, 챗봇, 가상 어시스턴트, 어드바이저 봇, Q/A 봇 등의 5가지 애플리케이션으로 나뉜다. 생성 AI 기반 도구는 다양한 작업을 지원하고 질문에 답하며 권장 사항을 제공하는 등 사용자 경험을 전반적으로 향상해 준다.
AI는 콘텐츠 제작 분야에서 점점 더 중요한 역할을 하고 있다. AI는 콘텐츠의 생성, 분석, 향상, 지원 등 다양한 작업에 걸쳐 사용되는 광범위한 응용 분야와 가능성을 제시한다. AI 기술의 계속적인 발전으로 인해 콘텐츠 제작과 향상 분야에서 AI의 역할이 더욱 확대될 것으로 예상된다.
생성 AI 기반 서비스 측면에서 논의 중인 주요 이슈는 가짜 및 편향성 문제를 포함하여 생성 AI 기반 시스템과 관련된 윤리적 문제이다. 생성 AI는 '지능적으로' 작동하고 학습된 모델을 기반으로 예측을 제공할 수 있지만 맥락, 감정, 사회적 관계에 대한 진정한 이해는 부족하다. WEF, 유네스코, AI 파트너십과 같은 조직은 문화, 교육, 정보 접근을 통해 AI가 인간의 삶에 미치는 영향, 특히 디지털 격차에 대한 공통된 우려를 강조하고 있다. 또한 생성 AI의 콘텐츠 생성 능력으로 인해 저작권 문제라는 또 다른 우려가 수면 위로 떠오르고 있다. 생성 AI 알고리즘과 인간의 창의성이 만나면 아티스트의 권리, 저작물, 불법 복제, 독창성 등과 관련된 문제가 발생할 것으로 예상된다. 생성 AI가 가짜 콘텐츠 제작에 악용될 가능성도 지적되고 있으며, 이를 탐지하기 위한 노력도 계속되고 있다.
AI 윤리 및 신뢰성
AI 원칙, 윤리, 주요 요건부터 책임 있는 AI 시스템과 규제, AI 윤리와 편견에 대한 통찰력을 제공하는 논문 및 오피니언 페이퍼[5][6]
AI 신뢰성과 연구 및 개발의 모범 사례에 대한 귀중한 인사이트를 제공하는 ‘AI 신뢰성: 원칙에서 실무까지’ 리소스[7]
AI 윤리 프레임워크 개발
교육 및 연구 분야의 생성 AI에 대한 지침을 제공하며, 윤리적이고 신뢰할 수 있는 AI 사용을 보장하기 위한 규정의 중요성을 강조[8]
생성 AI의 위험관리
명확한 윤리적 지침에 따라 설계・배포되지 않으면 AI와 관련된 위험에 처할 수 있다는 점을 강조. 윤리적 고려의 필요성을 강조하고 AI 위험관리를 위한 참고 자료로 활용[9]
콘텐츠 제작 및 사람의 협업
콘텐츠 제작 부문에서 윤리적인 문제, 법이나 제도의 문제 그리고 안정적인 구동의 문제에 대해 생성 AI 또는 파인튜닝된 모델 개발과 관련된 몇 가지 중요한 연구와 고려 사항을 간략하게 설명[2] AI는 인상적이기는 하지만 제대로 된 인식과 정서적 이해가 부족한 콘텐츠를 생성할 수 있으며, 저작자, 독창성, 권리를 둘러싼 윤리적 문제도 있을 수 있음
'Human-in-the-Loop' 접근 방식에서는 인간이 AI 결과물을 검증하고 중요한 결정을 내리며 모델을 개선하기 위한 피드백을 제공해야 함. 특히 품질을 평가하기 어렵고 청중의 선호도와 최신 트렌드에 따라 달라지는 콘텐츠 제작 프로세스에서 인간과 AI 간의 상호작용은 점점 더 보편화되고 있음
이러한 학술 논문, 국제기구의 지침서 등은 규제 프레임워크를 준수하면서 생성 AI 및 생성 AI 기반 시스템 개발의 신뢰성, 안정성 및 윤리적 사용을 보장하고자 하는 연구자, 정책 입안자 및 개발자가 참고 자료로 활용할 수 있다.
또한 생성 AI 기반 시스템을 개발할 때는 법적 의무를 고려해야 하며, 이를 위해 생성 AI 기반 시스템의 개발 생명주기 동안 법률 컨설턴트와 협력할 것을 권장한다.
생성 AI 시스템에 대한 소송 [11][12][13]
생성 AI 도구가 인터넷에서 이미지를 스크랩하여 AI 모델을 학습시킴으로써 저작권을 위반했다고 주장함 * 이미지 제작 업체인 Getty는 별도의 소송에서 저작권에 대해 AI와 법적 분쟁을 진행 중임
Andersen 대 Stability AI Ltd. * Sarah Andersen을 포함한 원고들은 AI 도구가 원고의 저작물과 매우 유사한 콘텐츠를 생성하여 저작권을 침해했다고 주장하며 Stability AI Ltd.를 상대로 소송을 제기함
마이크로소프트, GitHub, OpenAI 집단 소송 * Copilot을 비롯한 AI 기반 도구가, 저작권이 있는 소프트웨어를 사용자가 침해할 수 있는 코드를 생성하도록 허용하여 ‘지식재산 기본법’을 위반했다고 주장함
각 사례는 AI의 사용 범위와 ‘지식재산 기본법’에 대한 잠재적 침해에 대한 논의가 계속되고 있는 가운데, 생성 AI가 헤쳐 나가고 있는 복잡한 법적・윤리적 지형을 잘 보여줌
환각(hallucination) 출력 및 영향 확인[14]
Avianca, Inc. Gen AI 사례 * 변호사들이 생성 AI를 부적절하게 사용한 사례로, 법적 맥락에서 이 기술과 관련된 잠재적 함정과 윤리적 문제를 확인함. 특히 법정에서 환각 결과물을 사용한 사례임
이 사례들은 저작권 침해, ‘지식재산 기본법’ 분쟁, AI 기술이 계속 발전함에 따라 발생하는 윤리적 문제 등 생성 AI를 둘러싼 복잡한 법적 환경을 조명한다.
과학기술정보통신부는 인공지능 개발 및 윤리와 관련하여 포괄적인 작업의 내용에 반영된 바와 같이 상당한 조치를 취해 왔다[15]. 이러한 노력은 주로 인공지능의 안전성과 신뢰성을 확보하는 데 중점을 두었으며, 특히 생성 AI 기술의 경우가 더욱 그러했다. 도입된 주요 이니셔티브는 인공지능이 생성한 콘텐츠에 워터마킹하는 개념이다. 워터마크는 특히 고위험 영역에서 AI 시스템이 생성한 결과물의 신뢰성과 진위 여부에 대한 우려가 높아짐에 따라 이를 해결하기 위한 수단으로 제안되었다.
국내에서는 생성 AI 모델의 신뢰성을 높이기 위한 연구와 노력이 활발히 진행되고 있다. 이러한 노력은 여러 이니셔티브와 연구가 AI의 신뢰성과 윤리적 사용을 강화하는 데 초점을 맞추고 있다.
경제 영향 연구
기업과 근로자가 생성 AI의 잠재력을 더 잘 활용할 수 있도록 경제적 영향 연구를 진행 중임 * AI 기술이 어떻게 노동력과 경제에 긍정적인 영향을 미칠 수 있는지를 이해하는 것을 목표로 함[16]
AI 생태계 개발
AI 연구, 개발 및 혁신에 도움이 되는 환경을 조성하여 AI 생태계를 심화하기 위해 학계-산업계-정부가 협력하여 노력 중임[17]
윤리적 AI 문제
AI의 윤리적 영향에 관해 전문가들은 책임감 있고 윤리적인 AI 개발을 옹호하며 무분별한 AI 사용에 대해 조언함[18]
이러한 노력은 윤리적이고 신뢰할 수 있는 AI 개발의 중요성에 대한 인식이 높아지고 있음을 반영한다. 국내에서는 생성 AI의 경제적 잠재력을 적극적으로 탐구하는 동시에 이러한 기술의 책임 있는 사용을 보장하기 위한 윤리적・규제적 측면도 고려하고 있다.
최근 몇 년 동안 다방면에서의 관심이 집중되며 윤리적 우려가 제기되고 있는 만큼 생성 AI의 신뢰성, 정책 및 연구가 활발해지고 있다. 생성 AI 기술과 관련된 윤리적 위험을 해결하기 위한 명확한 정책과 규정이 필요하다는 것은 분명해 보이며, 이러한 정책은 AI 시스템이 책임감 있게 사용되고 잘못된 정보나 유해한 콘텐츠를 전파하지 않도록 보장하는 것을 목표로 한다[9][19].
생성 AI의 신뢰성과 인간의 통찰력을 비교하는 것은 지금도 논쟁의 대상이 되고 있다. 연구하거나 의사결정을 내리는 데 있어 AI의 기능과 인간의 개입 간의 균형을 맞추는 것은 매우 중요하다. 연구자와 조직은 AI가 생성한 콘텐츠의 신뢰성을 보장하기 위한 방법론을 연구하고 있다[20]. 또한 환각 현상을 줄이고 생성 AI 모델의 한계를 해결하는 연구도 진행 중이다. 이러한 연구들은 AI가 생성한 콘텐츠의 정확성과 신뢰성을 개선하는 데 중점을 둔다[21][22]. 생성 AI는 기록적인 속도로 발전하고 있는데, 개발자는 오류로 인해 피해가 발생할 수 있거나 설명이 필요한 애플리케이션에 사람의 감독 없이 AI를 통합하는 데 주의해야 한다[23].
각 연구 및 정책의 종합적 측면에서, 생성 AI는 조직에 막대한 이익을 가져다 줄 수 있는 잠재력을 지니고 있지만 정확성, 투명성, 인간의 개입은 기업이 생성 AI를 도입할 때 위험관리를 위해 중요하게 고려할 사항임이 분명하다. 생성 AI의 신뢰성과 인간의 통찰력에 대한 논쟁이 계속되고 있기 때문에 AI의 기능과 인간의 전문성 간의 균형을 맞추는 것이 중요하다.
생성 AI 시스템의 신뢰성을 보장하기 위해서는 다각적인 접근 방식이 필요해 보인다. 즉 대표성과 다양성을 갖추고, 「개인정보 기본법」 제정에 따른 자율 기구의 구성으로 개인정보보호를 고려한 ‘학습용 데이터’의 품질, 복잡한 작업을 효과적으로 처리할 수 있는 ‘컴퓨팅 성능’, AI 생성 콘텐츠를 감독할 수 있는 ‘충분한 인력’ 등이 확보되어야 한다.
유해한 콘텐츠나 잘못된 정보의 확산을 방지하기 위해서는 AI 생성 시스템의 사회적 영향을 평가할 수 있는 웰빙 지표를 구현하는 것이 중요하며, 투명성과 책임성도 중요한 역할을 한다. EU의 AI 법과 같은 정책은 ‘투명성, 사람의 감독, AI 시스템의 편향성 최소화의 필요성’을 강조한다. 이러한 시스템이 윤리적 기준에 부합하는지를 확인하기 위해서는 지속적인 모니터링이 필수적이다.
미국
대규모 언어 모델을 포함한 인공지능 사용에 대한 성명서
바이든-해리스 행정부는 미국인의 권리와 안전을 보호하는 책임감 있는 AI 혁신을 촉진하기 위한 새로운 조치를 발표함
이 성명은 잘못된 정보, 편견, 데이터 프라이버시 등 AI에 대한 우려를 다루며 카멀라 해리스 부통령, ChatGPT 제조업체인 OpenAI, 알파벳과 앤트로픽의 임원이 참여하여 진행됨
유럽연합
AI 권리장전
AI 법
민감한 도메인으로 간주되어 고위험 시스템으로 분류되는 시스템을 분류함
GDPR
(The General Data Protection Regulation)
데이터 처리에 대한 규칙을 설명하고 개인이 자신의 개인 데이터를 제어할 수 있도록 보장함
AI 시스템은 이름, 주소, 전화번호, 이메일주소 및 기타 민감한 정보와 같은 사람 및 사용자의 개인 데이터를 수집하고 처리하므로, AI 시스템을 사용하는 조직은 사용자의 개인 데이터 수집 및 처리에 대한 동의를 얻고, 데이터 처리 목적에 대한 명확하고 투명한 정보를 제공하며, 개인 데이터가 안전하고 기밀로 처리되도록 하는 등 GDPR 요구사항을 준수해야 함
신뢰할 수 있는 AI를 위한 윤리 가이드라인
투명성, 책임성, 인간 자율성 존중과 같은 원칙을 포함하여 윤리적이고 신뢰할 수 있는 AI를 촉진하는 것을 목표로 함. 또한 AI 시스템에서 투명성과 설명가능성의 중요성을
대한민국
개인정보 보호법
(PIPA, Personal Information Protection Act)
AI 기술 사용 시 개인정보보호를 위한 가이드라인
데이터 수집 및 처리, 동의, 투명성 및 책임과 같은 주제를 다루며, 개인정보 취급 및 보호에 대한 규정과 지침을 제공하기 때문에 AI 시스템에서 개인정보보호 및 보안을 유지하려면 개인정보보호위원회PIPC의 규정을 준수하는 것이 중요함
PIPC는 규정 미준수에 대한 처벌을 시행하여 개발된 AI 시스템이 책임감 있고 윤리적인 방식으로 운영되도록 보장할 수 있음
인공지능 학습용 데이터 품질관리 가이드라인 및 구축안내서 v3.0
'인공지능 학습용 데이터 구축 사업'의 데이터 품질 제고를 위한 가이드라인을 발간함
인공지능 학습용 데이터 구축 시, 품질관리 활동과 산출물을 효율화하기 위해 종합적인 '품질관리 프레임워크'로 재구성됨
개발자는 세밀하게 조정된 모델 데이터셋을 관리하면서 편향성 및 저작권 면역 학습을 위한 관련 조치를 강화할 수 있음
알고리즘 및 인공지능에 관한 법안[24]
일상생활에서 알고리즘과 AI 기술의 영향력이 커짐에 따라 잠재적 위험을 완화하기 위한 윤리적 기준과 명확한 정책의 필요성을 강조하는 것을 목표로 함
AI 관련 기술 및 서비스가 점점 더 널리 보급됨에 따라 사용자의 권리와 잠재적 차별에 대한 우려가 커지고 있는 상황에서, 서비스 최적화와 비용 절감 등 AI 및 알고리즘의 이점을 활용하는 것과 이러한 기술이 사용자의 권리를 부당하게 제한하거나 편견을 지속시키지 않도록 하는 것 사이에서 균형을 맞추기 위해 노력하게 함
AI 시스템과 서비스에서 투명성, 책임성, 안전의 중요성을 강조함
주요 조항으로는 알고리즘 관련 용어의 정의, AI 개발 촉진을 위한 정부 정책, 성공적인 AI 상용화를 위한 재정 지원, 시민 안전 보호를 위한 고위험 AI 심의위원회 설치, 고위험 AI 사용과 관련된 이용자 권리 및 피해 보호, 분쟁 해결 위원회, 단체의 자율적 AI 윤리위원회 설치 가능성 등이 포함됨
이 포괄적인 입법안은 책임 있는 인공지능 활용을 촉진하는 동시에 경제 성장을 지원하고 시민의 삶의 질을 높이는 것을 목표로 함
세계경제 포럼WEF
세계경제포럼의 AI 거버넌스 얼라이언스[25]
책임감 있는 인공지능에 초점을 맞춘 AI 거버넌스 얼라이언스를 출범시킴
생성 AI의 설계와 배포에 정보를 제공하는 윤리적 가드레일과 정책 프레임워크를 만들기 위해 노력하고 있으며, 공개적이고 책임감 있게 생성 AI와 관련된 문제를 해결할 수 있는 포럼을 제공함
UN
국내 및 국제적 인지도
생성 AI 및 기타 AI 기술의 도입으로 인한 새로운 상황에 대응하기 위해 긴급한 조치를 촉구함[26]
대한민국
과학기술정보통신부 산하 AI 윤리 및 안전 위원회
AI 연구 및 개발을 위한 윤리적 가이드라인 제공함
개인정보보호, 편향성, 투명성과 관련된 문제를 포함하여 AI 기술의 잠재적인 사회적, 윤리적 영향을 평가할 책임이 있음
글로벌 관점
AI 파트너십
AI가 책임감 있고 윤리적으로 개발되고 사용되는 것을 목표로 하는 업계, 학계, 비영리단체 간의 협력
AI 시스템에서 투명성, 공정성, 책임성의 중요성을 강조하는 일련의 AI 지침 원칙 개발
WEF
생성 AI의 개발과 배포에 있어 회복탄력성이 필요하다는 점을 강조함
정책 동향은 이 기술과 관련된 기회와 위험의 균형을 맞추기 위해 책임감 있고 윤리적인 AI 개발에 우선순위를 둠[27]
미국
OpenAI
고객이 책임감 있게 Azure OpenAI 모델을 구현하는 AI 시스템을 설계・개발・배포・ 사용하는 데 도움이 되는 기술 권장 사항과 리소스를 제공함
기초 모델 연구 센터
(CRFM, Center for Research on Foundation Models)
기초 모델에 대한 중요한 연구의 대부분은 근본적으로 사회기술적인 성격에 걸맞은 심층적인 학제 간 협력이 필요하다고 보고서에서 강조함