2. 생성 AI 신뢰성 동향
Last updated
Last updated
생성 AI 모델에는 일반적으로 기본 모델, 파인튜닝(Fine-Tuning) 모델, 다양한 추가 모델이 있다. 기본 모델인 BERT 및 GPT와 같은 제품군은 주요 구조를 담당하며 대규모 데이터셋에 대해 사전 훈련을 받는다. 파인튜닝은 모델을 특정 작업이나 도메인에 맞게 조정하여 관련성을 높인다. 연구자나 개발자가 신뢰성을 확보하려면 파인튜닝 중 데이터 준비, 모델 편향 완화 등의 과정을 개선하여 윤리적 원칙과 도메인별 가이드라인을 준수하도록 해야 한다.
생성 AI와 도메인별 파인튜닝 모델*은 다양한 애플리케이션에서 강력한 도구로 급속히 발전해 왔다. 그러나 이러한 기술을 배포할 때 신뢰성, 견고성, 윤리와 관련된 중요한 우려가 제기되고 있다. 신뢰할 수 있는 AI는 기술 개발의 핵심 측면 중 하나로서 이러한 서비스가 신뢰할 수 있고 공정하며 윤리적으로 운영되도록 보장한다. 이를 위한 주요 과제 중 하나는 생성 AI의 견고성을 정의하는 것이다. 이는 다양한 환경에서 일관되고 안전하게 작동하고, 적대적인 공격에 대처하며, 신뢰할 수 있는 결과를 생성하는 능력을 포괄한다. 그뿐만 아니라 생성 AI 시스템이 의도치 않게 유해하거나 혼란스럽고 편향된 콘텐츠를 생성할 수 있으므로 윤리적 측면도 중요하다.
*혼동을 피하기 위해 본 안내서 전체에서 이를 ‘생성 AI 기반 서비스’로 통일하여 표현
생성 AI의 신뢰성(Trustworthiness)을 향상하는 방향은 다양한 측면을 고려하는 접근 방식으로 진행되고 있다. 생성 AI 기반 서비스는 강조해야 할 중요한 요소로 견고성과 윤리를 모두 고려하며, 다양한 상황에서 일관성 있게 작동하는 서비스를 구축하는 데 집중하고 있다. 이 다차원적인 접근 방식에는 편견을 줄이고 콘텐츠 다양성을 보장하는 동시에 환각 현상을 완화하기 위해 엄격한 테스트, 적대적 평가, 윤리적 프레임워크가 포함된다. 또한 생성 AI 기반 서비스에서의 신뢰성은 기본 모델의 개선, 파인튜닝 절차, 시스템의 출력을 제어하고 모니터링하며 안내하는 데 도움이 되는 추가 모델 개발과 같이 생성 AI 생태계를 전반적으로 고려한다.
생성 AI를 기반으로 한 서비스는 복잡한 법적・윤리적 문제를 일으키고 있는데, 그중에서도 가장 중요한 문제는 저작권과 지식재산에 관련된 것이다. 특히 AI가 생성한 작품의 소유권에 관한 법적 해석이 여전히 모호한 상황이다. 이런 불확실성으로 인해 의도적이든 실수든 잠재적으로 저작권 침해가 발생할 수 있으며, 특히 공급업체와 고객 간의 계약에서 명확하게 다뤄지지 않으면 더 큰 위험성이 있을 수 있다. 더욱 복잡한 부분은, AI가 생성한 작품에 저작권이 있는 경우에 이를 학습 데이터셋으로 사용할 때, 원래 작성자가 이러한 사용을 승인하지 않으면 법적 문제가 발생할 수 있다는 점이다. 이와 관련하여 미국 저작권청은 AI가 생성한 콘텐츠를 퍼블릭 도메인의 일부로 간주하고 AI를 작성자로 인정하지 않는 것으로 알려져 있다. 또한 아티스트들은 자신의 작품이 생성 AI 플랫폼에서 사용되는 것에 대해 라이선스나 동의 없이 사용되었다며 저작권 침해 소송을 진행하고 있어 상황은 더욱 복잡해지고 있다. 이러한 미해결된 문제로 인해 저작권과 지식재산에 대한 포괄적인 법적 프레임워크와 윤리적 가이드라인이 시급하게 필요한 상황이다.
거대 언어 모델(Large Language Models, LLM)을 비롯한 생성 AI는 다양한 산업 분야에서 점점 더 많이 사용되고 있다. 이 기술은 텍스트, 이미지, 오디오, 합성 데이터 등 다양한 종류의 콘텐츠를 만들 수 있는 인공지능 기술이다. 기업들은 AI 솔루션에 대한 수요가 증가함에 따라 이 분야에서 서비스를 개발하여 세밀하게 조정해서 제공하려고 노력하고 있다. 생성 AI 및 기반 서비스는 기업에 새로운 기회와 가치를 제공할 수 있는 큰 잠재력을 가지고 있지만 동시에 법률, 재무, 평판과 같은 새로운 리스크를 초래할 수도 있다[1].
각 주요 영역은 콘텐츠 제작에 있어 다양한 AI 응용 분야를 나타내며, 각 영역 내에는 특정 작업에 사용되는 도구와 기술이 있을 수 있다. AI 기술은 이러한 각 영역에서 계속 발전하여 콘텐츠 생성 프로세스를 자동화하고 개선하는 데 기여하고 있다. AI는 다양한 분야에서 콘텐츠 생성에 상당한 발전을 이루어 왔는데, 다음 그림은 AI가 콘텐츠 제작에서 적용되는 주요 영역 중 일부를 보여준다.
① 콘텐츠 생성: 텍스트, 스크립트, 비디오, 영화, 저널리즘, 음악, 음성, 이미지, 코드, 애니메이션, 증강・가상현실 및 혼합현실, 딥페이크, 자동 캡션, 번역 등 광범위한 애플리케이션에 걸쳐 있다. 이러한 애플리케이션에는 다양한 크리에이티브, 정보 제공 또는 엔터테인먼트 요구를 충족하기 위해 다양한 형태의 콘텐츠를 생성하거나 생성하는 AI 시스템이 포함된다.
② 정보 분석: 데이터에서 인사이트를 처리하고 추출하는 데 중추적인 역할을 한다. 정보 분석은 텍스트 분류, 광고 분석, 영상 분석, 콘텐츠 검색, 추천 서비스 등의 5가지 응용 분야로 구분되며, 정보를 분류・평가・검색하는 데 활용한다.
③ 정보 추출: AI는 가치 있는 데이터를 추출하여 콘텐츠 향상 등의 전용 작업을 위해 사용하거나 재구성・개선하는 데 사용한다. 정보 추출 작업은 정보 추출, 정보 향상, 인식, 데이터 세분화, 이미지 융합, 콘텐츠 큐레이션, 콘텐츠 요약 등의 7가지 응용 분야로 나뉜다. '정보 추출'과 '콘텐츠 향상'은 일부 응용 분야에서 서로 얽혀 있는 두 가지 영역으로 간주한다.
④ 콘텐츠 향상: 콘텐츠의 품질과 매력을 향상하는 데 중점을 둔다. 콘텐츠 향상 작업은 대비 향상, 이미지 편집, 이미지 업스케일링, 복원, 콘텐츠 개인화 등의 5가지 적용 분야로 나뉜다.
⑤ 사용자 지원: 지능형 어시스턴트, 챗봇, 가상 어시스턴트, 어드바이저 봇, Q/A 봇 등의 5가지 애플리케이션으로 나뉜다. 생성 AI 기반 도구는 다양한 작업을 지원하고 질문에 답하며 권장 사항을 제공하는 등 사용자 경험을 전반적으로 향상해 준다.
AI는 콘텐츠 제작 분야에서 점점 더 중요한 역할을 하고 있다. AI는 콘텐츠의 생성, 분석, 향상, 지원 등 다양한 작업에 걸쳐 사용되는 광범위한 응용 분야와 가능성을 제시한다. AI 기술의 계속적인 발전으로 인해 콘텐츠 제작과 향상 분야에서 AI의 역할이 더욱 확대될 것으로 예상된다.
생성 AI 기반 서비스 측면에서 논의 중인 주요 이슈는 가짜 및 편향성 문제를 포함하여 생성 AI 기반 시스템과 관련된 윤리적 문제이다. 생성 AI는 '지능적으로' 작동하고 학습된 모델을 기반으로 예측을 제공할 수 있지만 맥락, 감정, 사회적 관계에 대한 진정한 이해는 부족하다. WEF, 유네스코, AI 파트너십과 같은 조직은 문화, 교육, 정보 접근을 통해 AI가 인간의 삶에 미치는 영향, 특히 디지털 격차에 대한 공통된 우려를 강조하고 있다. 또한 생성 AI의 콘텐츠 생성 능력으로 인해 저작권 문제라는 또 다른 우려가 수면 위로 떠오르고 있다. 생성 AI 알고리즘과 인간의 창의성이 만나면 아티스트의 권리, 저작물, 불법 복제, 독창성 등과 관련된 문제가 발생할 것으로 예상된다. 생성 AI가 가짜 콘텐츠 제작에 악용될 가능성도 지적되고 있으며, 이를 탐지하기 위한 노력도 계속되고 있다.
사례 | 설명 |
---|---|
AI 윤리 및 신뢰성 |
|
AI 윤리 프레임워크 개발 |
|
생성 AI의 위험관리 |
|
콘텐츠 제작 및 사람의 협업 |
|
이러한 학술 논문, 국제기구의 지침서 등은 규제 프레임워크를 준수하면서 생성 AI 및 생성 AI 기반 시스템 개발의 신뢰성, 안정성 및 윤리적 사용을 보장하고자 하는 연구자, 정책 입안자 및 개발자가 참고 자료로 활용할 수 있다.
또한 생성 AI 기반 시스템을 개발할 때는 법적 의무를 고려해야 하며, 이를 위해 생성 AI 기반 시스템의 개발 생명주기 동안 법률 컨설턴트와 협력할 것을 권장한다.
서비스 사용에 대한 법적 문제 | 내용 |
---|---|
생성 AI 시스템에 대한 소송 [11][12][13] |
|
환각(hallucination) 출력 및 영향 확인[14] |
|
이 사례들은 저작권 침해, ‘지식재산 기본법’ 분쟁, AI 기술이 계속 발전함에 따라 발생하는 윤리적 문제 등 생성 AI를 둘러싼 복잡한 법적 환경을 조명한다.
과학기술정보통신부는 인공지능 개발 및 윤리와 관련하여 포괄적인 작업의 내용에 반영된 바와 같이 상당한 조치를 취해 왔다[15]. 이러한 노력은 주로 인공지능의 안전성과 신뢰성을 확보하는 데 중점을 두었으며, 특히 생성 AI 기술의 경우가 더욱 그러했다. 도입된 주요 이니셔티브는 인공지능이 생성한 콘텐츠에 워터마킹하는 개념이다. 워터마크는 특히 고위험 영역에서 AI 시스템이 생성한 결과물의 신뢰성과 진위 여부에 대한 우려가 높아짐에 따라 이를 해결하기 위한 수단으로 제안되었다.
국내에서는 생성 AI 모델의 신뢰성을 높이기 위한 연구와 노력이 활발히 진행되고 있다. 이러한 노력은 여러 이니셔티브와 연구가 AI의 신뢰성과 윤리적 사용을 강화하는 데 초점을 맞추고 있다.
시스템 사용에 대한 영향 | 대응 |
---|---|
경제 영향 연구 |
|
AI 생태계 개발 |
|
윤리적 AI 문제 |
|
이러한 노력은 윤리적이고 신뢰할 수 있는 AI 개발의 중요성에 대한 인식이 높아지고 있음을 반영한다. 국내에서는 생성 AI의 경제적 잠재력을 적극적으로 탐구하는 동시에 이러한 기술의 책임 있는 사용을 보장하기 위한 윤리적・규제적 측면도 고려하고 있다.
최근 몇 년 동안 다방면에서의 관심이 집중되며 윤리적 우려가 제기되고 있는 만큼 생성 AI의 신뢰성, 정책 및 연구가 활발해지고 있다. 생성 AI 기술과 관련된 윤리적 위험을 해결하기 위한 명확한 정책과 규정이 필요하다는 것은 분명해 보이며, 이러한 정책은 AI 시스템이 책임감 있게 사용되고 잘못된 정보나 유해한 콘텐츠를 전파하지 않도록 보장하는 것을 목표로 한다[9][19].
생성 AI의 신뢰성과 인간의 통찰력을 비교하는 것은 지금도 논쟁의 대상이 되고 있다. 연구하거나 의사결정을 내리는 데 있어 AI의 기능과 인간의 개입 간의 균형을 맞추는 것은 매우 중요하다. 연구자와 조직은 AI가 생성한 콘텐츠의 신뢰성을 보장하기 위한 방법론을 연구하고 있다[20]. 또한 환각 현상을 줄이고 생성 AI 모델의 한계를 해결하는 연구도 진행 중이다. 이러한 연구들은 AI가 생성한 콘텐츠의 정확성과 신뢰성을 개선하는 데 중점을 둔다[21][22]. 생성 AI는 기록적인 속도로 발전하고 있는데, 개발자는 오류로 인해 피해가 발생할 수 있거나 설명이 필요한 애플리케이션에 사람의 감독 없이 AI를 통합하는 데 주의해야 한다[23].
각 연구 및 정책의 종합적 측면에서, 생성 AI는 조직에 막대한 이익을 가져다 줄 수 있는 잠재력을 지니고 있지만 정확성, 투명성, 인간의 개입은 기업이 생성 AI를 도입할 때 위험관리를 위해 중요하게 고려할 사항임이 분명하다. 생성 AI의 신뢰성과 인간의 통찰력에 대한 논쟁이 계속되고 있기 때문에 AI의 기능과 인간의 전문성 간의 균형을 맞추는 것이 중요하다.
생성 AI 시스템의 신뢰성을 보장하기 위해서는 다각적인 접근 방식이 필요해 보인다. 즉 대표성과 다양성을 갖추고, 「개인정보 기본법」 제정에 따른 자율 기구의 구성으로 개인정보보호를 고려한 ‘학습용 데이터’의 품질, 복잡한 작업을 효과적으로 처리할 수 있는 ‘컴퓨팅 성능’, AI 생성 콘텐츠를 감독할 수 있는 ‘충분한 인력’ 등이 확보되어야 한다.
유해한 콘텐츠나 잘못된 정보의 확산을 방지하기 위해서는 AI 생성 시스템의 사회적 영향을 평가할 수 있는 웰빙 지표를 구현하는 것이 중요하며, 투명성과 책임성도 중요한 역할을 한다. EU의 AI 법과 같은 정책은 ‘투명성, 사람의 감독, AI 시스템의 편향성 최소화의 필요성’을 강조한다. 이러한 시스템이 윤리적 기준에 부합하는지를 확인하기 위해서는 지속적인 모니터링이 필수적이다.
국가 | 핵심정책 | 요약 |
---|---|---|
미국 | 대규모 언어 모델을 포함한 인공지능 사용에 대한 성명서 |
|
유럽연합 | AI 권리장전 AI 법 |
|
GDPR (The General Data Protection Regulation) |
| |
신뢰할 수 있는 AI를 위한 윤리 가이드라인 |
| |
대한민국 | 개인정보 보호법 (PIPA, Personal Information Protection Act) |
|
인공지능 학습용 데이터 품질관리 가이드라인 및 구축안내서 v3.0 |
| |
알고리즘 및 인공지능에 관한 법안[24] |
| |
세계경제 포럼WEF | 세계경제포럼의 AI 거버넌스 얼라이언스[25] |
|
UN | 국내 및 국제적 인지도 |
|
국가 | 기관 | 활동 |
---|---|---|
대한민국 | 과학기술정보통신부 산하 AI 윤리 및 안전 위원회 |
|
글로벌 관점 | AI 파트너십 |
|
WEF |
| |
미국 | OpenAI |
|
기초 모델 연구 센터 (CRFM, Center for Research on Foundation Models) |
|