15 서비스 제공 범위 및 상호작용 대상에 대한 설명 제공
생성 AI 모델의 성공적인 설계, 유지관리 및 업데이트를 위해 서비스 제공 범위와 상호작용 대상에 대해 명확하게 정의해야 한다. 이러한 설명은 사용자가 모델의 목적과 한계를 파악할 수 있게 하고, AI 모델에 대한 이해를 바탕으로 적합한 목적에 따라 서비스를 이용함으로써 서비스가 고객의 요구사항에 부합하고 사용자와 효과적으로 소통할 수 있도록 한다. 또한 모델의 유지관리를 용이하게 하고 전반적인 보안을 강화하며, 생성된 콘텐츠가 원하는 품질 표준을 충족하는지를 확인할 수 있다.
사용자에게 목적, 서비스 범위, 제한 사항, 면책 조항 및 상호작용 대상을 설명함으로써 사용자는 생성 AI 모델이 제공하는 서비스를 올바르게 사용하고 오용 또는 남용을 방지하는 방법에 대해 이해할 수 있다.
AI 모델 개발자는 상호작용의 범위와 대상을 이해하면 고객의 요구사항을 충족하도록 모델을 설계할 수 있으며, 경고 및 알림을 통해 사용자와 효과적으로 커뮤니케이션할 수 있다.
이처럼 AI 모델에 대한 세부 내용이 설명으로 제공될 경우, 생성 AI 모델 사용자와 운영자 간의 신뢰와 만족도를 향상하고, 생성 AI 모델의 성공과 책임감 있는 사용을 보장한다.
15-1 인공지능 서비스의 올바른 사용을 유도하기 위한 설명을 제공하는가?
생성 AI 모델의 활용 범위가 확대됨에 따라 사용자는 서비스 기능에 대한 기대치를 실제 서비스 제공 범위보다 광범위하게 오해하는 경우가 많다. 따라서 인공지능 기술의 오남용을 방지하고 서비스에 대한 사용자의 기대치를 조정하기 위해 서비스의 목적, 범위, 한계, 면책사항 등에 대한 설명을 제공해야 한다.
생성 AI 모델을 효과적으로 사용할 수 있는 방법에 대한 설명을 제공할 경우, 사용자는 설명을 통해 이해한 정보를 바탕으로 의사결정을 내리고 생성 AI 모델의 잠재적 이점을 극대화하는 동시에 오용이나 비현실적인 기대를 피할 수 있다.
사용자가 생성 AI 모델에 대해 과대평가하는 것을 방지하고 시스템이 생성해 낸 결과물을 아무런 의심 없이 받아들이는 것을 주의하도록 해야 한다. 모든 기술과 마찬가지로 생성 AI 모델에는 고려해야 할 한계가 있다. 환각(Hallucination)이란, 부정확한 정보를 사실처럼 전달하는 현상을 의미한다. 이런 환각 현상은 사용자에게 혼란을 줄 수 있으므로 사용자에게 서비스의 한계와 범위를 설명해야 한다.
시스템 운영자는 AI 시스템이 제공하는 결과물이 사용자에게 미치는 영향과 결과를 되돌릴 수 있는지 여부 등에 대해 설명하여 사용자가 서비스를 올바르게 사용하도록 유도해야 한다. 시스템 작동 방식 등을 사용자에게 알리기 위한 방법으로 온라인･실시간 도움말을 활용하며, 온라인･실시간 도움말을 통합함으로써 사용자의 만족도를 향상하고 지원팀의 부담을 줄이며, 좀 더 직관적인 사용자 지원 환경을 만들 수 있다.
15-1a 서비스의 목적과 목표에 대한 설명을 제공하는가?
생성 AI 모델의 주요 목표는 서비스 제공자가 생성 AI 모델을 제공하는 방향을 포함하며, 목적은 사용자가 기능을 사용하여 구체적으로 어떻게 얻을 수 있는지를 나타낸다. 제공되는 생성 AI 모델의 목적과 목표를 설명함으로써 사용자는 사용 맥락에 따라 적절한 기능을 선택하고 활용할 수 있다.
개발된 모델이 오용되거나 남용되는 경우(예: 프롬프트 주입과 같은 경우) 개발된 생성 인공지능 시스템에 새로운 취약점을 만들거나 예기치 않은 사회 문제를 초래할 수 있다. 따라서 서비스가 의도된 목적 외에 오용되는 것을 방지하기 위해서 이해당사자는 오용 가능성이 있는 영역을 식별하고 사용자에게 관련 사례와 패널티를 알려서 사용자가 인식할 수 있게 해야 한다.
또한 잠재적 사용자의 다양성이 넓고 예측할 수 없기 때문에 정보 문서나 가이드라인을 준비하고 사용자에게 개발된 모델, 아키텍처, 플러그인, 작업, 목표 및 개발된 모델의 목적에 대해 알려야 한다. 또한 사용의 편의성을 위해 예시･템플릿 프롬프트를 제공하는 것을 고려해야 한다.
15-1b 서비스의 한계와 범위에 대한 설명을 제공하는가?
생성 AI 모델은 콘텐츠 생성, 의사결정에 영향을 주기, 사용자 경험 형성과 같은 다양한 방법으로 사회에 영향을 줄 수 있다. 잠재적인 편향, 개인정보 문제 및 개인 또는 커뮤니티에 대한 부정적인 영향을 최소화하기 위한 책임 있는 사용을 보장하는 것과 같은 윤리적 고려 사항을 다루기 위해 각 경우의 한계를 이해하는 것은 중요하다.
생성 AI 모델의 한계를 알고 있으면 그 능력에 대한 현실적인 기대를 설정하는 데 도움이 된다. 그 능력을 과대평가하는 것을 방지하고 현재의 능력을 넘어서는 복잡하거나 창의적인 작업을 수행할 수 없어도 실망하지 않게 한다. ISO 9241-210: 2010의 "인간 시스템 상호작용의 인체 공학 - 부분 210: 대화형 시스템을 위한 인간 중심 설계"에 따르면 결과적으로 인간 활동은 전체 사용자에게 의미 있는 일련의 작업을 만들어야 한다. 따라서 이것은 생성 AI 모델이 개인이 필수 사항을 충족하고 그 한계를 인식하는지를 확인하는 중요한 관점이다.
생성 AI 모델의 서비스 제공 한계 예시[242]
구글 AI+ 디자인 가이드라인[333]
구글의 AI+ 설계 가이드라인에서는 서비스 결과의 품질에 영향을 미칠 수 있는 요소를 명확히 설명할 것을 권장한다. 이와 관련하여 ‘구글 AI 설계 권장 사항’ 중에는 투명성을 보장하기 위해 개발된 모델의 범위와 한계에 대한 유용한 설명을 제공하는 것이 포함돼 있다.
마이크로소프트의 인간-AI 상호작용을 위한 가이드라인[334]
마이크로소프트 AI 설계 가이드라인에서는 시스템 변경 사항도 사용자에게 알릴 것을 권장한다. 마이크로소프트는 개발된 AI 시스템에 제한 사항뿐만 아니라 기능이 추가되거나 업데이트될 때 사용자에게 명시적으로 알릴 것을 권장한다.
15-2 사용자가 상호작용하고 있는 대상을 인지할 수 있도록 설명하는가?
생성 AI 모델과의 상호작용 목표를 정의하는 것은 명확한 의사소통, 사용자와 관련성 있고 개인화된 결과물 제공, 효율성 및 반복적인 개선을 위해 중요하다. 목적에 따라 AI 모델과 상호작용을 하는 것은 의미 있는 결과를 보장한다. AI 모델의 적절한 기능과 사용자 요구사항에 대한 조정은 상호작용 목표와 관련이 있으며, AI 모델의 정확한 응답을 유도하고 생성된 콘텐츠에서 잘못된 정보가 생성되거나 혼란이 야기되는 것을 방지한다.
또한 상호작용의 대상이 명확하게 정의되면 사용자는 시스템이 할 수 있는 일과 할 수 없는 일을 명확하게 이해하고, 적절한 기대치에 따라 시스템을 사용할 수 있기 때문에 시스템 성능에 만족할 가능성이 높다.
15-2a 사용자와 인공지능이 상호작용하는 서비스 범위를 명시하였는가?
EU의 인공지능 법안은 사용자가 상호작용을 하는 인공지능 시스템에 대한 명확하고 투명한 정보를 제공하는 요구사항을 포함하는 것을 의무화한다[335]. 상호작용의 대상을 정의함으로써 모델이 직관적이고 사용하기 쉬운 방식으로 설계될 수 있다. 이는 모델을 사용자의 특정 요구사항과 선호도에 맞춰 조정할 수 있기 때문에 사용자 인터페이스를 단순화하고 혼란이나 오류의 위험을 줄일 수 있다.
생성AI 특징은 훈련 데이터에서 답변이 없으면 거짓 정보를 제공하는 환각의 경향이 있다. 이를 통해 설득력 있는 잘못된 정보나 경멸적 발언을 생성하거나 편견을 재현할 수 있다. 또한 이러한 이슈는 일반 사용자가 모델 응답에 대해 팩트 체크를 할 수 없기 때문에 모델 기능, 적용 영역, 사용자 신뢰가 증가함에 따라 더욱 악화될 것으로 예상된다.
생성형 AI 시스템을 통해 잘못된 정보와 허위 정보를 대규모로 생성할 위험이 있으므로 새로운 솔루션이 필요하다. AI가 점점 더 설득력 있는 허위 정보를 생성하면 사용자 교육만으로는 충분하지 않다. 또한 책임이 시스템, 기업, 정부에서 개인에게로 옮겨질 수 있다.
인터넷의 출처를 참조하거나(Nakano 외, 2021[47]) 자신의 주장을 뒷받침하는 증거를 제공하도록 강요하고(Menick 외, 2022[48]) 모델이 더 큰 데이터베이스에서 정보를 검색하여 예측하도록 하여 검색 모델 아키텍처를 강화(Borgeud 외, 2021[49])하는 등 모델이 자신의 진술을 입증하도록 유도하는 연구도 진행 중이다.
참고: 생성 AI 모델 사용 사례에 대한 지침 (04-1d 참고)
생성 AI 모델을 설계할 때 사용자의 경험을 고려하고, 모델이 사용하기 쉬우며, 사용자 정의가 가능하고, 다양한 장치 및 플랫폼과 호환되도록 설계해야 한다. 또한 시스템은 데이터 프라이버시와 보안을 염두에 두고 설계되어야 하며, 다른 시스템 및 장치와 통합되어 더 포괄적인 보안 솔루션을 제공할 수 있어야 한다.
워터마킹 기술은 AI가 생성한 콘텐츠의 식별을 용이하게 하고, 저작권 프로세스에 대해 신뢰할 수 있는 인사이트를 제공하며, 생성된 콘텐츠에 대한 명확한 추적성을 제공하는 등 생성 AI 기반 모델에서 중요한 역할을 수행한다. 워터마킹의 중요성은 부인할 수 없지만, 특히 프라이버시 및 표현의 자유와 관련하여 워터마킹에 대한 우려도 여전히 존재한다. 따라서 악의적인 목적으로 워터마킹이 오용될 수 있기 때문에 윤리적 기준과 규정을 준수하는 것이 필수적이다. 이는 의도되지 않은 결과를 방지하는 데 도움이 될 뿐만 아니라 생성 AI 기술의 사용에 대한 대중의 신뢰와 믿음을 조성하는 데도 도움이 된다.
이미지 기반의 생성 AI 콘텐츠에 자주 사용되는 워터마킹 기법은 다음과 같다.
인식 불가능(비가시적) 워터마킹: 디지털 콘텐츠에 보이지 않는 워터마크를 삽입하여 육안으로는 감지할 수 없지만 사람이 이미지를 편집하더라도 검사 시 식별할 수 있도록 하는 새로운 방법이다[341]. 비가시적인 워터마킹은 위조･제거･수정하려는 시도를 방지할 수 있도록 설계되었으며 다양한 모델 아키텍처와 호환된다[348].
인식 가능(가시적) 워터마킹: 이 기술은 눈에 보이는 오버레이를 이미지에 추가하거나 이미지의 메타데이터에 정보를 추가하여 이미지가 AI에 의해 생성되었음을 나타낸다[349].
15-2b 서비스 내의 최종 의사결정을 수행하는 주체에 대해 사용자에게 설명하는가?
사용자에게 인공지능이 최종 의사결정을 내렸는지 또는 특정 결과에 기여했는지 등의 정보를 설명해야 한다. 예를 들어, 인공지능이 최종 의사결정을 내린 경우 사용자에게 해당 결정이 인공지능의 결과임을 명시적으로 사용자에게 전달해야 한다. 또한, 인공지능이 조언을 제시하고 최종 의사결정을 운영자가 내린 경우나, 사용자에게 최종 의사결정을 위임한 경우에도 관련 설명을 제공해야 한다.
미국 백악관에서 발표한 인공지능 권리장전을 위한 청사진(Blueprint for an AI Bill of Rights)에서는 자동화 시스템이 사람들의 삶에 깊은 영향을 미치기 때문에, 잠재적인 피해로부터 보호하기 위해 사용자에게 자동화 시스템의 활용 여부를 명시해야 함을 언급하고 있다.
Last updated
