15 서비스 제공 범위 및 상호작용 대상에 대한 설명 제공
사용자가 인공지능 시스템이 제공하는 서비스를 올바르게 사용하고, 제공된 서비스를 오･남용하지 않도록 서비스의 목적, 범위, 제한사항, 면책조항(disclaimer), 상호작용 대상을 포함한 내용을 설명한다.
15-1 인공지능 서비스의 올바른 사용을 유도하기 위한 설명을 제공하는가?
인공지능의 활용 범위가 넓어지면서 사용자가 서비스 기능에 대한 기대를 실제 서비스 제공 범위보다 더 넓게 오해하는 경우가 발생한다. 따라서 서비스 목적, 범위, 제한사항, 면책조항에 대한 설명을 제공함으로써 인공지능 기술의 오･남용을 방지하고 사용자의 서비스에 대한 기대치를 조정하는 것이 중요하다.
서비스 제공자는 인공지능이 제공하는 결과가 사용자에게 미치는 영향(긍정적, 부정적, 잠재적 영향을 모두 포함)을 설명하고, 필요시 해당 결과를 되돌릴 수 있는지 또한 제공하여 해당 서비스의 올바른 사용을 유도해야 한다.
15-1a 서비스의 목적과 목표에 대한 설명을 제공하는가?
서비스 목적(goal)은 서비스 제공사가 인공지능 시스템을 어떤 목적으로 제공하는지에 대한 방향성을 담은 것이며, 목표(objective)는 사용자가 해당 기능을 사용함으로써 무엇을 어떻게 구체적으로 얻을 수 있는지를 의미한다. 사용자는 서비스 목적과 목표를 설명함으로써 사용 맥락에 맞는 적합한 기능을 선택하여 활용할 수 있다.
인공지능 서비스가 오용 또는 남용될 경우, 인공지능 모델이나 시스템상의 새로운 취약점을 생성하거나 예상치 못한 사회적 이슈를 발생시킬 수 있다. 따라서 서비스가 의도한 목적을 벗어나 잘못 사용되는 것을 방지하기 위해, 이해관계자는 잠재적 오･남용 영역을 식별한 후 사용자가 이를 인식할 수 있도록 관련 사례와 처벌 내용 등을 알려야 한다.
15-1b 서비스의 한계와 범위에 대한 설명을 제공하는가?
서비스 제공 범위와 한계를 설명함으로써 사용자 기대치를 조정할 수 있다. 서비스 결과에 대한 품질은 사용자 그룹 특성, 사용 환경, 사용 데이터 등 다양한 요인에 영향받아 결과가 도출될 수 있으므로 사용자에게 서비스 한계와 제공 범위에 대해 말하는 것이 중요하다.
15-2 사용자가 상호작용하고 있는 대상을 인지할 수 있도록 설명하는가?
최근 인공지능 시스템을 의인화함으로써 사용자가 친밀감을 향상하고 사용성을 높이려는 서비스가 많아지고 있다. 그러나 인공지능 기술이 고도화되며 인간과 구분이 어려워져 사용자는 상호작용의 대상이 사람인지, 시스템인지 혼란을 겪을 수 있다. 따라서 서비스 제공자는 사용자가 상호작용하는 대상을 명확히 알림으로써 사용자가 겪을 혼란을 줄여야 한다.
특히, 생성 AI 기반 서비스를 통해 생성된 콘텐츠는 딥페이크, 가짜뉴스 등에 오용될 수 있는데, 이러한 문제는 해당 콘텐츠가 인공지능에 의해 생성되었음을 명시함으로써 사용자의 혼란을 방지할 수 있다. 이를 위해, 생성 콘텐츠에 가시적 워터마킹 기술을 적용한다면 사용자가 콘텐츠의 생성 출처를 쉽게 구분하도록 할 수 있다.
참고: EU AI Act 투명성 요구사항
EU AI Act에서 ChatGPT와 같은 생성형 AI는 고위험군으로 분류되지는 않지만 투명성 요건과 EU 저작권법을 준수해야 한다고 명시한다.
콘텐츠가 AI에 의해 생성되었다는 사실 공개
불법 콘텐츠를 생성하지 않도록 모델 설계하기
학습에 사용된 저작권이 있는 데이터의 요약 게시
콘텐츠가 AI에 의해 생성되었다는 확인을 위해 사용하는 기술에는 워터마킹이 활발히 연구중이며 아래와 같은 사례가 있다.
사용 사례 - 텍스트 기반 생성 AI 콘텐츠를 위한 워터마킹 기술
사용 사례 - 이미지 기반 생성 AI 콘텐츠용 워터마킹 기술
15-2a 사용자와 인공지능이 상호작용하는 서비스 범위를 명시하였는가?
서비스 내에서 사용자와 인공지능이 상호작용하는 범위를 명시해야 한다. 이로써 사용자는 어떤 작업이 자동화되고 어떤 작업을 직접 수행해야 하는지 이해할 수 있다. 또한, 인공지능과 상호작용하는 시점에는 사용자의 혼란을 방지하고 서비스에 대한 기대치를 조정할 수 있다.
특히, 대표적인 의인화 서비스인 대화형 인공지능(예: 챗봇)의 경우, 대화 상대가 사람이 아닌 인공지능이라는 사실을 사용자에게 알려야 한다. 더불어, 상호작용 대상이 인공지능에서 사람(예: 상담사)로 전환되는 시점에도 이러한 전환 사실을 명확하게 사용자에게 설명해야 한다.
15-2b 서비스 내의 최종 의사결정을 수행하는 주체에 대해 사용자에게 설명하는가?
사용자에게 인공지능이 최종 의사결정을 내렸는지 또는 특정 결과에 기여했는지 등의 정보를 설명해야 한다. 예를 들어, 인공지능이 최종 의사결정을 내린 경우 사용자에게 해당 결정이 인공지능의 결과임을 명시적으로 사용자에게 전달해야 한다. 또한, 인공지능이 조언을 제시하고 최종 의사결정을 운영자가 내린 경우나, 사용자에게 최종 의사결정을 위임한 경우에도 관련 설명을 제공해야 한다.
미국 백악관에서 발표한 인공지능 권리장전을 위한 청사진(Blueprint for an AI Bill of Rights)에서는 자동화 시스템이 채용이나 신용평가 등의 분야에서 사용될 경우 사람들의 삶에 깊은 영향을 미치기 때문에, 잠재적인 피해로부터 보호하기 위해 사용자에게 자동화 시스템의 활용 여부를 명시해야 함을 언급하고 있다.
Last updated
