14 인공지능 시스템의 설명에 대한 사용자의 이해도 제고

• 생성 AI 모델은 사용자가 이해하기 복잡하고 해석하기 어려울 수 있다. 그러므로 시스템 운영자는 사용자에게 모델 출력에 대한 명확한 설명을 제공함으로써 모델의 해석가능성을 개선하고 사용자가 모델이 어떻게 출력을 생성하는지를 이해할 수 있도록 해야 한다. 개인의 삶에 영향을 미치는 콘텐츠를 생성하는 데 사용되는 생성 AI 모델의 경우, 개발된 모델의 산출물에 대한 이해가능성･해석가능성이 매우 중요하므로 이 요건을 충족하는지를 확인한다.

• 생성 AI 모델에 대한 명확하고 간결한 설명을 제공하면 사용자의 신뢰가 쌓이고 투명성이 향상된다. 예측의 논리를 이해하는 것은 모델의 성공률만큼 중요하다. 유럽연합 집행위원회는 사용자 투명성을 위한 설명의 중요성을 강조한다. 사용자가 모델을 잘 이해하면 모델을 효과적으로 사용하여 이익을 극대화하고, 자신의 재산과 자산을 안전하게 보호할 수 있다. 모델 설정 및 구성에 대한 정보를 바탕으로 결정을 내릴 경우에 성능과 효과가 향상된다.

---

14-1 인공지능 시스템 사용자의 특성(user characteristics)과 제약 사항을 분석하였는가?

• 생성 AI 모델 구현 시 사용자 특성과 한계를 분석해야 한다. 이러한 분석은 모델 접근성, 포용성 및 효율성을 높여서 AI 모델의 신뢰성을 지원한다. 생성 AI 모델의 결과에 대한 적합성을 평가하려면 결과를 이해할 수 있는 사용자를 포함해야 한다. 결과의 범위, 복잡성, 맥락이 사용자 특성에 따라 달라지므로 심층적인 사용자 분석을 수행해야 한다.

• 시스템 개발자는 사용자 특성의 세부적인 측면을 고려함으로써 좀 더 효과적이고 접근이 가능하며 사용자 친화적인 생성 AI 모델을 설계해야 한다. 이는 모델의 사용률 증가로 이어져 궁극적으로 사용자의 안전과 보안을 강화한다. 상세하게 분석된 사용자 특성 정보를 활용하면 사용자의 생성 AI 모델이 특정 요구와 선호도에 맞춰 높은 수준의 사용성을 제공하도록 설계할 수 있다.

14-1a 사용자 특성에 따른 세부 고려 사항을 분석하였는가?

• 사용자에게 적절한 시스템의 설명을 제공하도록 섬세하게 분석할 필요가 있다. 이를 위해 시스템의 이해 가능성과 해석가능성을 고려하여 각 사용자의 특성을 평가하는 것이 필요하다.

---

14-2 사용자 특성에 따른 설명을 제공하는가?

• 생성 AI 모델은 다양한 사용자가 사용할 가능성이 높기 때문에, 오해의 소지가 있는 문제가 발생할 수밖에 없다. 생성 AI 모델의 사용자 특성을 분석함으로써 AI 모델 개발자는 사용자의 요구에 맞는 모델을 설계하고 개발할 수 있다.

• 또한 최종 사용자가 기대한 결과와 반대의 결과를 얻는 경우를 고려하여 명확한 설명을 통해 이해할 수 있는 표현을 사용하도록 한다. 가장 중요한 정보를 사용자의 주요 시야 범위 내에 배치하거나 적절한 타이밍에 표시하여 사용자가 명확하게 반응할 수 있도록 해야 한다. 이러한 설명을 바탕으로 사용자 경험이 AI 시스템의 신뢰성에 미치는 영향을 평가할 수 있다. 사용자 인터페이스를 설계할 때 야콥 닐슨의 사용성 휴리스틱의 원칙을 참고한다[307].

14-2a 사용자 특성에 따른 설명 평가의 기준을 수립하였는가?

• 생성 AI 모델이 효과적이고 사용자 친화적이 되도록 사용자 특성에 따라 설명을 평가하기 위한 특성과 세부 사항을 확립하는 것이 필요하다. 다음과 같은 몇 가지 평가 기준을 확립함으로써 시스템은 맞춤화되고 명확하고 정확하고 투명하고 긍정적인 사용자 경험을 제공할 수 있다.

• 사용자의 요구에 맞게 설명을 제공함으로써 시스템은 사용자가 기술을 효과적으로 탐색하고 사용할 수 있도록 한다. 각 항목에서 고려해야 할 내용은 데이터 유형이나 양상(modality)에 따라 다를 수 있으므로 상세한 항목으로 고려해야 한다.

• 사용자 특성에 따른 설명 평가 항목 예시

카테고리	평가 항목
명확성	생성 AI 모델의 명확한 설명은 사용자가 개발된 모델의 능력과 한계를 이해하는 데 필수적이다. 평가 기준을 설정함으로써 기술에 익숙하지 않은 사용자도 이해하기 쉽게 설명이 제작될 수 있다. 사용자에게 다른 오해를 불러일으킬 만한 표현이나 단어나 어휘가 있는가? 불필요한 설명이 있는가? 생성된 내용이 사용자의 연령 그룹에 적합한가? 설명에 사용자가 기대하고 얻고자 하는 모든 정보가 포함되어 있는가? 설명을 통해 생성된 출력의 이유를 이해하거나 받아들이기가 쉬운가? 출력에 중요한 요소로 작용할 수 있는 차별적인 특징에 대해, 보호 특성 대신 속성의 상호작용을 초래할 수 있는 숨겨진 대리자(proxy)의 존재를 고려하였는가[308]?
구체성	사용자 특성을 기반으로 설명을 평가하기 위한 기준을 설정함으로써, 모델을 각 사용자의 특정 요구에 맞게 정의하거나 파인튜닝할 수 있다. 사용자가 구체적인 행동을 취할 수 있도록 주어, 목적어, 동사를 사용하여 설명하였는가? 그래프, 막대 등의 도구를 사용하여 시스템 출력의 구체성을 지원하였는가? (필요시 이 항목은 개발 프로젝트, 서비스 등에 따라 다름)
적절성	평가 기준의 설정은 개발된 생성 AI 모델에서의 투명성을 높일 수 있다. 사용자 특성과 일치하는 명확하고 자세한 설명을 제공함으로써 시스템은 사용자와의 신뢰를 구축하고 기술이 어떻게 작동하는지를 이해할 수 있도록 돕는다. 사용자가 설명을 이해하는 데 특정 수준의 지식이 필요한가? 사용자는 기술적 능력, 특정 그래픽 해석, 인공지능, 컴퓨터 엔지니어링 등의 경험이 필요한가? 사용자는 생성된 내용을 다루기에 충분한 언어 능력과 언어적 능력을 갖추고 있는가? 설명이 사용자에게 유용한가? 독자를 고려하여 전문용어와 약어의 설명을 제공하는가? 설명의 시기가 적절한가?
정확성	설명의 정확성은 사용자가 생성 AI 모델의 사용에 관한 정보를 얻어 결정을 내리는 데 중요하다. 평가 기준을 설정함으로써 모델은 설명이 정확하고 관련 있으며 최신 상태임을 보장할 수 있다. 설명이 자료에 삽입된 모든 그림과 일치하는가? 미리 제공된 예상 결과의 설명이 있는가? 설명이 내부 알고리즘과 일치하는가?

14-2b 사용자가 이해하기 어려운 전문용어의 사용을 지양하였는가?

• 올바른 용어의 사용을 통해 사용자는 시스템의 능력과 한계를 더 잘 이해할 수 있다. 또한 올바른 용어를 사용함으로써 모델이 관련 규정과 표준을 준수하는지도 확인할 수 있다.

  • 예를 들어, 이미지 생성 AI 모델을 개발하는 경우, 올바른 용어를 사용하여 모델이 데이터 ｢개인정보 보호법｣을 준수하고 실제 사용자의 이미지나 얼굴 등을 사용하지 않는지를 이해할 수 있다.

• 또한 최종 사용자를 위한 콘텐츠를 생성하는 동안 다양한 사용자를 고려하여 가능한 한 전문용어를 피하고 필요시 용어에 대한 추가 설명을 제공한다. 또한 사용자의 연령 차이를 고려하고 적합한 콘텐츠를 제공해야 한다.

• 반대로 주 사용자가 도메인 전문가인 경우에는 이해 시간을 단축하기 위해 전문가가 충분히 이해할 수 있는 수준의 전문용어의 사용을 권장한다.

14-2c 사용자의 구체적인 행동과 이해를 이끌어낼 수 있도록 명확한 표현을 사용하였는가?

• 생성 인공지능 시스템을 효과적으로 활용할 수 있기 위해서는 사용자의 구체적인 행동과 이해를 유도하는 명확한 언어를 제공하는 것이 중요하다. 평문 사용, 설명적인 라벨과 프롬프트 사용, 출력 기대치 맥락화, 피드백과 오류 메시지 제공 및 사용자 친화적인 접근 방식을 사용하며, 표현을 테스트하고 개선함으로써 시스템은 사용자가 시스템을 효과적으로 사용하는 방법을 이해할 수 있도록 보장할 수 있다.

• 다음은 사용자가 시스템 출력을 한눈에 이해할 수 있는 시각적 예시 인터페이스이다. 텍스트, 그래픽, 음성 등의 설명에서는 가능한 한 지시 대명사를 사용하지 않고 명확하게 객체를 명시하여 표현한다. ● 또한 일련의 단어가 발음이 유사하여 명확하게 이해하기 어려울 경우에는 다른 단어나 용어로 대체하여 명확하게 표현한다.

참고: 생성 AI 모델의 사용자를 위한 시각화 방법 예시

<출처: Taulli T., “Large Language Models: How Generative AI Understands Language”, In: Generative AI, 2023[309].>

14-2d 설명이 필요한 위치와 타이밍은 적절한가?

• 사용자의 여정의 다양한 단계에서 생성 인공지능 시스템에 대한 충분한 설명을 명확하게 제공함으로써 사용자가 시스템을 효과적으로 사용하고 다양한 상황에서 적절하게 대응할 수 있도록 도와줄 수 있다. 명확한 지침, 그림, 사용자 매뉴얼, 비디오 튜토리얼 및 적시 지원을 제공함으로써 시스템은 사용자가 을 어떻게 사용해야 하는지를 잘 이해할 수 있다. 이를 위해서는 설명이 일회성인지 여러 번 강조되어야 하는지, 사용자가 잘 읽을 수 있는 위치에 배치되어야 하는지 등을 고려하는 것이 필요하다.

• 또한 필요시 그래픽 및 시각적 안내 사항의 밀집도(density)를 조정하는 것도 필요하다. 불필요한 그래픽이나 시각적 표현은 혼란과 결과의 오해를 낳을 수 있다. 간단하고 기본적인 시각화는 사용자가 시스템 실행 또는 사용 과정을 이해하는 데 도움이 될 수 있다.

14-2e 사용자 경험을 평가할 수 있는 사용자 조사 기법을 다양하게 활용하였는가?

• 사용자 경험은 특정 제품, 생성 AI 시스템을 사용하는 동안 개인이 느끼는 것과 관련이 있으며, 사용자가 인지하는 사용성, 사용 편의성 및 효율성과 같은 시스템 특성을 포함한다. 이는 사용자 연구 기법을 사용하여 사용자 경험을 평가할 수 있다.

사용자 조사	세부 구분	설명
양적 사용자 조사	분석	사용자의 사용 기록, 사용자가 생성 인공지능 시스템과 어떻게 상호작용을 하는지에 대한 양적 데이터를 수집하는 데 사용할 수 있음 사용자가 시스템을 어떻게 사용하는지, 어떤 기능이 가장 인기가 있는지, 시스템의 어떤 부분에 개선이 필요한지에 대한 통찰력을 제공함
	A/B 테스팅	생성 인공지능 시스템의 다양한 버전의 성능을 비교하는 데 사용할 수 있음 사용자를 모델의 다른 버전에 무작위로 할당함으로써 연구자는 사용자 경험에 대한 다양한 디자인 선택의 영향을 측정할 수 있음
	설문	설문조사는 개발된 생성 AI 모델과의 사용자 경험에 대한 양적 데이터를 수집하는 데 사용할 수 있음 온라인이나 대면으로 진행될 수 있으며 사용자의 개발된 시스템에 대한 인식과 관련된 중요한 통찰력을 제공할 수 있음. 또한 설문을 통해 사용자 만족도, 사용 편의성 등의 지표를 측정할 수 있음
질적 사용자 조사	사용자 인터뷰	사용자 인터뷰를 통해 사용자의 필요와 기대를 이해할 수 있음 개방형 질문을 통해 연구자는 사용자가 생성 인공지능 시스템과 어떻게 상호작용을 하고, 그들로부터 어떤 것을 기대하는지에 대한 통찰력을 얻을 수 있음
	사용성 테스팅	생성 AI 모델을 사용하여 특정 작업을 완료하도록 사용자에게 사용성 테스팅 세션을 수행하는 방식 등으로 조사함 사용자의 상호작용을 관찰하고 기록하며, 사용성 문제, 사용자 오류, 혼란의 영역에 주의를 기울이고, 테스팅 과정 중 사용자의 생각과 통찰력을 포착하기 위해 생각-말하기 프로토콜 등의 기법을 사용할 수 있음
	알파-베타 테스팅	개발한 생성 인공지능 시스템의 정확성을 평가하는 데 사용할 수 있음 사용자는 특정 작업･프롬프트･질의를 수행하도록 요청되며, 그들의 모델과의 상호작용은 관찰되고 기록되며 평가됨 이러한 테스트는 시스템에 대한 인사이트를 제공할 수 있지만 일반 사용자에게는 사용하기 어렵거나 혼란스러울 수 있음
	포커스 그룹	포커스 그룹은 사용자 그룹으로부터 피드백을 수집하는 데 사용할 수 있음 사용자들이 서로의 경험과 의견을 공유할 수 있게 하여 사용자들의 상호작용에 대한 유용한 통찰력을 제공할 수 있음

개선 의견 보내기