14 인공지능 시스템의 설명에 대한 사용자의 이해도 제고
Last updated
Last updated
모델의 추론 결과에 대해 설명을 제공하는 기법을 적용하여도 사용자가 바로 이해해 해석하기 어려운 경우가 많다. 따라서 인공지능 시스템의 운영자 혹은 서비스 제공자는 사용자에게 제공되는 결과가 이해 가능한지(understandability), 해석 가능한지(interpretability), 설명 가능한지(explainability)를 평가한다.
인공지능 시스템의 결과가 적절한지 평가하기 위해서는 먼저 해당 결과를 읽는 사용자를 고려해야 한다. 사용자가 누군지에 따라 결과(설명)의 수준, 깊이 그리고 맥락이 정해지는 만큼 사용자에 대한 자세한 분석이 수행되어야 한다.
서비스 기획 단계에서 사용자의 선호도와 요구 사항(needs)에 집중했다면, 설명을 평가하기 위해서는 각 사용자의 다양한 특성을 고려해야 한다. 예를 들어 서비스 사용자 중 어린이가 이해 가능한 그래프와 단어 및 어휘의 제한이 있음을 고려해야 한다.
사용자 특성 분석을 위해 고려해야 할 요소의 예시는 다음과 같다.
사용자 특성 분석을 위한 고려사항 예시
연령
아동, 성인, 노인 등
아동 또는 노인의 경우, 성인과 비교해 이해할 수 있는 어휘, 단어에 한계가 있어 사용자 연령을 고려해야 함
장애 유무
장애인, 비장애인
신체적 제약으로 발생할 수 있는 한계를 고려해야 함. 그 예로는 신체 크기, 신체 능력, 인지능력이 있음
지식
초보자, 전문가 등
관련 서비스의 경험 여부와 사전 배경지식의 차이로 지식수준이 다름을 고려해야 함
서비스를 이용하는 사용자는 다양하여 인공지능 시스템의 결과가 서로 다른 입장에서 설명이 해석되고 오해가 생길 수 있다. 따라서 14-1에서 분석된 사용자 특성을 고려하여 설명을 평가할 수 있는 기준 항목을 수집한다. 설명 평가의 기준으로는 명확성, 구체성, 정확성 등을 고려할 수 있다.
다양한 사용자가 서비스를 이용하는 만큼 설명을 포괄적으로 평가할 수 있는 특성과 세부 항목을 정하는 단계가 필요하다. 설명의 평가 기준은 명확성, 구체성, 적절성, 정확성 등이 될 수 있다. 이때, 설명의 기대치는 사용자 특성(예: 나이, 직업)에 따라 달라지며, 데이터 유형(data type)이나 모달리티(modality)에 따라서도 각 항목에서 고려되어야 할 내용들이 달라질 수 있다. 다음은 설명 평가를 위한 예시이다.
설명의 평가기준별 평가 항목 예시
명확성
• 사용자에게 다른 오해를 불러일으킬 만한 표현･단어･어휘는 없는가?
• 불필요한 설명이 있진 않은가?
• 해당 설명을 통해 사용자가 기대하고 얻고자 하는 정보가 모두 들어있는가?
구체성
• 사용자의 구체적 행동을 끌어낼 수 있도록 명확한 주어･목적어･동사를 활용해 설명되는가?
적절성
• 주어진 설명이 사용자의 특정 지식수준을 요구하지는 않는가?
• 배경지식 혹은 사전 경험이 필요하진 않은가?
• 설명이 사용자에게 유용한가?
• 독자를 고려한 전문 용어, 약어에 대한 설명을 제공하는가?
• 설명이 제공되는 시점이 적절하였는가?
정확성
• 설명과 함께 제공되는 자료의 그림과 설명이 모두 일치하는가?
• 사전에 제공된 예상 결과의 설명과 실제 결과가 모두 일치하는가?
• 내부 알고리즘과 정확히 일치하는 설명인가?
텍스트를 통해 설명하는 경우, 다양한 독자를 배려해 전문 용어를 최대한 지양하고 필요한 경우, 용어에 대한 설명을 추가로 작성해 주는 것이 바람직하다. 그 예로 자연어 처리 기술 중, 문장 내 특정 단어를 사용자 수준에 맞춘 적절한 단어로 변환해주는 기술을 인터페이스에 적용할 수 있다.
좋은 설명은 사용자로부터 구체적인 행동과 이해를 이끌어낼 수 있어야 한다. 따라서 설명을 간결하고 명확하게 함으로써 모호한 해석이 되지 않도록 작성하는 것이 중요하다.
시각적으로는 성공･실패･경고･위험 등 결과에 따른 색상을 일관성 있게 유지해 줌으로써 사용자가 한눈에 시스템 결과를 이해할 수 있게 할 수 있다. 그리고 텍스트나 음성으로 제공되는 설명에서는 지시대명사를 사용하지 않고 대상을 명확하게 말해주는 것을 예로 들 수 있다. 또한, 비슷한 발음이 연이어지는 경우, 다른 단어로 대체하는 것이 바람직하다.
잘 작성된 설명이 적절한 위치 및 타이밍에 나타나 이해를 돕는 것도 중요하다. 이를 위해 설명이 단발성이어야 하는지, 여러 번 반복하여 강조시켜야 할지 숙고하고, 어느 위치에 놓여야 사용자가 잘 읽을 수 있는지 고려하는 것이 필요하다.
이와 더불어 작성된 설명의 위치와 타이밍이 적절한지를 조사하기 위해서는 14-2e의 웹로그 분석, A/B 테스트 등 사용자 조사 기법을 활용할 수 있다.
사용자 경험(UX, User eXperience)은 한 개인이 특정한 제품, 시스템, 또는 서비스를 사용하며 느끼는 모든 것을 의미한다. 또한, 그 개인이 인지하는 유용성, 사용 편의성, 효율성 등의 시스템 특성을 포함한다. 설명을 평가하기 위해 사용자 조사(user research) 기법을 활용할 수 있다.
사용자 조사 기법은 크게 접근 방식과 자료 획득 방식으로 구분할 수 있다. 우선, 사용자 조사 기법의 접근 방식에 따라 정량적(간접적) 조사와 정성적(직접적) 조사로 구분되며, 사용자 조사를 위해 자료를 얻는 방식에 따라 사용자 행동을 통한 조사와 태도를 통한 조사로 구분한다. 접근 및 자료 획득 방식을 고려해 적합한 사용자 조사 기법을 선정하고, 사용자 경험을 평가하는 것이 바람직하다.
접근 방식에 따른 구분 및 방법
정량적(간접적) 조사(quantitative user research): 사용자의 행동이나 태도에 대한 데이터를 도구 등을 통해 간접적으로 수집하는 방법 (예: 웹로그 분석, A/B 테스트A/B testing, 설문 조사, 고객 지원 자료 분석)
정성적(직접적) 조사(qualitative user research): 사용자의 행동이나 태도를 직접 관찰하는 방법 (예: 인터뷰, 표적 집단 인터뷰(focus group interview), 프로토타입 테스팅(prototype testing))
자료 획득 방식에 따른 구분 및 방법
사용자 행동 기반 조사(behavioral user research): 사용자가 무슨 행동을 하는지를 조사하는 방법 (예: 웹로그 분석, A/B 테스트, 아이 트래킹eye tracking)
사용자 태도 기반 조사(attitudinal user research): 사용자가 무엇을 말하는지를 조사하는 방법 (예: 카드 소팅card sorting, 심층 인터뷰, 요구사항 조사)