11 인공지능 모델 명세 및 추론 결과에 대한 설명 제공
콘텐츠를 판단하거나 인식하는 데 사용되는 생성 AI 모델은 모델의 기본 정보와 추론 결과의 인과적 연관성을 드러내는 설명을 제공해야 한다. 이러한 설명을 통해 사용자는 모델이 어떻게 작동하는지 이해할 수 있다. 설명 가능한 AI(Explainable AI, XAI)를 사용하면 콘텐츠 생성 프로세스, 학습 데이터, 토큰 및 플래그･가중치와 같은 신경망 구성요소를 명확히 설명하여 정보를 제공할 수 있다. 이러한 기술이 적합하지 않은 경우, 사용자 지정 문서를 작성하는 방법을 활용할 수 있다. 이 외에도 특정 설계 전략과 솔루션을 통해 사용자가 모델을 잘 이해할 수 있도록 돕는다.
참고: 설명가능성 확보에 영향을 미치는 생성 AI 모델 설계 및 사양
생성 AI 모델을 세심하게 설계하고 지정함으로써 조직은 이러한 모델을 활용하여 좀 더 이해하기 쉽고 관련성이 높은 고품질의 결과물을 생성할 수 있다. 다음은 생성 AI 모델과 관련된 몇 가지 주요 사양과 개념이다.
모델 아키텍처: 모델의 아키텍처는 생성 AI 모델을 설계할 때 중요하다. 스테이블 디퓨전(Stable Diffusion) 및 트랜스포머(Transformers)와 같은 다양한 아키텍처가 다양한 유형의 데이터와 작업에 적합하다[245].
학습 데이터: 생성 AI 모델은 정확하고 관련성 높은 결과물을 생성하기 위해 대량의 고품질 학습 데이터가 필요하다. 데이터가 깨끗하고 편향되지 않으며 관련성이 있는지를 확인하는 것이 중요하다.
평가 지표: 생성 AI 모델의 성능을 평가하는 것은 어려울 수 있으며, 난해성, FVD, CLIP, BLEU 점수 또는 사람의 평가와 같은 적절한 평가 지표를 사용한다.
개인정보보호 및 보안 고려 사항: 생성 AI 모델은 사용자의 이름, 비밀번호, 생일 또는 생체 정보 등과 같은 보호된 변수를 처리하는 경향이 있으므로 적절한 개인정보보호 및 보안 조치가 마련되어 있는지 확인해야 한다.
윤리적 고려 사항: 생성 AI 모델은 오해의 소지가 있거나 유해하거나 불쾌감을 주는 텍스트 또는 이미지를 생성할 수 있다. 따라서 모델이 윤리적이며 해를 끼치지 않는지를 확인하는 것이 중요하다.
해석가능성: 생성 AI 모델이 해석하기 어려운 경우, 사용자는 결과물을 생성하는 방식을 이해하거나 오류 또는 편견을 식별하기 어렵다.
11-1 인공지능 모델의 명세를 투명하게 제공하는가?
생성 AI 모델의 추론 결과에 대한 사용자의 신뢰를 확보하기 위한 방법에는 학습 데이터의 품질과 다양성에 대한 문서화, 모델 아키텍처 및 하이퍼파라미터 선택에 대한 정당성, 평가에 사용된 성능 지표, 테스트 및 검증 결과, 실제 배포에 대한 피드백, 적절한 보안 조치의 구현 등이 있다. 이러한 근거를 수집하고 제시하면 모델의 신뢰성을 높이고, 실제 시나리오에서 모델의 효과를 입증하여, 생성 AI 모델의 추론 결과에 대한 사용자의 신뢰를 향상한다. 또한 이러한 근거를 통해 추론 결과의 정확성, 신뢰성 및 보안을 지원하고, 개발된 생성 AI 모델의 효과에 대한 확신을 얻을 수 있다.
개발된 생성 AI 모델에 대한 근거와 사용자의 신뢰도를 높이기 위해서는 추론 결과에 대한 설명이나 검증도 필요하다. 따라서 사람이 이해할 수 있는 방식으로 모델을 판단하는 근거를 제시하는 XAI 기술의 적용을 고려해야 한다.
또한 생성 AI 모델의 추론 결과에 대한 근거를 항상 설명할 수 있는 것은 아니므로 XAI 기술 적용 외의 대안을 고려하고 생성 AI 모델에 대한 투명성을 확보하도록 한다.
11-1a 시스템 개발 과정과 모델 작동 방식에 대한 세부 정보가 설명된 문서를 작성하였는가?
인공지능 시스템의 투명성을 높이고 시스템 사용자가 인공지능 기반 프로그램 구성 요소를 파악할 수 있는 정보를 제공하는 것은 시스템 신뢰성을 높이는 데 중요한 요소이다. 이를 위해 인공지능 모델 개발 과정에서 모델의 명세를 작성한 모델 상세 문서를 확보할 경우, 사용자에게 인공지능 시스템의 구성 요소를 파악할 수 있는 정보를 제공할 수 있다.
모델 상세 문서 작성 시에는 인공지능 생명주기와 관련된 이해관계자들을 고려하여 각자 필요한 정보를 선택하여 확인할 수 있도록 관련 정보를 포함하여야 한다. 다음은 이해관계자에 따른 모델 상세 문서 내 필요 정보 예시이다.
이해관계자에 따른 모델 상세 문서 예시
| 이해관계자 | 모델 상세 정보 |
|---|---|
비즈니스 결정권자 | 전체 인공지능 시스템의 목적, 방향성, 시스템 내 서비스 명칭 및 서비스별 의도된 목적 등 |
데이터 과학자 및 시스템 개발자 | 학습에 사용된 데이터셋 명세 및 전처리 기법, 학습 모델 구성, 입출력 명세, 모델 학습 파라미터 등 |
모델 검증자 | 테스트 데이터셋 구성 정보 및 주요 테스트 성능, 편향, 신뢰도 등의 평가 결과 |
모델 운영자 | 모델 운영 및 모니터링 결과 측면의 성능 평가 지표, 성능 저하 환경 요인, 최적 결과 도출 환경 등 |
https://ai.hel.fi/en/ai-register/
네덜란드 암스테르담과 핀란드 헬싱키가 유럽에서 처음으로 AI 기반 공공서비스 작동과정을 설명하는 웹사이트인 ‘AI 레지스터’를 만들었다. AI 레지스터는 AI와 빅데이터 기반 공공서비스를 이용하는 시민들이 AI에 관한 이해도를 돕기 위해 제작된 ‘공공 AI 상세 설명서’이다. 이는 편향과 개인 정보 침해 등을 향한 대중의 우려를 잠식시키려는 노력의 일환이다. 해당 웹사이트는 데이터셋과 데이터 처리 및 모델 아키텍처에 관한 설명을 제공함으로써 인공지능 시스템의 투명성을 확보하려고 노력하고 있다.
11-2 사용자가 모델 추론 결과의 도출 과정을 수용할 수 있도록 근거를 제공하는가?
인공지능 모델의 추론 결과 및 인공지능 시스템의 동작을 사용자가 신뢰하기 위해서는 시스템 사용자가 인공지능 모델이 제공하는 추론 결과의 도출 과정을 이해할 수 있어야 하며, 이에 대한 설명 및 근거를 사용자에게 제시하는 것이 바람직하다.
인공지능 모델의 투명성이 높거나, 모델 자체적으로 설명을 제공하는 경우 이를 응용할 수 있다. 반면, 모델의 복잡성이 높고 내재적 설명 방안이 없는 경우 별도의 설명가능한 인공지능(XAI, eXplainable AI )기술 적용을 고려해야 한다. 다양한 기술 중 데이터·모델의 특성에 맞게 선택해야 하므로, 선행된 연구들을 검토한 후 적용 가능한 방안을 선택하고 적용하는 작업이 모델 개발 과정에 포함될 필요가 있다.
참고: 모델 추론 결과의 도출 과정 설명 - SHAP를 사용한 근거 시각화
이 그림은 SHAP 알고리즘을 이용하여, 인공지능 모델에 입력된 미어캣의 이미지를 미어캣 또는 몽구스로 판정할 때 이미지 내의 어떤 픽셀이 어떤 방향으로, 얼마만큼 영향을 주는지를 산출, 시각화한 것이다.
정상 분류(미어캣): 미어캣의 안면부와 주요 형상을 이루는 픽셀 영역에서 양의 방향(적색)으로 결과에 영향을 주고 있음을 확인
오분류(몽구스): 같은 영역에서 음의 방향(청색) 영향이 발생하거나 아무런 영향이 없는(백색) 경우가 다수임을 확인
이러한 분석은 블랙박스인 인공지능 모델이 실제로 어떻게 작동하고 있는지를 사용자가 이해하기 쉬운 형태로 제시한다.
11-2a 인공지능 모델에 적합한 XAI(eXplainable AI) 기술을 적용하였는가?
텍스트 또는 시각화 등 다양한 접근 방식을 사용하는 XAI 기술을 도입하면 개발된 생성 AI 모델의 투명성을 확보할 수 있다. XAI를 효과적으로 활용하기 위해서는 생성 AI 모델의 특성에 따라 이미지, 동영상, 바이오 정보, 텍스트 등 사용되는 특정 데이터 유형에 맞는 기술을 탐색하는 것이 필수적이다. 이를 통해 모델의 예측 프로세스와 추론 결과를 도출하는 방식을 포괄적으로 이해하여 모델의 행동에 대한 신뢰와 해석가능성을 높일 수 있다.
생성 AI 모델의 추론 결과를 설명하는 데 사용되는 구체적인 기법은 조직과 사용 중인 생성 AI 모델, 평가 대상 업무에 따라 다를 수 있다는 점에 유의해야 한다. 따라서 최신 기술을 확인할 것을 강력히 권장한다.
XAI 기술은 콘텐츠 제작 프로세스에 대한 설명을 이해하기 쉽게 제공함으로써 생성 AI 모델의 투명성, 신뢰성 및 책임성을 개선하는 데 도움이 될 수 있다. 그러나 XAI 기법은 모든 경우에 적용할 수 있는 것이 아니며, 생성 AI 모델의 특정 상황과 요구사항을 신중하게 고려하여 적용하고 평가해야 함을 유의해야 한다.
11-2b XAI 기술 적용이 불가능한 경우, 기술 외 대안을 마련하였는가?
인공지능 모델의 추론 결과와 그 결정의 근거를 항상 설명할 수 있는 것은 아니다. 또한 개인의 프라이버시 및 안전 문제도 검증해야 하므로 XAI 기술을 적용하더라도 추론 결과에 대한 설명이 불충분할 수 있다[258]. 특히 투명성은 생성 AI 모델 실무의 추론 결과에 대한 신뢰를 확보하기 위한 방법에서 필수적이다.
AI 투명성은 AI의 배포 또는 사용에 대한 가시성만으로 제한될 수 있다. 하지만 XAI는 생성 AI 기반 시스템의 절차와 결과물을 쉽게 이해할 수 있도록 이해하기 쉬운 설명과 도출 결과를 제공하는 것을 목표로 한다. 그러나 개발된 모델이 어떻게 결정을 내리고 민감한 특성 등을 평가하는지에 대해 일반적으로는 쉽게 이해하기 어려운 설명을 사용자에게 제공할 수 있다[259]. 따라서 생성 AI 모델의 경우, 다음과 같이 모델의 해석가능성 및 설명가능성을 높이는 대안적 방법이 있다.
시나리오 기반 설계: 시나리오 기반 설계는 생성 AI 모델에 대한 사용자의 설명가능성 요구를 탐색하는 데 사용할 수 있다. 이 접근 방식에는 실제 상황을 시뮬레이션하는 시나리오를 생성하고 이러한 시나리오를 사용하여 사용자가 모델 결과를 이해하는 데 필요한 정보를 식별하는 것이 포함된다.
문서화: 문서는 생성 AI 모델의 기능, 한계 및 출처에 대한 투명한 정보를 제공하는 데 사용할 수 있다. 이를 통해 사용자는 모델의 작동 방식과 결과물을 생성하는 방법을 이해할 수 있다.
개발한 생성 AI 모델에 대한 예산이 충분하다면 복잡한 상황을 처리할 수 있는 전문가 시스템을 확보하는 것도 고려할 수 있지만, 도메인 전문가의 상당한 입력이 필요하고 개발 비용이 많이 들 수 있다.
일반적으로 생성 AI 모델에 대한 XAI 기술의 대안 선택은 콘텐츠 제작 프로세스의 복잡성, 사용 가능한 데이터의 양과 품질, 개발 및 구현에 사용할 수 있는 비용과 리소스 등 개발 시스템의 특정 요구사항에 따라 달라진다.
11-3 모델 추론 결과에 대해 사용자의 판단을 도울 수 있는 설명을 제공하는가?
생성 AI 모델의 추론 결과에 대한 설명을 제공하면 사용자는 모델이 어떻게 작동하고 어떻게 출력을 생성하는지를 이해할 수 있으며, 이를 통해 모델의 해석가능성을 개선하고 투명성과 책임성을 높일 수 있다.
그러나 해당 모델의 최종 결과뿐만 아니라 편향적으로 보일 수 있는 결과의 확률값, 불확실성, 신뢰도 등을 함께 제공할 경우, 이러한 정보의 공유가 사용자의 의사결정에 도움이 되지만 혼란도 야기할 수 있다는 점을 함께 고려해야 한다.
따라서 사용자에게 생성 AI 모델의 추론 결과를 제공할 경우, 이 평가 항목에서 제시하는 텍스트 설명, 시나리오 기반 설계, 시각화, 대화형 설명, 생성 AI 모델에 대한 사용자 피드백 등의 기법을 고려하여 설명 정보를 제공하도록 한다.
11-3a 모델 추론 결과에 대한 설명이 필요한지 검토하였는가?
생성 AI 모델의 추론 결과를 설명하는 것은 투명성, 책임성, 규정 준수, 사용자 신뢰, 개발된 모델의 지속적인 개선을 보장하는 데 중요한 역할을 한다.
상황을 더 잘 이해하기 위해 모델의 추론 결과에 대한 설명을 제공하지 않는 것이 더 바람직할 수 있는 다음의 두 가지 시나리오를 고려해야 한다.
첫째, 설명을 제공하는 것이 사용자의 이해에 미치는 영향이 미미하다고 판단되는 경우이다. 일반적으로는 자세한 설명을 제공하는 것이 사용자의 이해에 도움이 되는 것처럼 보일 수 있지만, 경우에 따라서 특히 모델이 잘못된 정보를 생성하는 경우에는 실제로 혼란을 초래할 수 있다. 이러한 잘못된 정보는 사용자가 잘못된 정보를 바탕으로 잘못된 결정을 내리도록 영향을 줄 수 있다. 그리고 더 나아가 생성 AI 모델(특히 안정적 확산 모델)이 실제 개별 데이터를 유출하는 경우도 있는데, 한 연구원에 따르면 이러한 모델은 개별 이미지를 GAN 모델보다 2배 더 많이 암기한다[268].
둘째, 생성 확률이 지나치게 높거나 매우 낮을 때는 모델의 추론 결과에 대한 자세한 설명 공유를 보류하는 것을 권장한다. 모델 결과의 생성 확률이 100%라고 공개하면 사용자가 결과를 맹목적으로 신뢰할 수 있고, 반대로 매우 낮은 확률로 공개하면 결과를 완전히 무시할 수 있다. 이러한 상황에서는 투명성과 잠재적 결과의 균형을 맞추는 것이 중요하다.
참고: 연구 사례 - 코드 생성을 위해 파인튜닝된 생성 AI 모델의 설명가능성[269]
이 논문에서는 시나리오 기반 설계를 사용하여 코드에 대한 생성 AI 모델의 설명가능성을 조사했다. 저자들은 사용자가 전반적인 로직, 기능, 한계, 출처 등 AI 모델에 대한 광범위한 설명 정보에 관심이 있다는 사실을 발견했다. 또한 설명력 요구를 해결하는 XAI 솔루션이 알고리즘 설명이나 모델 내부를 보여주는 것에 국한되어서는 안 된다는 사실을 발견했다. 이때는 사용자 요구에 따라 모델의 기능, 한계(예: 불확실성) 또는 출처에 대한 투명한 정보를 제공하는 것이 더 중요할 수 있다. 또한 사용자는 모델의 동작에 대한 이해의 공백을 메우기 위해 알고리즘 설명 외에 추가 정보를 필요로 할 수 있다.
생성 AI의 모델 추론 결과에 대한 설명이 필요한 이유는 여러 가지가 있다. 첫째, 모델에 대한 신뢰를 구축하고 모델이 윤리적이고 공정한 결정을 내릴 수 있도록 보장한다. 둘째, 모델의 의사결정 과정에 대한 인사이트를 제공하여 모델이 편향되어 있거나 의사결정 과정을 설명하기 어려운 영역을 식별하는 데 도움이 될 수 있다. 셋째, 모델이 부정확하거나 차선책으로 의사결정을 내릴 수 있는 영역을 식별하여 모델의 성능을 개선하는 데 도움이 될 수 있다.
11-3b 사용자에게 인공지능 모델의 추론 결과에 대한 설명을 제공하였는가?
생성 AI 모델의 사용은 사용자의 생활을 편리하게 하고 모델 사용자에게 자기 비서 역할을 하며, 인공지능 기술로 인간과 유사하거나 인간 지능을 가진 콘텐츠를 생성하여 사용자의 시간과 노력을 줄여줄 것으로 기대된다.
그러나 이렇게 개발된 모델은 개인의 생활과 환경에 직접적으로 행사할 수 있는 영향력을 가지고 있기 때문에 사용자와 영향을 받는 개인에게 추론 결과와 이유에 대한 합리적인 설명을 제공해야 한다. 개발된 인공지능 모델의 추론 결과에 대한 설명을 사용자에게 제공하는 방법은 다음과 같이 여러 가지가 있다:
| 솔루션 | 설명 내용 |
|---|---|
텍스트 설명 | 이 방법에는 콘텐츠 생성 시 모델의 의사결정 과정을 개괄적으로 설명하는 텍스트 설명을 제공하는 것이 포함된다. 예를 들어, 콘텐츠 생성에 웹 브라우징이 활용된 경우에는 방문한 웹 사이트를 나열하는 등 생성 과정에서 모델이 의존한 중요한 요소를 설명하는 문장이나 단락을 포함할 수 있다. |
시나리오 기반 설계 | 시나리오 기반 설계 및 질문 중심 XAI 설계 접근 방식을 사용하면 소프트웨어 개발의 생성 AI와 같은 특정 영역에서 생성 AI 모델에 대한 사용자의 설명가능성 요구사항을 탐색하는 데 도움이 될 수 있다[269]. |
시각화 | 시각화 기법으로 모델이 어떤 결정에 도달했는지를 사용자에게 보여줄 수 있다. 예를 들어, 생성된 콘텐츠를 만들기 위해 모델이 중점을 둔 영역을 강조하는 히트맵 기법을 표시한다. |
대화형 설명 | 대화형 설명을 통해 사용자는 모델이 어떻게 생성되었는지 실시간으로 살펴볼 수 있다. 예를 들어, 사용자가 모델이 사용하는 온도, 플러그인, 프리셋, 토큰 크기, 페널티, 모델 등의 매개변수 및/또는 도구를 조정하고 이에 따라 생성된 콘텐츠가 어떻게 변화하는지를 확인할 수 있다. |
사용자 피드백 | 사용자가 모델 출력에 대한 피드백을 제공하도록 허용하면 시간이 지남에 따라 모델을 개선하고 파인튜닝하여 더 정확하고 공정하게 만들 수 있다. 예를 들어, 사용자는 모델의 출력이 올바른지 아니면 잘못되었는지를 표시하고 시스템이 콘텐츠 생성 프로세스를 개선하는 데 사용할 수 있는 추가 정보를 제공할 수 있다. |
Last updated
