03 인공지능 시스템의 신뢰성 테스트 계획 수립
개발된 시스템의 테스트는 검증과 유효성 검사를 모두 제공하는 목적으로 수행되며, 테스트 환경과 계획은 필수 구성요소이다. 기능 테스트는 시스템 추론 결과의 신뢰성을 측정하는 데 필요하며, 특히 생성 AI 모델에 의해 의도치 않게 영향을 받는 사용자와 인간에 대한 신뢰성을 측정하는 데 필요하다. AI 시스템에 대한 허용 가능한 수준의 신뢰성을 달성하기 위해 ISO/IEC TR 24028 섹션 9.10에서는 여러 테스트 접근법을 사용할 것을 권장한다. 환각 출력의 빈번한 발생과 잠재적 조작에 대한 우려를 고려할 때 개발 프로세스에서 주요하게 베타 테스트 단계와 사용자 피드백을 고려한다.
03-1 인공지능 시스템의 특성을 고려한 테스트 환경을 설계하였는가?
인공지능에 대한 유네스코 결정에 따라, 생성 AI 모델 기반 시스템과 마찬가지로 인권을 침해할 가능성이 있는 인공지능 시스템은 출시 전에 이해관계자의 윤리적 영향 평가의 일환으로 광범위한 테스트를 수행하고, 필요시 시뮬레이션 테스트도 수행한다.
개발된 생성 AI 모델의 속성을 고려하여 적합한 테스트 환경을 파악한 후에 악의적인 테스트 사용자로 인한 프롬프트 주입, 모델 조작, 왜곡되거나 조작된 피드백 등의 문제를 방지하는 데 필요한 필터링 메커니즘을 설정한다.
03-1a 테스트 환경을 결정할 때 인공지능 시스템의 운영 환경을 고려하였는가?
운영 환경의 제약, 기능의 다양성, 성능 저하 요소 등 매개변수가 많은 인공지능 시스템이라면 테스트 스위트(test suite) 수가 거의 무한해질 수 있다. 이 경우, 매개변수의 조합을 통해 테스트 스위트 수를 줄일 수 있는 조합 테스팅(combination testing) 기법의 하나인 페어와이즈 기법의 활용을 고려해야 한다.
실제 및 가상 테스트 환경을 구축할 때는 실제와 유사한(실제 사례를 모방한) 시나리오를 참고하여 현실적인 테스트 절차를 만들고 신뢰성을 최대한 확보할 수 있도록 테스트 계획을 수립한다.
생성 AI 서비스에서 피드백 메커니즘은 덜 편향되고 덜 환각적인 결과물을 생성하도록 모델을 개선하는 데 도움이 되기 때문에 중요하다.
필요시 테스트 사용자가 이러한 피드백 메커니즘을 사용하도록 유도하는 메커니즘을 구축한다.
03-1b 가상 테스트 환경이 필요한 인공지능 시스템에 대해 시뮬레이터를 확보하고 있는가?
생성 AI 기반 서비스를 안전하게 설계하기 위해서는 공공 및 민간 부문에 걸친 프레임워크 개발이 필수 적이다. 프레임워크는 운영을 위한 시뮬레이터를 확보하거나 생성 AI 기반 서비스가 연동되어 검증할 수 있는 가상 환경을 확보하는 것이 필요하다.
구글은 생성형 인공지능 모델의 프롬프트 인젝션, 데이터 중독, 기밀 정보 추출과 같은 위험요소를 방지하기 위한 보안 AI 시스템의 개념적 프레임워크인 SAIF(Secure AI Framework)를 도입하였다. SAIF의 중요 기능 중 하나로 레드팀을 설계한다.
생성 AI 기반 서비스는 복잡하며, 다양한 사회적·윤리적 취약점이 있을 수 있다. 예상치 못한 입력이나 상황에서도 안정적으로 작동하기 위해 레드팀(Red Team) 설계와 같은 테스트 환경으로 시스템의 견고성을 평가하고 개선할 수 있다.
레드팀은 적대적 공격에 대비하기 위해 디지털 약점을 식별하고 테스트하기 위한 방법으로 이용된다. 많은 조직에서 현재 디지털 레드팀을 활용하여 위험을 방지하기 위한 가이드를 세우고 배포한다. 하지만 조직의 규모 등의 문제로 별도의 테스트를 수행하기 어려울 때는 제3자 인증을 통해 이와 같은 방법을 수행할 수 있다.
참고: 조직이 AI 시스템을 안전하게 보호하는 방법 – 레드팀의 역할
시뮬레이션된 공격이 사용자 및 제품에 미치는 영향을 평가하고 이러한 공격에 대한 복원력을 높일 수 있는 방법을 파악한다.
핵심 시스템에 내장된 새로운 AI 탐지 및 방지 기능의 복원력을 분석하고 공격자가 이를 우회할 수 있는 방법을 조사한다.
레드팀 결과를 활용하여 공격을 조기에 발견하고 사고 대응 팀이 적절하게 대응할 수 있도록 탐지 기능을 향상시킨다. 레드팀 연습은 수비 팀이 실제 공격을 어떻게 처리하는지 연습할 수 있는 기회도 제공한다.
마지막으로, 제품에 AI를 사용하는 개발자가 주요 위험을 이해할 수 있도록 돕는 것과 필요에 따라 보안 통제에 대한 위험 주도적이고 정보에 입각한 조직 투자를 옹호하는 두 가지 주요 이유로 관련 이해 관계자들의 인식을 높인다.
03-2 인공지능 시스템의 테스트 설계에 필요한 협의 체계를 구성하였는가?
생성 AI 모델의 생성 결과에 대한 설명이 필요한 경우, 결과의 도출 방법을 얼마나 잘 이해할 수 있는지를 나타내는 설명가능성의 기준은 시스템 사용자마다 다를 수 있다. 마찬가지로 생성 AI 모델이 얼마나 효과적으로 작동하는지를 측정하는 해석가능성의 평가 기준은 개인 또는 잠재적 사용자의 인식에 따라 달라질 수 있다.
사용자 그룹(일반 사용자, 고용된 사용자, 도메인 전문가)이나 사용 목적에 따라 각기 다른 기준으로 해석될 수 있는 생성 AI 모델을 별도로 테스트하기 위해서는 협의체를 구성하여 예상 산출물을 결정하거나 시스템 또는 모델 산출물에 대한 설명가능성 및 해석가능성 평가 기준을 수립하고, 테스트 방법론 설계 방식 등이 적절한지에 대한 구성원 간의 합의가 이루어져야 한다.
03-2a 인공지능 시스템의 기대 출력을 결정하기 위한 협의 체계를 구성하였는가?
콘텐츠 생성을 수행하는 생성 AI 시스템을 개발할 때, 시스템의 기대 출력을 결정하기 위해 해당 도메인의 내･외부 전문가로 구성된 협의체를 구성하여야 한다. 특히 환각 출력의 가능성이 있기 때문에 환각 및 편향 방지를 위해 모델을 재훈련하기 위해서는 항상 사용자의 피드백이 필요할 수 있다.
자문 전문가와 테스트 사용자는 하나의 유저 프롬프트에 대해 서로 다른 생성 결과를 기대할 수 있다. 따라서 협의체 운영 전에 전문가 합의를 위한 승인 기준을 미리 정할 필요가 있다.
협의 체계에서 활용할 수 있도록 관련 규정 및 가이드라인을 지속적으로 업데이트하여 윤리 기준 및 개인정보보호 조치를 준수할 수 있도록 한다. 뿐만 아니라, 테스트 사용자와 전문가가 윤리적 고려 사항을 유지할 수 있도록 가이드라인을 마련하는 것을 권장한다.
03-2b 설명가능성 및 해석가능성 확인을 위한 사용자 평가단을 구성하였는가?
생성 AI 모델을 개발할 때는 개발 모델의 대상인 사용자가 시스템의 결과나 작동을 얼마나 쉽게 이해할 수 있는지를 점검해야 한다.
생성 AI 시스템의 사용자 평가단을 구성할 때, 가능한 해당 분야의 전문가로 구성하여 개발된 생성 AI 모델의 신뢰도를 높이도록 한다. 테스트 사용자의 피드백이 모델의 학습 단계에 영향을 미칠 수 있으므로 평가자 선정에 신중해야 한다.
Last updated