07 수집 및 가공된 학습 데이터의 편향 제거
생성 AI 기반 서비스(파인튜닝 모델)에서는 타깃 도메인에 특화된 정확한 결과를 얻기 위해 별도로 데이터 라벨링 작업을 수행하고 적용할 수 있다.
ISO/IEC TR 24027:2021 – Bias in AI system and AI aided decision making에서는 인공지능 시스템에 다양한 편향성이 존재할 수 있음을 시사한다. AI 시스템의 목적에 부합하기 위해 일부 편향이 필요할 수 있으나(의도한 편향), 의도하지 않은 편향으로 인해 AI 시스템 내에서 원치 않는 편향이 발생할 수 있다. 이는 주로 시스템 설계의 결함, 이해관계자의 인지적 편향 또는 학습 데이터셋의 내재적 편향에 기인한다.
따라서 AI 시스템은 기존의 편견을 지속시키거나 증폭하고 심지어 새로운 편견을 도입할 수도 있다. 원치 않는 편향이 없는 AI 시스템을 구축하는 것은 상당한 도전 과제이다. AI 시스템이 사용하는 데이터셋의 편향성은 활발히 연구되고 있는 분야이다[164]. 오픈소스 데이터셋을 활용할 때 편향되지 않은 데이터를 수집하거나 확보하기는 아직 어려운 실정이다.
07-1 데이터 수집 시, 인적･물리적 요인으로 인한 편향을 완화할 방안을 마련하였는가?
데이터의 편향은 데이터셋을 직접 수집할 때 인적･물리적 요인으로 인해 다양한 데이터를 수집하지 못하여 발생할 수 있다. 이러한 편향은 특정 인종, 민족 또는 이념에 치우칠 수 있는 오픈소스나 인터넷 소스 데이터셋에 의존할 때 더욱 두드러지는 경향이 있다.
인간의 편견은 개인적 선호가 무의식적/의식적으로 데이터 선택에 영향을 미칠 때 작용한다. 또 다른 원인으로는 개발자 팀, 특히 데이터 수집 및 데이터 집합 생성과 관련된 역할에서 다양성이 부족하다는 점을 들 수 있다. 팀원이 사용자, 데이터 분석 또는 프로젝트의 도메인에 대한 포괄적인 이해가 부족하면 편견이 데이터 집합에 침투할 수 있다. 이러한 편향은 북코퍼스, 오픈소스 데이터 집합 또는 위키피디아와 같은 다양한 소스의 데이터를 결합할 때 발생할 수 있다. 인간의 편견을 해결하려면 데이터 수집 및 검토에 대한 명확한 기준을 설정하는 것이 필요하다.
07-1a 인적 편향을 제거하기 위한 절차적･기술적 수단을 적용하였는가?
생성 AI 모델이 편향적이거나 불공정하다고 인식된다면, 이는 공공의 신뢰를 침식하고 AI를 다양한 분야에 성공적으로 통합하는 데 방해가 될 수 있다. 인적 편향을 없애기 위한 절차적･기술적 조치를 적용하는 것은 윤리적 AI 관행에 대한 헌신을 보여주며 사용자, 이해관계자 및 일반 대중 간의 신뢰를 구축하는 데 도움이 된다[165].
모델의 훈련과 테스트에 필요하면서도 편향되지 않은 데이터를 찾는 것은 쉽지 않기 때문에 수집한 데이터를 활용하여 목적에 적합한 데이터셋을 구축해야 한다. 그러나 잠재적 사용자나 자발적/비자발적인 개인의 폭넓은 프로파일 때문에 수집한 데이터 자체가 특정 그룹, 지역, 인종, 성별 등과 관련된 차별 문제에 직면할 수 있다. 이러한 문제를 완화하기 위한 조치를 고려해야 한다. 편향 없는 데이터셋 개발 과정을 보장하는 방법, 도구, 지침 등을 활용할 수 있다.
인공지능 모델 훈련 데이터에서 인간의 편견을 효과적으로 제거하기 위해서는 기술적인 해결뿐 아니라 사회기술적 접근 방식을 활용하는 것도 필요하다. 또한 연구 내용을 최신으로 유지하고 편견 연구에 투자하며 인공지능 커뮤니티를 다양화하는 것이 편견을 지닌 인공지능 시스템에 대응하기 위한 중요한 단계이다[166][168].
참고: 인공지능의 편향 완화: 공정한 평등 리더십 플레이북[167]
버클리대학의 한 그룹은 사용자들이 편향의 이유와 편향의 영향을 이해하고 그러한 편향을 완화하기 위한 방법을 안내하는 플레이북을 개발하였다. 편향이 완화된 데이터셋 개발 과정을 보장하기 위해 다음의 체크리스트를 따르도록 권고한다.
더 큰 학습 데이터셋을 사용하여 편향을 제거하고 다양한 정체성의 충분하고 정확한 표현을 보장한다.
사회과학적 방법을 더 기술적인 데이터 과학 방법과 통합하여 데이터를 생성하고 수집하는 ‘심층 데이터’ 접근 방식을 채택한다.
레이블 기반 생성 AI 모델을 개발할 때 레이블링 관행을 점검한다.
데이터셋의 출처, 생성 과정, 사용 내역을 문서화하며 데이터셋의 목적이 의도된 사용과 일치하는지를 확인한다.
기존 데이터셋을 평가하고 개인정보 문제를 확인하여 특정 정체성의 과대/과소 표현이나 현실을 반영하지만 궁극적으로 문제가 되는 기존 불평등을 조절한다.
데이터셋을 지속적으로 유지하고 관리한다.
재학습이나 파인튜닝을 목적으로 사용하는 데이터를 유지하고 평가하며, 필요시 편향된 데이터가 학습 데이터셋에 포함되지 않도록 필터링 메커니즘을 구축한다.
07-1b 데이터의 다양성 확보를 위해 수집 시 여러 수집 사양을 활용하였는가?
학습용 데이터가 단일 소스에서 나온 것이라면 생성 AI 모델은 그 소스에 특화된 편향을 학습할 수 있으며 그로 인해 최적화되지 못한 일반화가 발생할 수 있다.
생성 AI 모델의 학습용 데이터는 전자책 데이터베이스, 뉴스 데이터베이스, SNS, 위키피디아, 사용자 피드백 및 프롬프트 등 다양한 소스와 채널을 통해 얻을 수 있다. 데이터 소스의 다양성과 더불어 중복성도 높기 때문에 관리도 중요하다.
07-2 학습에 사용되는 특성(feature)을 분석하고 선정 기준을 마련하였는가?
생성 AI 모델의 학습 데이터에 민감한 특성을 표시하려면 보호 변수를 설정하고 편향을 방지하기 위해AI 모델의 영향을 평가한다. 차별을 일으킬 수 있는 특성(예: 연령, 성별, 인종, 민족, 출신 국가, 언어 등)는 편향을 초래할 수 있다. 데이터 학습에 반영해서는 안 되는 특성으로 요인을 선정하고 그로 인해 발생할 수 있는 편향을 피하도록 한다.
학습에 사용되는 특성은 윤리적 문제를 고려해야 한다. 발생 가능한 문제를 민감한 특성의 선정 기준으로 고려하여, 조직은 책임감 있고 신뢰할 수 있는 생성 AI 사용을 촉진할 수 있다. 모델 개발에서 중요한 윤리적 문제는 다음 표를 참조한다[177][70][178][179][180].
| 윤리적 문제 | 설명 |
|---|---|
유해한 콘텐츠 | 생성 AI 모델은 딥페이크 이미지, 음성, 동영상과 같은 유해한 콘텐츠를 생성할 수 있으며, 이는 개인 이미지의 사용 및 남용 가능성에 대한 윤리적 우려를 불러일으킬 수 있다. |
저작권 침해 | 생성 AI 모델은 학습 데이터셋과 생성된 콘텐츠에 저작권이 있는 자료를 사용할 수 있으며, 그로 인해 저작권 침해 문제가 발생할 수 있다(섹션 02-4a 참고). |
개인정보보호[181] | 생성 AI 모델은 데이터 유출 및 학습 데이터 노출과 같은 데이터 프라이버시에 대한 위험을 초래할 수 있으며, 이는 민감한 정보의 사용에 대한 윤리적 문제로 이어질 수 있다. |
오픈소스 모델 | 오픈소스 생성 AI 모델은 투명하고, 기업의 호의에 의존하지 않으며, 재현성과 연구 윤리를 보장할 수 있기에 윤리적인 방법이 될 수 있다. |
차별 | 사회적･문화적 차이와 편향으로 인해 생성 AI가 생성한 결과물은 특정 집단을 비하하는 발언이나 불평등한 발언을 내포할 수 있다. |
07-2a 보호변수 선정 시 충분한 분석을 수행하였는가?
민감한 정보에 대한 충분한 분석이 이루어지지 않으면 오히려 모델의 성능이 저하될 수 있다. 잘못된 결과는 문화적·사회적 편향과 환각을 유발할 수 있다. 따라서 모델의 결과에 영향을 줄 수 있는 특성을 식별하면 필터링 기법으로 민감한 정보를 비식별화해야 한다.
데이터 내의 편향과 공정성을 식별할 수 있는 오픈소스 도구를 사용하여 데이터가 변화함에 따른 추론 결과의 추세를 시각화하여 민감한 특성의 영향도를 파악할 수 있다(예: Comet[182], LIDA[183], Censius AI의 시각화 도구[184]).
참고: 민감한 정보 분석을 위한 데이터셋 추론 결과의 시각화 도구
LIDA는 마이크로소프트가 개발한 도구로서 LLM의 언어 모델링 및 코드 작성 능력을 활용하여 자동화된 시각화 기능을 제공한다.
데이터를 요약하고 시각화하여 인포그래픽을 생성하며 기존 시각화에 작업을 수행하고 시각화 설명 및 권장 사항을 제공할 수 있다.
LIDA는 문법에 구애받지 않으며 다양한 프로그래밍 언어로 시각화를 수행할 수 있다. 데이터셋의 크기에 관계없이 데이터를 분석하고 시각화하여 LIDA의 데이터 요약, 목표 탐색, 시각화 생성 및 인포그래픽 생성과 같은 기능을 제공한다[185].
07-2b 편향을 발생시킬 수 있는 특성의 영향력을 완화하였는가?
편향은 차별과 특정 집단에 대한 불평등으로 이어질 수 있기 때문에 생성 AI 모델에서 편향을 유발할 수 있는 특성의 영향을 완화하는 것이 중요하다. 개발된 생성 AI 모델에서 차별을 초래할 수 있는 특성은 다음 표와 같다. 하지만 각 특성은 생성 AI 모델에서 편향을 유발할 수 있는 몇 가지 예시에 불과하다. 시스템에서 존재할 수 있는 잠재적인 편향을 인지하고 그 영향을 완화하기 위해 조치하는 것이 필요하다.
| 특성 | 설명 |
|---|---|
인종, 민족 | 모델을 인터넷이나 사용자 피드백에서 훈련한 경우, 특정 인종에 차별적인 내용을 생성할 수도 있다. |
성별 | 모델이 학습 데이터셋에서 남성 성별 특성을 우세하게 포함함으로써 모델이 덜 정확하거나 성별 차별을 할 수 있다. |
연령 | 나이가 적은 개인에 대한 편향적 데이터셋 때문에 시스템이 개인의 연령을 정확하게 추정하는 것이 어려울 수 있다. 또한 어린이 그룹에 부적절한 콘텐츠 생성을 방지할 수 있도록 유아 및 어린이 데이터나 연령 필터링 메커니즘으로 충분히 훈련되지 않았을 가능성이 있다. |
인간 요소 | 특정 문화에서 개인과 상호작용을 하도록 설계된 시스템은 다른 문화에서 개인과 상호작용을 하는 데 효과적이지 않을 수 있다. |
공공 데이터셋을 사용할 때는 위의 예시와 같이 데이터셋의 특성이 편향되어 있는지를 확인하는 것이 중요하다. 편향의 영향을 완화하기 위해서는 시스템을 훈련하는 데 사용되는 데이터셋이 해당 시스템이 대상으로 하는 인구의 다양성과, 편향되지 않은 특성을 대표하는지를 확인해야 한다. 다음은 이러한 특성의 영향을 완화하는 데 사용될 수 있는 몇 가지 전략이다.
다양한 훈련 데이터 확인: 생성 AI의 편향을 다루는 한 가지 방법은 모델을 훈련하는 데 사용되는 데이터에 대해 의도적으로 접근한다. 데이터가 전체 인구를 대표하며 다양성을 가지도록 보장하는 것을 의미한다. 다양한 소스에서 데이터를 수집하고 성별, 인종, 민족, 연령 및 기타 관련 있는 특성을 균형 있게 유지하는 것을 포함할 수 있다.
정기적 훈련 데이터 감사 시행: 독립적인 조직 또는 규제 기관은 편향을 평가하고 공정성과 윤리 기준을 준수하는지를 평가한다[186].
인간 중심 접근법: 생성 AI 훈련 데이터 분석에 인간 리뷰어나 주석 작성자를 참여시킴으로써 가치 있는 통찰력을 제공하고 편향을 완화한다. 인간 리뷰어는 모델의 출력에서 잠재적인 편향을 식별하고 공정성과 정확성을 개선하기 위한 지침을 제공할 수 있다[186].
07-2c 데이터 전처리 시 특성이 과도하게 제거되었는지 검토하였는가?
생성 AI 기반 모델에서 라벨링 데이터를 활용하는 경우, 다양한 개인의 폭넓은 다양성으로 인해 특성 선택 과정이 문제될 수 있으며 예측할 수 없다. 생성 AI 모델을 위한 데이터의 전처리 예시는 다음과 같다.
언어 생성 모델 데이터 전처리 예시: 텍스트 데이터셋의 토큰화, 각 토큰의 명사화, 지정 임베딩 크기에 따른 입력 문장의 크기 설정
이미지 생성 모델 데이터 전처리 예시: 데이터셋 내 유사 이미지 제외, 이미지의 프롬프트화 생성을 위한 태그 처리 및 생성, 이미지 목표 해상도 필터링
데이터 전처리는 생성 AI 기반 모델 구축의 필수 단계이며, 이 과정에서 특성 선택 또는 차원 축소는 일반적인 작업 중 하나다. 특성 선택의 주요 목표는 데이터셋에서 관련 없거나 중복된 특성을 제거하여 생성 모델의 성능과 효율성을 향상하는 것이다.
대리(Proxy) 속성을 완전히 제거하는 것과 같은 전처리가 편향을 완화하기 위한 해결책처럼 보일 수 있지만 실제로는 모델 성능이 저하되거나 모델의 의도된 목적과 일치하지 않는 결과를 초래할 수 있다. 따라서 주의가 필요하며, 특성의 제거 없이 각 특성에 다른 가중치를 할당하거나 지나치게 공격적인 분포를 확인하는 것보다 다양한 접근 방식을 고려하여 모델의 효과성과 공정성을 보장하는 것이 중요하다.
인종, 민족, 성별 및 연령과 같은 특정 특성은 이미 의도하지 않은 편향을 포함할 수 있다는 사실을 인정하는 것이 중요하다. 편향된 데이터를 처리할 때, 특정한 속성을 제거할지 여부는 전문가 또는 레드팀의 지원을 받아 신중하게 평가해야 한다.
07-3 데이터 라벨링 시, 발생 가능한 편향을 확인하고 방지하였는가?
개발자는 자체 데이터셋을 수집하거나 결합하는 과정에서 편향을 방지할 수 있지만 이를 위해서는 라벨링 과정에서 주의를 기울여야 한다.
라벨링 작업자가 일반 근로자이면 개발된 모델 분야에 대한 전문성 부족, 작업 및 판단 기준의 일관성 부족 등의 이유로 편향성이 발생할 수 있다.
라벨링 작업자가 전문가여도 라벨링 프로세스에 대한 이해 부족, 라벨링 작업 및 도구 사용 미숙 등의 이유로 편향이 발생할 수 있다. 또는 생성 AI 모델의 특성상 수집되는 데이터양이 방대하고 시간이 많이 소요되기 때문에 편향이 발생할 수도 있다.
이처럼 라벨링 작업 시 발생할 수 있는 잠재적인 편향성을 해결하기 위해 라벨링 기준 및 결과에 대한 신중한 평가와 명확한 작업 표준을 수립해야 한다. 또한 다양한 라벨링 작업 인력을 채용하거나 프로세스 중 편향을 감독하고 완화할 수 있는 충분한 검사원을 확보함으로써 개별 작업자의 편견을 최소화할 수 있다.
07-3a 데이터 라벨링 기준을 명확히 수립하고 작업자에게 제공하였는가?
편향은 인간의 인식에서 나타나는 일반적인 현상이다[191]. 성별, 인종, 연령 차이, 사회경제적 장점 등과 같은 편견은 편향을 일으킬 수 있다는 이슈를 인지하고, 사전에 작업자에게 표준 또는 명확한 가이드라인을 제공하고 교육하여 추후 다른 문제가 발생하지 않도록 해야 한다.
라벨링 표준 또는 지침이 없으면 작업자의 개별 판단에 의존하게 되어 잠재적인 편향을 야기할 수 있다. 따라서 이를 식별하고 예방하기 위해 상세한 라벨링 지침을 수립하여 작업 표준을 정립하고, 라벨링 작업 시 필요하다면 전문가들과 긴밀히 협력하여 데이터 라벨링 과정에 주의를 기울여야 한다. 다음은 라벨링 작업자에게 전달하기 위한 가이드 및 교육 계획을 수립하는 절차의 예시이다.
의사결정 과정 매핑: 전문가들과 긴밀히 협력하여 자세한 라벨링 표준화 지침을 수립하고, 데이터 라벨링 프로세스를 설정하는 것을 포함한다.
적절한 라벨링 도구 사용: 개인의 모든 종류의 개인 데이터를 포함한 매우 민감한 데이터를 효과적으로 관리하고, 라벨링 작업에서 주관성을 제거하기 위해 동일한 작업 환경을 제공한다.
정확성, 일관성 및 신뢰성 있는 라벨이 지정된 데이터를 보증하기 위해 다양한 데이터 라벨링 표준과 지침이 마련되어 있다. 확립된 표준과 지침뿐만 아니라 Labelbox나 DataRobot과 같은 주석 소프트웨어와 Amazon Mechanical Turk, LionBridge AI, Clickworker 그리고 CrowdFlower와 같은 크라우드소싱 플랫폼과 같은 다양한 도구와 플랫폼을 사용할 수 있다[193].
07-3b 다양한 데이터 라벨링 작업자를 섭외하기 위해 노력하였는가?
다양한 종류의 작업자를 확보할 수 있도록 크라우드소싱의 도입을 고려해야 한다. 크라우드소싱은 라벨링에 대한 교육을 받은 대중의 참여를 포함하여 Amazon Mechanical Turks나 Recaptcha 라벨링 팀과 같은 기존 그룹보다 다양한 작업자 집합을 확보할 수 있다[193].
데이터 라벨링 작업자의 인구 특성과 배경을 조사하고 분석하여 작업자의 다양성을 확보해야 한다. 라벨링 작업자들이 유사한 인구 특성을 공유할 경우, 특정 객체 또는 사건을 라벨링하는 방식에 의도하지 않은 편향이 발생할 위험이 있다. 다양한 그룹의 라벨링 근로자를 모집하면 이러한 위험을 줄일 수 있고, 이는 생성 모델의 교육 및 테스트를 위한 정확하고 대표적인 라벨링 데이터의 확보로 이어진다.
정확도와 신뢰성 향상: 다양한 라벨링 근로자 그룹을 고용하면 데이터 라벨링 단계에서 인간적인 편향을 줄일 수 있는데, 이는 고용된 이들이 다양한 관점, 경험 및 배경을 동반하여 데이터 라벨링 작업에 참여하기 때문이다.
사용자 요구에 대한 더 나은 이해: 다양한 라벨링 근로자 그룹을 모집하는 것은 다양한 사용자･개인 그룹의 요구를 더 잘 이해하는 데 도움이 될 수 있다.
신뢰도와 수용성 향상: 모델 개발에 다양한 라벨링 근로자 그룹을 참여시키면 다양한 사용자 그룹에서 해당 모델의 신뢰도와 수용도을 높이는 데 도움이 될 수 있다.
정확하고 신뢰할 수 있는 데이터 라벨링을 보장하기 위해서는 생성 AI의 관련 분야에서 전문가를 라벨링 근로자로 고용하는 것이 필요할 수 있다. 관련 전문성을 가진 작업자를 통해 라벨링된 데이터는 좀 더 포괄적이고 대표적인 특징을 가지며, 이는 생성 AI 모델과 관련된 분야의 효과성과 견고성을 높이는 데 기여하게 된다.
07-3c 다양한 데이터 라벨링 검수자를 확보하기 위해 노력하였는가?
다양한 데이터 라벨링 작업자를 보유하고 있음에도 편향은 발생할 수 있다. 따라서 데이터 라벨링 결과의 검수를 위한 다양한 라벨링 검수자를 확보하는 것이 필요하다. 라벨링 검수자의 다양성을 확보하기 위해 다음 사항을 확인할 수 있다[194].
라벨링 검수자는 최종 사용자와 유사한가?
라벨링 검수자와 사용자 간에 문화적 차이가 데이터 품질에 영향을 미칠 수 있는가?
라벨링 검수자는 무엇을 해야 하는지 알고 있는가? 그들은 필요한 도메인 지식을 가지고 있는가?
데이터 라벨링 검수자는 데이터 라벨링 작업자와 마찬가지로 다양하고 고르게 구성되어야 한다. 따라서 크라우드소싱과 같은 방법이 도입되었는지, 검수자의 인구통계학적 조사와 분석을 통해 분포가 다양하고 고르게 형성되었는지 확인해야 한다.
라벨링을 검토할 때, 이벤트를 분류해야 할 필요가 있다면 데이터셋에 존재하는 인간의 특정 행동 패턴이나 시나리오를 분석하고 검토하는 것이 필요하다. 따라서 변호사, 전문가와 같은 전문 지식을 보유한 검수자가 필요할 수 있다.
07-4 데이터의 편향 방지를 위한 샘플링을 수행하였는가?
편향된 데이터는 부정확하거나 불완전한 결론 및 불완전한 콘텐츠 생성으로 이어질 수 있으므로 데이터 편향은 생성 AI 기반 모델에서 중요한 문제가 될 수 있다. 데이터셋을 적절하게 샘플링하여 개발된 모델은 다양한 시나리오와 상황을 포함하는 일반화된 결과를 생성하는 데 도움이 될 수 있다.
데이터셋의 클래스 불균형으로 인한 편향을 방지하기 위한 일반적인 방법에는 언더 샘플링, 오버 샘플링 기법 등이 있다. 생성 AI 모델 개발 작업의 특성상 소수 카테고리의 데이터를 부풀려 다수 카테고리의 데이터 수와 일치시키는 오버 샘플링 기법을 사용하여 클래스 편향성을 방지할 수도 있다.
07-4a 편향 방지를 위한 샘플링 기법을 적용하였는가?
학습용 데이터의 편향은 생성 AI 기반 모델을 포함한 모든 기계학습 모델에서 발생할 수 있는 일반적인 문제이다. 문화, 인종, 성별 등의 요인은 개발된 모델의 데이터셋에서 문화, 인종, 성별 등의 편향이나 차별을 발생시킬 수 있다. 나이, 성별, 인종, 사회경제적 차별 등은 가능성에 따라 달라진다.
학습용 데이터의 클래스 불균형 및 편향 완화를 위해 다음과 같은 적절한 데이터셋 샘플링 기법을 활용할 수 있다.
참고: 클래스 불균형 해소를 위한 랜덤 오버 샘플링 예시
랜덤 오버 샘플링
분포가 단순 복제로 인해 변경되지 않지만 숫자가 증가함에 따라 더 많은 가중치를 받는 원칙이다.
이 기술은 소수 클래스에서 샘플을 무작위로 중복하여 클래스 분포가 균형 잡히게 하는 것을 포함한다.
C-VAE(대조적 변이 오토인코더)[195]
대조적 변이 오토인코더를 사용한 생성 오버 샘플링은 클래스 불균형 문제를 완화하는 데 사용될 수 있다.
이 기술은 과반수 및 소수 클래스의 정보를 활용하여 새로운 샘플을 생성한다.
SMOTESynthetic Minority Over-sampling Technique[196]
임의의 소수 클래스 데이터로부터 인접한 소스 클래스 사이에 새 데이터를 생성한다.
알고리즘은 특성 공간에서 가까운 예제들을 선택하고, 그 예제들 사이에 선을 그리며, 그 선 위의 한 점에서 새 샘플을 생성한다.
Last updated
