02 인공지능 거버넌스체계 구성
02-1 인공지능 거버넌스에 대한 지침 및 규정을 수립하였는가?
생성 AI 시스템은 학습 또는 추론 과정에서 윤리적, ｢지식재산 기본법｣ 관련, 보안 및 개인정보보호 관련 이슈가 발생할 수 있다. 이러한 위험 요소에 대비하기 위해서 내부적으로 인공지능 거버넌스에 대한 가이드라인과 규정을 수립한다.
NIST의 AI RMF를 함께 고려하여, 인공지능 모델의 생명주기에 따른 내부 규정, 절차, 프로세스, 생성 결과의 투명성 등을 확보할 수 있도록 한다.
위험에 대한 분석 절차와 대응 결과를 투명하게 관리하고 문서화하는 것은 강화된 생성 AI 모델의 법적 및 규제 측면을 효과적으로 해결하기 위한 핵심 요소로 볼 수 있다. 따라서 AI 관련 법률, 정책 및 표준, 국제사회의 유력 가이드라인을 반드시 참고하여 내부 규정을 수립하고, AI 시스템 생명주기 전반에 걸쳐 조직의 역할과 책임에 대한 문서 기반의 명확한 체계를 준비한다.
02-1a 내부적으로 준수해야 할 인공지능 거버넌스에 대한 지침 및 규정을 마련하였는가?
생성 AI 기반 서비스에서 인공지능 거버넌스 체계의 기본 단계는 기본 원칙을 수립하는 것으로 시작하여, 인공지능과 관련된 국내·외 법규제, 정책 등을 파악한 후 내부적으로 윤리적 관점에서 구현해야 할 규정을 정의한다
개발된 생성 AI 서비스의 신뢰성을 확보하기 위해서는 AI 거버넌스 및 조직 전체의 업무, 역할, 의무, 책임이 명확해야 한다. 또한 개발된 인공지능 모델의 생명주기 전반에 걸쳐 도출된 결과물의 관리를 위한 가이드라인을 마련한다.
글로벌 생성 AI 규정 및 정책[54]
| 국가 | 규정 및 정책 요약 |
|---|---|
유럽연합(EU) |
|
미국 |
|
영국 |
|
OECD |
|
중국 |
|
대한민국 |
|
| 주제 | 활동 | 핵심 가치 요약 |
|---|---|---|
KaKao | ‘알고리즘 윤리 헌장’ 발표 및 ‘공동체 기술윤리 위원회’ 출범 |
|
Naver | 인간 중심의 가치 실현을 위한 ‘AI 윤리 준칙’ 및 ‘2022 Case Study’ 발표 |
|
02-2 인공지능 거버넌스를 위한 조직을 구성하고 인력 구성을 검토하였는가?
인공지능 시스템은 윤리와 관련된 문제가 발생할 수 있다는 위험 요소가 존재한다. 따라서 다양한 위험 요소를 인식하고 관련 규정을 마련하여 이를 실행할 수 있도록 관리감독을 하는 조직이 필요하다.
유네스코가 발표한 인공지능 윤리 권고에는 인권 및 법치 사회에 대한 인공지능 시스템의 영향을 식별･예방･완화하고 그에 따른 의무를 이행하기 위해 감독 메커니즘이 있어야 한다고 명시되어 있다.
따라서 인공지능 거버넌스는 윤리적 측면에 관한 규정을 마련하고, 지침 준수 및 절차적 요건의 충족 여부 등을 포함하여 감독해야 한다. 또한 이러한 조직은 각 담당자가 맡은 역할과 책임에 대해 충분히 인식하고 관련 역량을 갖춘 인력으로 구성할 필요가 있다.
단, 가능하다면 인공지능 거버넌스를 위한 조직은 외부 전문가(예: 심리학자, 데이터 과학자, 행정 전문가)를 포함하여 구성하는 것이 좋다. 외부 전문가는 내부 조직에서 발생할 수 있는 편향된 시각을 보완하고, 집단사고(group think) 등의 문제를 극복하는 데 도움을 주기 때문이다.
02-2a 인공지능 거버넌스를 위한 조직을 구성하였는가?
조직의 윤리 원칙을 수립한 후 이를 실행할 수 있도록 관리하는 것이 인공지능 거버넌스 체계의 목표이다. 즉, 내부 규정을 마련하고 이를 준수하는지를 확인할 필요가 있다.
AI 거버넌스 체계를 확립하고 생성 AI 모델을 효과적으로 관리하기 위해서 이를 전담하는 조직을 만들고 감독한다. 이 조직은 거버넌스 표준을 유지하고 내부 규정 준수를 보장하는 역할을 담당한다. 내부 규정에는 책임 범위를 명확히 설정하여 AI 거버넌스 유지에 대한 책임 소재를 구분할 수 있도록 한다.
거버넌스 프로세스에 다양한 사람을 참여시키면 폭넓은 관점으로 개인이나 집단에 대한 차별 위험을 완화할 수 있다. 결과적으로 개발된 생성 AI 서비스는 인간의 가치에 더 부합하게 된다. 거버넌스 조직에는 직접적인 이해관계자 외에도 정부 기관, 기업, 시민사회단체 그리고 생성 AI의 미래를 형성하는 데 기득권을 지닌 사용자 등이 포함될 수 있다.
참고: 생성 AI 분야 거버넌스를 위한 조직 구성 및 역할 참고 사례
거버넌스 프로세스는 신뢰할 수 있는 AI를 위한 기본 요소이다. AI 시스템 거버넌스는 신뢰와 윤리적 원칙에 기반한 모델을 개발할 수 있도록 AI 전 과정에 걸쳐 책임을 정의하고 확립하는 과정을 의미한다.
내부 거버넌스 조직 구조 및 조치: IBM의 인공지능 거버넌스 처럼, 기존의 거버넌스 구조나 확립된 내부 거버넌스 구조를 적용하고 개발된 인공지능 모델의 잠재적 사용자와 관련된 가치, 개발된 모델 알고리즘과 관련된 위험 및 책임을 통합
마이크로소프트의 인공지능 거버넌스 체계[66]
역할 1: 인공지능 윤리 및 신뢰성에 대한 전문성을 바탕으로 관련 규정을 제정. 윤리와 관련된 법적 요건을 파악하고, ｢지식재산 기본법｣을 고려한 위험에 대응하는 방법을 규정*
* ｢지식재산 기본법｣ 제2조에 따르면 저작자, 발명가, 과학기술자, 예술가 등 지식재산 창출자가 창의적이고 안정적으로 활동할 수 있도록 지식재산권을 부여할 수 있다(자세한 내용은 [67] 참조).
역할 2: 인공지능 거버넌스와 더불어 인공지능 시스템 프로세스를 책임지고 관리감독을 하는 역할. 책임자는 인공지능 시스템 프로세스가 관련 규정에 따라 올바르게 수행되고 있는지 관리감독을 하고 조직 전체를 책임지고 지도
역할 3: 규정의 이행을 실질적으로 지원하는 역할. AI 거버넌스 체계와 관련된 세부 규정이 정의되면 각 부서 및 영역에 맞게 이행될 수 있도록 지원
참고: 생성 AI 모델의 글로벌 거버넌스를 위해 노력하는 워킹 그룹 참고 사례
생성 AI 기술이 계속 발전함에 따라 기술의 질문에 대한 답을 찾기 위해 위원회가 설립될 가능성이 높다. 현재는 버크만 클라인 인터넷 및 사회 센터의 생성 AI 이니셔티브와 같이 생성 AI에 초점을 맞춘 여러 이니셔티브와 워킹 그룹이 있다.
버크만 클라인 인터넷 및 사회 센터의 생성 AI 이니셔티브: 하버드 로스쿨과 버크만 클라인 인터넷 및 사회 센터는 인공지능과 법률에 관한 이니셔티브를 위한 협력을 시작함[62].
이 외, 세계경제포럼 AI 거버넌스 연합, 인공지능에 관한 글로벌 파트너십(GPAI), 생성 AI에 관한 NIST 공개 워킹 그룹[63] 등 조직 차원의 이니셔티브 및 워킹 그룹이 있다.
최근 유네스코는 생성 AI 시대에 신뢰를 구축하기 위한 글로벌 챌린지를 시작했다[64].
02-2b 인공지능 거버넌스를 위한 조직은 전문성을 갖춘 인력으로 구성하였는가?
인공지능 거버넌스 담당 조직은 자신이 맡은 역할과 책임에 대해 충분히 인식한 인력으로 구성해야 한다. 이들은 인공지능 생명주기에 걸친 모든 프로세스의 중심적인 역할자로서, 이 담당자들이 이를 충분히 인식한 후에 책임지고 관리해야 인공지능 시스템의 신뢰성을 확보할 수 있기 때문이다.
인공지능 거버넌스 담당 조직은 각기 다른 배경과 전문 지식을 기반으로 충분히 숙련된 인력으로 구성해야 한다. 특히, 규정을 마련하는 역할을 맡은 담당자는 인공지능 윤리 및 신뢰성 분야의 원칙, 가이드라인, 표준 등에 대한 폭넓은 전문 지식을 갖춰야 하며, 이를 적절히 해석하여 조직 업무에 적용하기 위한 기술력과, 타 업무 담당자와 의사소통하는 역량이 필요하다. 또한 정의된 규정을 실행하고 관리하기 위해 각 담당자에게 관련 교육을 제공하고 충분히 훈련시켜야 한다.
필요한 경우, 개발된 모델 거버넌스와 직접적으로 상호작용하는 인력이 전체 AI 거버넌스 구조를 해석할 수 있도록 교육을 받아야 할 수도 있다.
IBM의 AI 거버넌스 솔루션과 같이 외부에서 도구나 솔루션을 도입하는 경우. 제공업체로부터 필요한 교육을 받았는지 확인한다.
02-3 인공지능 거버넌스 체계가 올바로 이행되고 있는지 감독하고 있는가?
인공지능 거버넌스 체계를 운영하는 주체는 운영 결과에 대한 책임을 져야 하고, 이 책임은 위임할 수 없다. 따라서 인공지능 거버넌스 운영 담당자는 조직이 내부 지침 및 규정을 준수하는지를 감독해야 한다.
EU 규정 및 ISO/IEC 38507에 인공지능 거버넌스 체계는 인공지능 시스템에서 발생할 수 있는 위험에 따라 인공지능 시스템의 설계 및 사용에 대한 감독을 수행해야 한다고 명시되어 있다. 즉, 인공지능 거버넌스 체계를 통해 수립한 내부 규정을 조직이 적절히 이행하고 있는지를 감독해야 한다.
02-3a 인공지능 거버넌스의 내부 지침 및 규정 준수 여부를 감독하고 있는가?
인공지능 거버넌스 담당자는 조직이 내부 규정을 준수하는지를 확인하고 감독해야 한다. 또한 신뢰성 있는 인공지능 시스템을 목표로 적절히 관리되고 통제됨을 관련 이해관계자에게 입증해야 한다.
특히, 인공지능 시스템 위험관리와 관련된 내부 규정의 이행 여부를 감독함으로써 인공지능 시스템의 잠재적 위험으로부터 조직 및 이해관계자를 보호하고 조직의 역량을 향상할 수 있다.
따라서 인공지능 거버넌스 체계에서 감독을 담당하는 조직은 인공지능 시스템에 대한 이해를 바탕으로 역할에 대한 책임 및 권한을 명확히 인지하여 생명주기에 걸쳐 모든 규정이 이행되는지를 감독해야 한다.
02-4 인공지능 거버넌스 조직이 신규 및 기존 시스템의 차이점을 분석하였는가?
생성 AI 서비스의 무분별한 서비스 제공이 범람할 경우, 서비스 사용자에게 혼란을 가중하거나 시스템 개발 및 유지보수에 불필요한 지출을 초래할 수 있다. 시스템 계획과 설계는 유사한 AI 모델과 관련하여 이미 알려진 위험 항목을 철저한 검토한 후에 진행한다. 이러한 차이점을 분석하는 것은 개발 프로세스 전반에 걸쳐 잠재적 위험을 효과적으로 식별하고 해결하는 데 도움이 된다.
기존 생성 AI 서비스와의 비교 분석을 통해 신뢰성을 용이하게 확보할 수 있다. 현재까지 파악된 잠재적 위험을 철저히 분석하고 해결함으로써 견고하고 신뢰할 수 있는 AI 시스템을 개발할 수 있게 된다. 이러한 사전 예방적 접근 방식은 예기치 못한 문제의 발생을 최소화하고 실제로 모델의 보안과 효율성을 확보할 수 있게 한다.
02-4a 기존 동일 목적의 시스템과 비교하여, 신규 시스템이 개선할 수 있는 사항을 분석하였는가?
생성 AI를 개발할 때는 개발 중인 생성 모델을 시장의 기존 시스템과 비교할 수 있는 수준으로 만들고 안전, 규정 준수 및 윤리적 고려 사항을 보장하기 위해 다음과 같은 필수 내용을 고려하는 것이 중요하다.
새로 개발되는 생성 AI 서비스는 동일한 목적으로 시장에 출시된 기존 시스템과 비교적 동등한 안정성, 안전성, 유효성을 입증할 수 있어야 하며, 객관적인 기준과 근거, 검증을 바탕으로 시스템의 안전성을 확보해야 한다. 이러한 방향으로 비교 분석이 진행되어야 하며, 개인의 다양성에 따른 시스템 신뢰성을 항상 확인하고, 예측되거나 예측되지 않은 편향성 및 착시현상을 완화(필요시 조작 사고 여부도 확인)하여 개발된 모델에 대한 신뢰성을 관찰한다.
참고: 생성 AI를 위한 새로운 의무 및 안전 규칙 [73][74]
생성 AI 서비스 제공 시 고려해야 할 새로운 의무 사항
유럽의회 내부시장(IMCO) 및 시민자유(LIBE) 위원회의 합의 초안에 따르면, 유럽의회 의원(MEP) 개정안은 생성 AI 모델 제공업체에 안전 점검, 데이터 거버넌스 조치 이행, 위험 완화 등의 의무를 부과함
이 개정안은 생성 AI 기반 서비스를 포함한 AI 시스템이 안전하고 투명하며 윤리적인 방식으로 개발되고 사용되도록 보장하는 것을 목표로 함
생성 AI 기반 서비스 제조업체는 에너지 소비를 줄이고 시스템을 EU 데이터베이스에 등록해야 함. ChatGPT와 같은 생성 AI 기술 제공 업체는 투명성 의무를 준수하고, 안전장치를 적용하며, AI 시스템 학습에 사용된 저작권이 있는 자료의 요약을 제공해야 함
Last updated