02 인공지능 거버넌스 체계 구성
인공지능 시스템은 윤리와 관련된 문제가 발생할 가능성을 잠재적으로 내포하고 있다. 이러한 인공지능 시스템의 사회적 영향과 결과를 예측하고 대비하는 조직을 구성하는 것은 인공지능 신뢰성을 확보하는 데 중요한 요소이다. 따라서 인공지능 관련 법, 규제, 정책, 표준 및 지침을 정리하여 내부적으로 준수해야 할 규정을 수립하고, 이를 관리･감독하는 인공지능 거버넌스* 체계를 구성한다.
거버넌스: 조직(organization)의 목적, 기회, 위험 및 이익을 파악하는 지속적인 프로세스
02-1 인공지능 거버넌스에 대한 지침 및 규정을 수립하였는가?
인공지능과 관련된 조직에서는 인공지능 시스템 신뢰성 확보를 위한 거버넌스 체계를 구성할 필요가 있다. 인공지능 시스템은 학습이나 추론 과정에서 윤리 및 지식재산권IP(Intellectual Property) 관련 문제, 보안 및 개인정보 이슈가 발생할 수 있기 때문이다. 이러한 위험 요소에 대비하기 위해 내부적으로 인공지능 거버넌스에 대한 지침 및 규정을 수립해야 한다.
NIST의 AI RMF(Risk Management Framework)에서는 인공지능 시스템 생명주기에 따라 내부 규정, 절차, 과정 및 실제 행위가 투명하고 효율적으로 이루어져야 한다고 언급한다. 즉, 인공지능과 관련된 법, 규제 관련 요구사항이 이해･관리되어 문서화하고, 위험관리 절차와 산출물이 체계를 통해 투명하게 관리되어야 한다.
내부적으로 수립해야 할 규정은 활용 측면에 따라 크게 두 가지로 구분하여 마련할 수 있다.
첫째, 인공지능 관련 법, 규제, 정책, 표준 및 지침을 채택･정리하여 내부적으로 이행해야 할 지침 및 규정을 수립해야 한다.
둘째, 인공지능 시스템 생명주기에 따른 조직의 역할과 책임을 명확하게 문서화해야 한다.
02-1a 내부적으로 준수해야 할 인공지능 거버넌스에 대한 지침 및 규정을 마련하였는가?
윤리 원칙의 수립은 인공지능 거버넌스 체계에서 기본적으로 갖춰져야 할 단계로, 인공지능과 관련된 법, 규제 및 정책을 이해한 후 내부적으로 윤리적 측면에서 이행해야 할 규정을 정의해야 한다. 즉, 인공지능과 관련된 위험을 인식하고 대비하기 위해 기업 성격에 맞는 핵심 가치를 선정하고 이와 관련된 표준 및 지침을 채택하여 내부 규정을 제공해야 한다.
인공지능 시스템의 신뢰성 확보를 위해서 인공지능 거버넌스 및 조직 전체의 업무, 역할, 의무 및 책임이 명확해야 한다. 이와 관련한 지침을 마련해 조직 구성원에게 제공함으로써 자신의 역할과 책임을 인식할 수 있다.
참고: 윤리 원칙을 수립한 국내 기업의 사례
국내 기업 네이버에서 신뢰할 수 있는 인공지능 제품 연구･개발을 위해 ‘인공지능 윤리 준칙’을 수립하였다. 이는 기업의 모든 구성원이 지켜야 할 올바른 행동과 가치 판단의 기준이 되는 원칙을 의미한다. 인간존중(humanity), 공정성(fairness), 설명가능성(explainability), 안전성(safety), 프라이버시보호(privacy protection)의 5대 핵심 가치를 기반으로 윤리 준칙을 마련하였다.
참고: 인공지능 거버넌스 조직 구성원의 주요 역할과 책임 지침 예시
Model Artificial Intelligence Governance Framework 2nd('20.1)*는 인공지능을 책임감 있게 배포하기 위해 실제로 활용할 수 있는 실용적인 윤리 원칙을 제공한다. 다음은 인공지능 거버넌스를 위한 조직 구성원의 역할 및 책임과 관련된 지침의 예시이다.
기존 위험관리 프레임워크를 사용하고 위험 관리 조치를 적용한다.
인공지능 배포의 위험을 평가하고 관리한다.
인공지능 의사결정에 대한 인간의 적절한 개입 수준을 결정한다.
인공지능 모델 학습 및 선정 과정을 관리한다.
인공지능 모델의 유지관리, 모니터링 및 문서화를 검토한다.
이해관계자와 상호작용 및 의사소통한다.
인공지능 시스템을 다루는 구성원이 교육받도록 보장한다.
인공지능 모델의 결정을 해석하고, 데이터의 편향을 감지 및 관리하도록 교육한다.
인공지능을 사용할 때 최소한의 이점, 위험 및 한계를 알 수 있도록 교육한다.
* 싱가포르의 IMDA(Infocomm Media Development Authority,정보통신미디어개발기관)와 PDPC(Personal Data Protection Commission,개인정보보호위원회)에서 발행한 문서로, 유럽위원회 및 OECD 등 선도적 국제 플랫폼을 통해 얻은 피드백을 통합한 문서이다. 이는 인공지능 윤리 및 거버넌스에 대한 원칙, 프레임워크 및 권장 사항 등을 제공한다.
02-2 인공지능 거버넌스를 위한 조직을 구성하고 인력 구성에 대해 검토하였는가?
02-1에서 언급했듯이, 인공지능 시스템은 윤리와 관련된 문제가 발생할 수 있다는 위험 요소가 존재한다. 따라서 다양한 위험 요소를 인식하고 관련 규정을 마련하여 이를 실행할 수 있도록 관리 및 감독하는 조직이 필요하다.
유네스코가 발표한 인공지능 윤리 권고에서는 인권 및 법치 사회에 대한 인공지능 시스템의 영향을 식별, 예방 및 완화하고 그에 따른 의무를 이행하기 위해 감독 메커니즘이 있어야 한다고 명시하고 있다.
따라서 인공지능 거버넌스는 윤리적 측면에 관한 규정을 마련하고, 지침 준수 및 절차적 요건 충족 여부 등을 포함하여 감독하여야 한다. 또한, 이러한 조직은 각 담당자가 맡은 역할과 책임에 대해 충분히 인식하고 관련 역량을 갖춘 인력으로 구성할 필요가 있다.
단, 가능하다면 인공지능 거버넌스를 위한 조직은 외부 전문가(예: 심리학자, 데이터 과학자, 행정 전문가)를 포함하여 구성할 필요가 있다. 외부 전문가들은 내부 조직에서 발생할 수 있는 편향된 시각을 보완하고, 집단 사고(group think) 등의 문제를 극복하는 데 도움을 주기 때문이다.
02-2a 인공지능 거버넌스를 위한 조직을 구성하였는가?
조직의 윤리 원칙 수립 후 이를 실행할 수 있도록 관리하는 것이 인공지능 거버넌스 체계의 목표이다. 즉, 내부 규정을 마련하고 이를 준수하는지 확인할 필요가 있다.
신뢰할 수 있는 인공지능(trustworthy AI)을 위해서 인공지능 거버넌스 체계는 정기적으로 인공지능 관련 사고 및 이슈 사례 리뷰, 원칙 및 규정 수립, 잠재적 문제에 대한 계획 및 대응책 마련을 수행해야 한다.
ALTAI에서는 인공지능 윤리와 관련된 문제에 대해 대비할 수 있도록 인공지능 거버넌스 체계를 구축하는 것을 고려하길 권고한다.
참고: NIST AI Risk Management Framework에서의 거버넌스 방침
GOVERN 2.1 섹션에서는 조직 내에서 인공지능 위험관리와 관련된 역할과 책임에 대해 다룬다. 이는 조직 내 위험 인식 문화를 조성하여 조직이 위험을 효과적으로 관리할 수 있도록 한다. 조직은 인공지능과 관련된 다양한 직무에서 해야할 일과 책임을 명확히 하는 규칙을 마련해야 하며, 직무의 예시는 다음과 같다.
이사회 또는 자문위원회 (Boards of directors or advisory committees)
고위 경영진 (Senior management)
인공지능 감사 기능 (AI audit functions)
프로젝트 관리 (Project management)
인공지능 설계 (AI design)
인공지능 개발 (AI development)
인간-인공지능 상호작용 (Human-AI interaction)
인공지능 테스트 및 평가 (AI testing and evaluation)
영향 평가 기능 (Impact assessment functions)
감독 기능 (Oversight functions)
GOVERN 4.1 섹션에서는 잠재적인 부정적 영향을 최소화하기 위해 AI 시스템의 설계, 개발, 배포, 사용 시 비판적 사고와 안전 우선 사고방식을 장려하는 조직 정책과 관행을 마련하는 것을 권고 하고 있다.
02-2b 인공지능 거버넌스를 위한 조직은 전문성을 갖춘 인력으로 구성하였는가?
인공지능 거버넌스 담당 조직은 자신이 맡은 역할과 책임에 대해 충분히 인식한 인력으로 구성해야 한다. 이들은 인공지능 생명주기에 걸친 모든 프로세스의 중심적인 역할로서, 담당자가 이를 충분히 인식한 후 책임지고 관리해야 인공지능 시스템의 신뢰성을 확보할 수 있기 때문이다.인공지능 거버넌스 담당 조직은 각기 다른 배경과 전문지식을 기반으로 충분히 숙련된 인력으로 구성해야 한다. 특히, 규정을 마련하는 역할을 맡은 담당자는 인공지능 윤리 및 신뢰성 분야의 원칙, 가이드라인, 표준 등에 대한 폭넓은 전문지식을 갖춰야 하며, 이를 적절히 해석하여 조직 업무에 적용하기 위한 기술력과 타 업무 담당자와의 의사소통 역량이 필요하다. 또한, 정의된 규정을 실행하고 관리하기 위해 각 담당자에게 관련 교육을 제공하여 충분히 훈련해야 한다.
02-3 인공지능 거버넌스 체계가 올바로 이행되고 있는지 감독하고 있는가?
인공지능 거버넌스 체계를 운영하는 주체는 운영 결과에 대한 책임을 져야 하고, 이 책임은 위임할 수 없다. 따라서 인공지능 거버넌스 운영 담당자는 조직이 내부 지침 및 규정을 준수하는지에 대해 감독해야 한다.
ISO/IEC 38507:2022 - Governance implications of the use of artificial intelligence by organizations에서 인공지능 거버넌스 체계는 인공지능 시스템에서 발생할 수 있는 위험에 따라 인공지능 시스템의 설계 및 사용에 대한 감독을 수행해야 한다고 언급하고 있다. 즉, 인공지능 거버넌스 체계를 통해 수립한 내부 규정을 조직이 적절히 이행하고 있는지 감독해야 한다.
참고: ISO/IEC 42001:2023
ISO/IEC 42001 AI 시스템을 효과적으로 관리하기 위한 인공지능 경영시스템(AIMS)의 설계와 운영 요구사항을 정의 한 표준이다. AIMS는 리더십, 리스크 관리, 성능 평가, 윤리적 책임성 등 AI 관리에 필요한 다양한 요소를 포함한다. 이 표준은 AI 경영 시스템을 효과적으로 구현할 수 있도록 구현 가이드라인과 실행 절차를 제시하며, 조직이 AI 기술의 운영과 관련된 위험과 기회를 체계적으로 관리할 수 있도록 지원한다.
ISO/IEC 42001:2023의 주요 요구사항
리더십과 조직 구조: 경영진은 AI 경영시스템의 성공적인 운영을 위해 명확한 목표를 설정하고, 책임과 권한을 부여, AI 정책과 목표는 조직의 전략과 일치해야 하며, 이를 통해 지속적인 모니터링과 성과 평가가 이루어져야 함
리스크 관리 및 대응: AI 시스템에서 발생할 수 있는 다양한 리스크를 사전에 식별하고, 이를 평가하여 적절한 대응 방안을 마련해야 함, 리스크 평가는 조직의 AI 기술 사용과 관련된 위험 요소를 체계적으로 분석하고, 적절한 완화 전략을 수립하는 것이 핵심
데이터 관리 및 보안: AI 시스템에 사용되는 데이터는 품질과 무결성이 유지되어야 하며, 이를 통해 AI 모델의 성능을 보장해야 함, 데이터 보안은 AI 시스템에서 매우 중요한 요소로, 데이터의 접근 통제, 암호화, 보안 조치를 통해 보호되어야 함
윤리적 기준과 투명성: AI 시스템의 설계와 운영은 윤리적 책임을 갖추어야 하며, 투명성을 확보할 수 있도록 관리되어야 함, AI 시스템의 결과는 설명 가능해야 하며, 이를 통해 의사결정 과정에서 발생하는 윤리적 문제를 해결할 수 있어야 함
02-3a 인공지능 거버넌스에 대한 내부 지침 및 규정 준수 여부를 감독하고 있는가?
인공지능 거버넌스 담당자는 인공지능 시스템 생명주기에 따라 조직이 내부 규정을 준수함을 확인 및 감독해야 한다. 또한, 신뢰성 있는 인공지능 시스템을 목표로 적절히 관리 및 통제됨을 관련 이해관계자에게 입증해야 한다.
특히, 인공지능 시스템 위험관리와 관련된 내부 규정을 이행하는지 감독함으로써 인공지능 시스템의 잠재적 위험으로부터 조직 및 이해관계자를 보호하고 조직의 역량을 향상할 수 있다.
따라서 인공지능 거버넌스 체계에서 감독을 담당하는 조직은 인공지능 시스템에 대한 이해를 바탕으로 역할에 대한 책임 및 권한을 명확히 인지하여 인공지능 시스템 생명주기에 걸쳐 모든 규정이 이행되는지 감독해야 한다.
02-4 인공지능 거버넌스 조직이 신규 및 기존 시스템의 차이점을 분석하였는가?
무분별한 인공지능 시스템 개발이 범람할 경우, 서비스 사용자에게 혼란을 가중할 뿐만 아니라 시스템 개발 및 유지보수에 불필요한 예산 사용을 초래한다.
신규 계획 중인 인공지능 시스템이 기존에 운영 중인 시스템과 활용 대상 및 역할 측면에서 유사한지 고려하고, 기존 시스템에 대한 벤치마크 및 사례 연구를 통한 개선이 가능한지 분석한 결과를 기반으로 시스템을 계획 및 설계해야 한다.
02-4a 기존 동일 목적의 시스템과 비교하여, 신규 시스템이 개선할 수 있는 사항을 분석하였는가?
신규 인공지능 시스템 구축을 준비할 때, 구축하고자 하는 목적과 유사한 기존의 시스템이 존재할 수 있으므로 구축 사례들을 조사하는 것이 좋다. 이는 기존 동일 목적의 시스템의 문제점을 파악하여 신규 시스템이 좀 더 편리하고, 효율적으로 활용될 수 있도록 개선 사항을 도출하기 위함이다.
개선 사항 도출 과정에는 기존의 유사한 인공지능 시스템에 대한 벤치마크 및 사례 연구를 활용할 수 있다. 또한, 주요 이해관계자들의 의견 교류가 필수적으로 수반되어야 하며, 객관적인 기준, 근거, 검증을 기반으로 개선 사항을 도출해야 한다.
Last updated