연구성과
연구보고서
공공부문 AI기반 의사결정을 위한 신뢰 기반 거버넌스 설계 방안
- 책임자 김성부
- 소속기관한국행정연구원
- 내부연구참여자
- 외부연구참여자
- 발행기관 한국행정연구원
- ISBN
- 출판년도2026
- 페이지169
- 보고서유형 연구개발적립금보고서
- 연구유형 정책
- 표준분류 일반공공행정 및 공공안전 > 법제도
- 자료유형연구보고서
- 공공누리유형 2유형 (출처표시 + 상업적이용금지)
- 주제어ADM거버넌스;인공지능기본법;AI의사결정;데이터기반행정;AI
- 조회수 104
- 다운로드 8
국가정책연구포털(NKIS)이용에 항상 감사드립니다.
이용하시는 자료는 연구기관의 소중한 연구성과물로 저작권 및 이용조건 등을 준수하여 활용해 주시기 바랍니다.
자료 다운로드를 위해 하단의 자료이용 동의서 및 사용목적 등에 응답 부탁드립니다.
답변하신 내용은 NKIS 정보 활용 현황 및 서비스 분석을 위한 기초자료로 활용됩니다.
감사합니다.
자료 이용 시, 국가정책연구포털(NKIS)에서 제공하는 저작물을 이용하였음을 명시할 것을 동의합니다.
무단으로 연구성과물을 사용하였거나 NKIS에서 제시한 이용조건을 이행하지 않았을 경우,
저작권법에 따라 관련기관에 처벌을 받을 수 있으며, 즉시 저작물의 이용허락을 중지할 수 있습니다.
국가정책연구포털(NKIS)이용에 항상 감사드립니다.
이용하시는 자료는 연구기관의 소중한 연구성과물로 저작권 및 이용조건 등을 준수하여 활용해 주시기 바랍니다.
자료 다운로드를 위해 하단의 자료이용 동의서 및 사용목적 등에 응답 부탁드립니다.
답변하신 내용은 NKIS 정보 활용 현황 및 서비스 분석을 위한 기초자료로 활용됩니다.
감사합니다.
자료 이용 시, 국가정책연구포털(NKIS)에서 제공하는 저작물을 이용하였음을 명시할 것을 동의합니다.
무단으로 연구성과물을 사용하였거나 NKIS에서 제시한 이용조건을 이행하지 않았을 경우,
저작권법에 따라 관련기관에 처벌을 받을 수 있으며, 즉시 저작물의 이용허락을 중지할 수 있습니다.
국문초록
- 1. 연구목적 및 필요성 ○ 연구의 배경 및 필요성 - 디지털플랫폼정부 구현의 핵심으로 AI 기술과 RPA 등 업무 자동화 도입이 세계적으로 확산 중 - 기존의 규칙 기반 RPA를 넘어 스스로 데이터를 분석하고 학습하는 AI 기반 알고리즘 의사결정(ADM) 시스템으로 급격히 전환될 전망 - 복지급여 심사, 사기 적발 등에서 효율성 증진이 기대되나, 투명성 결여, 알고리즘 편향, 책임소재 불분명으로 인한 사회적 신뢰 훼손 우려도 공존 - 네덜란드, 영국 등의 실패 사례는 ADM 사용이 사회적 혼란을 초래할 수 있음을 보여주며, 기술적 성능만큼이나 사회적 수용성과 정당성 확보가 중요한 정책 이슈로 부상 - 기술적 성능을 넘어선 정당성 및 수용성 확보: 신뢰가 확보되지 않은 기술 도입은 사회적・경제적 비용을 막대하게 증가시키며, 시민사회와 정부 간의 관계를 약화 ○ 연구의 목적 - AI 기반 의사결정 시스템에 관한 선행연구 및 국내외 사례를 분석하고, 시스템 신뢰성에 영향을 미치는 결정요인을 실증적으로 분석 - 데이터 수집부터 산출까지 전 과정에서 인간의 책임과 개입(HITL)을 반영한 신뢰 기반 ADM 거버넌스를 제시 ○ 연구의 내용 - 이론적 논의: ADM 시스템의 개념 및 특징 검토를 통해 신뢰성 측정 및 개선을 위한 분석틀 도출 - 신뢰성 분석: 공공부문 종사자를 대상으로 ADM 시스템의 신뢰도와 결정요인에 대한 주관적 평가를 실증 분석 - 사례 분석: 국내 ADM 현황 및 사례를 살펴보고, 도출된 분석틀을 국외 ADM 도입 사례에 접목하여 심층적으로 고찰 - 거버넌스 설계: 연구 내용을 바탕으로 ADM 신뢰 제고를 위한 거버넌스 구축 방안 제시 2. 연구 방법 및 주요 연구 결과 ○ 연구 방법 - 문헌 연구: 국내외 연구 논문, 정부 간행물, 정책 보고서 등에 대한 고찰을 수행 - 실증 연구: 공공부문 AI 시스템 담당자 및 사용자를 대상으로 설문조사를 실시하고, 순서형 로짓 회귀분석을 통해 신뢰도와 결정요인 간 관계를 분석 - 질적 연구: 심층 사례분석을 통해 정량적 연구 결과를 보완 ○ 이론적 논의 - 개념 및 특성: ADM은 알고리즘이 데이터를 학습하여 물리적・가상 환경에 영향을 미치는 결정을 내리는 체계로, 자기 학습 및 진화, 확률적 추론, 본질적 불투명성, 데이터 의존성, 사회・기술적 복합성 등의 특성 보유 - 신뢰가능한 AI 거버넌스 원칙: 신뢰가능한 AI를 위해 투명성・설명 가능성, 편향 최소화・공정성, 책임성・감사 가능성, 인간 중심성, 국제협력・상호운용성의 원칙 도출 - 숙의민주주의: AI는 대규모 참여 데이터를 처리하여 지식 격차를 줄이는 등 숙의민주주의를 확장할 가능성이 있지만, 알고리즘의 편향과 불투명성을 제어하기 위한 민주적 통제 메커니즘이 필수적 - AI 시스템 생애주기 (OECD 4단계): 설계・데이터・모델링, 검증・확인, 배포, 운영・모니터링 - ADM 거버넌스 신뢰도 결정요인: Agbabiaka et al.(2025)의 18개 요구사항을 생애주기 단계별(17개) 및 전 단계 공통(8개) 요인으로 매핑하여 총 25개의 분석 지표 도출 ○ 설문조사 개요 - 조사 목적: 공공부문 AI 기반 의사결정 시스템의 신뢰성을 진단하고, 이용자 신뢰 확보 및 시스템 개선을 위한 실질적인 방안 도출 - 조사 대상: 전국 중앙행정기관, 지자체, 공공기관 종사자 중 AI 시스템 담당자 및 사용자 총 198명 - 조사 내용: 시스템 특성(위험도, 자율성 등), 생애주기별 신뢰도 결정요인(25개), 종합평가 및 개선계획 ○ 설문조사 결과: 응답자 현황 - 활용 범위: 내부 업무 지원(62.6%)이 가장 많으며, 시민 대상 서비스(27.3%), 정책 의사결정 지원(10.1%)은 비교적 적음 - 자율성 수준: AI가 정보를 추천하고 인간이 최종적으로 결정하는 ‘의사결정 지원(HITL)’ 방식이 82.3%로 압도적 다수 - 위험도: 영향이 경미한 저위험 시스템(71.7%)이 고위험 시스템(28.3%)보다 2배 이상 많은 것으로 확인 ○ 설문조사 결과: 신뢰도 결정요인 평가(5점 만점) - 전 단계 공통: 이해관계자 참여(3.40점)와 인간의 감독(3.37점) 평가가 높은 반면, 투명성(3.23점)과 책임성(3.24점)은 상대적으로 낮음 - 단계별 특징: 설계・검증 등 초기 단계(1~2단계)보다 배포・운영 등 후기 단계(3~4단계)의 결정요인 점수가 더 높게 나타남 - 특성별 차이: 의사결정 자율성이 높은 시스템, 고위험 시스템, 그리고 정보시스템 업무 담당자일수록 신뢰도를 더 높게 평가 ○ 설문조사 결과: 진단 및 개선 방향 - 미흡한 영역: 기술적 견고성(50명), 데이터 프라이버시 및 보안(43명), 데이터 관리(41명) 순으로 보완이 시급하다고 지목 - 신뢰 확보 장애요인: 전문 인력 부족(84명)과 예산 부족(83명)이 가장 큰 걸림돌로 나타남 - 향후 개선계획: 담당자 AI 교육 강화(71명), 보안 및 프라이버시 강화(59명), 데이터 품질 관리 강화(56명)를 우선 추진할 예정이라고 응답 ○ 신뢰도 결정요인 회귀분석 결과 - 신뢰도 향상 핵심 요인: ‘이해관계자 참여’와 ‘정치적 정당성 및 민주주의’ 변수가 AI 시스템의 신뢰도 향상에 통계적으로 유의미한 정(+)의 영향을 미침 - 공정성 강조: 시스템의 공정성 및 비차별 요건이 충족될수록 이용자가 느끼는 종합적인 신뢰도가 높아지는 경향을 보임 ○ 설문조사 소결 및 의의 - 설문데이터 분석 결과, 공공부문 AI 시스템의 신뢰도는 전반적으로 ‘약간 충분한 수준’이나, 기술적 견고성과 데이터 관리에 대한 체감도는 여전히 낮음 - 신뢰받는 ADM 시스템 구축을 위해서는 생애주기 전 과정에서의 이해관계자 참여 확대와 민주적 정당성 확보, 그리고 실질적인 책임성 기제 마련이 필수적 ○ 대한민국 공공부문 ADM 사례: 최근의 환경변화 및 제도적 기반 - 인공지능기본법 시행(2026년): AI를 국가 행정 의사결정 체계에 공식 편입하고 법적 책임과 신뢰성 확보를 명문화 - 고영향 인공지능 규제: 국민의 생명・안전・기본권에 직결된 분야(복지 수혜 자격 심사 등)를 ‘고영향 AI’로 규정하여 엄격한 거버넌스 체계 구축을 강제 - 공공기관의 3대 법적 책무: 투명성 확보(사전 고지), 안전성 확보 및 위험 관리, 설명 의무(결정 근거 제공) ○ 대한민국 공공부문 ADM 사례: 정부 주도의 AI 인프라 구축 - 범정부 AI 공통기반 서비스: 보안이 확보된 정부 내부망에서 민간 초거대 AI 모델을 공동 활용하는 국가 표준 인프라 - 지능형 업무관리 플랫폼(행정 AI 비서): 공무원의 단순 반복 업무를 줄이고 맥락 기반 질의응답 및 업무 자동화를 지원하는 서비스 - 국가 망 보안체계(N2SF): 데이터 등급(기밀/민감/공개)에 따른 차등적 보안 통제로 데이터 공유와 보안성 확보를 병행 ○ 네덜란드 아동수당 부정수급 탐지 알고리즘 사례: 개요 - 조세청의 사기 탐지 알고리즘이 이중국적 및 외국인 국적을 위험 지표로 사용해 26,000가구를 부정수급자로 오분류 - 수만 유로의 강제 환수 조치로 가정이 파산하고 2,000명 이상의 아동이 부모와 분리되는 등 ‘전례 없는 불의’를 초래하여 네덜란드 정부가 총사퇴 ○ 네덜란드 사례의 실패 원인에 대한 생애주기별 신뢰성 진단 - 설계 단계: 사기 예방이라는 공식 목표 대신 외국인 혐오적 포퓰리즘에 따른 ‘정치적 단속’이 실제 목표로 변질. 이해관계자 참여가 배제된 채 위법하게 국적 데이터를 수집 - 검증 단계: 기술적 견고성 테스트 부재로 유죄 판결율이 1% 미만인 저성능 알고리즘이 배포. 결정 근거를 알 수 없는 ‘블랙박스’로 설계 - 배포 및 운영 단계: 차별적 피드백 루프로 인해 시간이 갈수록 차별이 증폭되었으나 성능 모니터링이 없었음. 내부 고발자와 옴부즈맨의 경고 등 피드백을 무시 - 전 단계 공통: 투명성이 완전히 억압되었고, ‘알고리즘의 결정’이라는 핑계 뒤에 책임 구조가 붕괴되었으며, 인간의 감독은 형식적으로만 존재 ○ 사례분석 소결 및 의의 - 기술의 비중립성 인식: 편향된 데이터로 학습된 알고리즘은 과거의 차별을 자동화하고 규모화하므로, 기술적 효율성보다 윤리적 정당성과 민주적 책임성이 우선되어야 함 - 다차원적 통제 메커니즘: 배포 전 알고리즘 영향평가(AIA)를 의무화하고, 고위험 결정에는 반드시 인간이 개입(HITL)하는 구조를 설계해야 함 - 이의제기권 보장: 블랙박스 시스템은 민주주의와 양립할 수 없으므로, 시민의 알 권리를 보장하고 실질적인 구제 절차를 마련하는 것이 필수적 3. 정책제언 및 법령 개정사항 ○ ADM 거버넌스 설계 및 구축의 중요성 - 소버린 AI(Sovereign AI) 경쟁: AI 기술이 국가 안보와 경제의 핵심 자산이 됨에 따라, 자국의 법과 가치에 따라 AI를 통제하는 능력 확보가 필수적 - 행정의 AI 전환 가속화: 2026년 ‘인공지능기본법’ 시행과 함께 공공부문 AI 도입이 가속화되고 있으나, 데이터 품질 저하 및 책임 소재 불분명 등 도전과제가 산재 - 신뢰 확보의 필요성: 고위험 영역의 ADM은 국민의 기본권에 직결되므로, 기술적 효율성을 넘어 법적・윤리적 책임성을 담보하는 거버넌스 설계가 요구됨 ○ 법적・제도적 개선 전략 - 공공AI법 전면 개정 (2026년 2월): 기존 데이터 기반 행정을 ‘인공지능 기반 행정’으로 확대하고 ‘학습용 데이터’ 관리를 법제화 - 책임성과 투명성 원칙 확립: AI가 의사결정에 활용되더라도 최종 권한과 책임은 반드시 공공기관에 있음을 명시하여 ‘책임 공백’을 차단 - 공공분야 인공지능 영향평가 도입: AI 도입 전 기본권에 미치는 영향을 사전에 평가하고 결과를 공개하는 제도를 마련 - 권리 구제 절차 강화: AI 기반 처분에 대한 시민의 ‘설명 요구권’과 ‘재결정 요구권’을 행정절차법 등에 명문화할 필요 ○ 조직적・문화적 개선 전략 - 다층적 거버넌스 체계 구축: 전략 계층(국가인공지능전략위원회를 통한 정책 방향 설정), 조정 계층(인공지능책임관협의회를 통한 부처 간 정책 정렬), 실행 계층(각 기관의 AI・데이터 행정책임관을 통한 실질적 도입 및 위험 관리) - 인간 개입(Human- in- the- loop)의 유형화: 위험도에 따라 HITL(실질적 재검토), HOTL(예외적 수정), HOOTL(정기적 감사)로 인간 개입 수준을 차등 설계 - 인적 역량 강화: 공무원 AI 리터러시 강화를 위해 4단계 ‘공공 AI 역량 트랙’과 ‘AI 챔피언 인증제’를 운영 - 견제와 균형: 내부 AI- CDO의 실행력과 독립적인 AI윤리위원회의 규범적 통제를 유기적으로 결합 ○ 참여적 거버넌스 및 데이터 신뢰 모델 - 데이터 스튜어드십(Data Stewardship): 데이터 주체인 국민의 권익을 대변하는 신뢰 기반의 수탁자 모델로 전환하여 ‘윤리 워싱’ 문제를 해결 - 데이터 트러스트(Data Trust) 도입: 독립적인 제3의 기구에 데이터 관리 권한을 위탁하고 ‘신의성실의무’를 부과하여 공익 중심의 데이터 활용을 도모 - 사회적 합의 중심의 거버넌스: 단순한 ‘고지 및 동의’를 넘어, 이해관계자가 참여하는 독립 패널이 데이터 활용의 공익성과 윤리성을 심의하는 구조로 진화 촉진