연구보고서
보고서명과학기술혁신 정책진단 프레임워크 구축
보고서명(영문)A Study of Science, Technology and Innovation (STI) Policy Diagnosis Framework
원문다운로드 자료활용안내
국가정책연구포털(NKIS)이용에 항상 감사드립니다.
이용하시는 자료는 연구기관의 소중한 연구성과물로 저작권 및 이용조건 등을 준수하여 활용해 주시기 바랍니다.
자료 다운로드를 위해 하단의 자료이용 동의서 및 사용목적 등에 응답 부탁드립니다.
답변하신 내용은 NKIS 정보 활용 현황 및 서비스 분석을 위한 기초자료로 활용됩니다.
감사합니다.
자료 이용 시, 국가정책연구포털(NKIS)에서 제공하는 저작물을 이용하였음을 명시할 것을 동의합니다.
무단으로 연구성과물을 사용하였거나 NKIS에서 제시한 이용조건을 이행하지 않았을 경우,
저작권법에 따라 관련기관에 처벌을 받을 수 있으며, 즉시 저작물의 이용허락을 중지할 수 있습니다.
국문초록
- 제1장 서론
□ (연구 배경) 국가연구개발사업은 국가 과학기술 역량 증진 및 경제·사회적 목표 달성을 위한 정책수단으로서 지원이 지속 확대 되어온 반면, 과학기술정책의 성과 및 평가에 대해서는 명확한 답을 찾지 못하고 있는 상황
◦ 최근 들어 오히려 R&D 투자 대비 성과에 대한 부정적인 인식과 평가가 확산
- 최근 5년간 출연연의 연구생산성은 2~3% 수준으로 미국(10% 수준)에 비해 낮으며, 출연연 특허출원 중 현장 이전․활용 특허 비중은 38.9%로 저조
◦ 이러한 지속적인 문제제기를 극복하기 위해서는 과학기술정책을 포괄적으로 진단하고 이를 바탕으로 과학기술정책에 대한 효율성 및 효과성 제고 필요
◦ 지금까지 과학기술혁신 분야 정책평가는 국가연구개발사업과 기관에 대한 평가 위주임
- 사업 수준에서의 평가는 기획 단계에서의 예비타당성평가, 사업 수행단계에서의 중간평가, 종료단계에서의 성과평가 등 비교적 체계적인 틀이 확립
[요약그림 1] 국가연구개발사업 평가 체계
자료: 국가과학기술지식정보서비스 웹사이트(2021.6.29.)
◦ 개별사업 평가만으로는 과학기술혁신 분야 정책의 궁극적 목표 달성도 평가가 어려움
- 특정 사업이 성공하였더라도 그 사업이 궁극적으로 목표하고 있는 바가 무엇이며, 국가 과학기술정책의 큰 그림 내 어디에 위치하고 있는가에 대해 명확한 정립 필요
□ (연구 목적) 본 연구는 기존의 ‘사업’ 중심의 평가를 넘어, 좀 더 상위 개념으로서의 ‘정책’을 ‘진단’하기 위한 분석 프레임워크를 제시하고자 함
◦ 본 연구에서의 ‘정책’이란 ‘사업’이 아닌 좀 더 상위 레벨의 정책(중장기계획)을 의미함
- 개별 사업의 시작점이라 볼 수 있는 과학기술 관련 국정과제나 핵심 기본계획 등의 기획과정의 적절성, 실행과정의 효율성, 목적 달성도 등을 살펴보고자 함
[요약그림 2] 본 연구의 분석 범위
자료: 연구진 작성
◦ 본 연구에서는 ‘진단’이라는 범용적인 용어가 행정학의 정책평가에서 어떠한 영역에 포함되는가를 살펴보고 정책진단 프레임워크를 구축하고자 함
[요약그림 3] 정책평가에서의 진단의 범위
자료: 연구진 작성
□ 연구 목차 및 주요 내용
◦ (제2장) 행정학에서의 정책평가 이론을 고찰하고, ‘정책진단’ 개념의 해당영역을 파악
◦ (제3장) 정책진단 프레임워크의 기본 구조 설정을 위해 기존 과학기술혁신 분야 중장기계획을 대상으로 이루어진 다양한 선행연구 분석하고 의미와 한계점 도출
◦ (제4장) 과학기술혁신 분야 정책(중장기계획) 진단 프레임워크를 개발ㆍ설계
◦ (제5장) ‘제3차 기초연구진흥종합계획(2013~2017)’을 대상으로 시범적으로 정책 진단을 실시해봄으로써, 개발한 프레임워크의 적용가능성 및 타당성 검토
◦ (제6장) 연구결과를 종합하고 다양한 시사점 도출, 연구 한계 및 향후과제 제시
제2장 행정학 관점에서의 정책평가 이론 검토
□ 정책평가의 정의
◦ 행정학에서 정책평가(policy evaluation)란 정책이 달성하고자 하는 목표가 대상 집단에 미칠 수 있는 효과를 객관적ㆍ세부적ㆍ실증적으로 검토하는 것을 의미
- OECD-DAC는 정책평가를 ‘진행 중이거나 완료된 정책(사업, 과제)과 그 설계, 집행 과정 및 결과를 체계적이고 객관적으로 조사하여 잘못된 것을 바로잡는 것’으로 정의
- 정책평가는 정책형성, 집행프로세스, 결과/효과의 체계적 확인ㆍ검토 활동으로 정의됨
[요약그림 4] 정책 과정(policy process)
자료: 김명수·공병천(2016)
◦ 우리나라 정부에서 시행 중인 정책평가제도는 「정부업무평가 기본법」에 의거하여 시행 중인 ‘정부업무평가제도’가 존재
- 국조실과 정부업무평가위원회를 주축으로 중앙행정기관, 지자체, 공공기관 등이 시행하는 정책이나 사업 등에 대해 계획의 수립이나 집행과정 및 결과를 평가
[요약그림 5] 정부업무평가 현황과 유형
자료: 황석원 외(2016)
□ 정책평가의 유형
◦ 정책평가의 유형은 총괄평가, 과정평가, 메타평가(상위평가)로 구분
- 총괄평가: 결과/성과/영향평가를 포함, 완료된 정책의 효율성ㆍ효과성ㆍ형평성 평가
- 과정평가: 정책 집행 위한 계획, 절차, 자원, 활동을 점검, 정책 효과의 인과관계 규명
- 메타평가: 상위평가라고도 하며, 평가주체의 1차평가에 대한 비평적인 2차평가
◦ Vedung(2005)은 정책평가모형을 목표달성평가, 부수효과평가, 목표배제평가, 포괄적평가, 고객지향평가, 이해관계자평가 등으로 구분
[요약그림 6] Vedung(2005)의 정책평가모형
자료: 류영수 외(2017)
□ 정책평가의 방법
◦ 정책평가의 방법이란 정책평가의 설계 접근법으로 설명할 수 있는데, 이는 적합한 정보 산출을 위한 명확한 자료 분석계획이며, 정책평가 설계접근법은 정책평가용 연구 설계 시 평가이론을 근간으로 하는 방법론적 전략 수립을 의미
- 진실험 설계접근법(true experimental evaluation design)은 실험 및 통재집단 선정의 무작위성을 확보할 수 있고, 정책 간여 조정을 할 수 있는 평가 설계접근법
- 준실험 설계접근법(quasi-experimental evaluation design)은 무작위배정상의 통제로 정책평가가 불가능하거나 비교가능한 같은 통제집단 이용이 불가능할 경우 활용
- 비실험 설계접근법(non-experimental design)은 정책 간여 조작이 수월하지 않고, 정책간여 후의 변화 인지에 한계가 있는 경우, 조사 대상 선정의 무작위성이 보장되지 않는 경우, 실험 전 통제집단이 이루어지지 못할 경우 활용
<요약표 1> 정책평가 설계접근법 비교
실험 설계접근법
비실험/전실험
설계접근법
진실험 설계접근법
준실험 설계접근법
평가 이론
전제
전제
무관
사업 모형
전제
전제
무관
평가 대상
한정
한정
광범/한정
평가 기법
양적 분석 위주
질적 분석 가능
양적 분석 위주
질적 분석 가능
질적 분석 위주
양적 분석 가능
타당성의
위협 요인
내적 타당성 上
외적 타당성 中/下
내적 타당성 中
외적 타당성 上
내적 타당성 下
외적 타당성 中/下
정책평가 시
적용 한계
정책 간여 조작 배제 불가로 실제 적용상 한계
실제 적용 가능
실제 적용 가능
종합
현실적 적용 제약 극복 후 활용 가능
현실적 활용 가치 우수
실험설계접근법과의
병행 필요
주1) 내적 타당성: 외생 변수의 영향 통제 정도
주2) 외적 타당성: 실제 상황과의 유사 정도(일반화)
자료: 이윤식(2011); 임형백(2020), p.3에서 재인용
□ 과학기술혁신 분야 정책평가의 대상에 대한 논의
◦「국가연구개발사업 등의 성과평가 및 성과관리에 관한 법률」상 정책평가란 “정부가 추진하는 연구개발 활동에 관한 평가로, 사업평가, 과제평가, 출연연구기관평가로 구분”
- 정책평가의 대상을 개별사업이나 과제 단위 수준으로 인지하는 평가 관점에서는 사업 예산의 효율성, 혹은 중복성을 중심으로 평가
- 모든 사업의 능률성을 향상시키면 정책 효과 또한 향상될 것이라는 전제 하에 정책 평가가 사업 성과로 측정
- “개별 사업 성과의 총합 = 특정 정책 성과”라는 함수의 설정은 미시-거시의 역설(micro and macro paradox)로 설명이 가능하며, 사업에 대한 평가를 종합하여 정책의 성공 여부를 판별하는 방식에 대한 논의가 현재까지 부재함을 확인
- 정책평가 대상을 개별 사업 및 과제 단위 수준으로 설정하기 위해서는 정책-사업 간 연계의 명확화가 선제되어야 하나, 이에 대한 데이터적 접근이 쉽지 않은 상황
- 상위 수준의 정책조정을 가능케 히는 포괄적이며 적절한 정책 평가가 필요한 상황
제3장 과학기술혁신 분야 중장기계획 평가 사례 연구
□ 과학기술혁신 분야 중장기계획 추진 현황
◦ 우리나라는 경제발전과 함께 국민의 삶의 질 향상을 위해 국가경쟁력 제고의 핵심동력인 과학기술 부문에 대한 중장기계획을 체계적으로 수립·추진 중
- 2019년 기준 총 16개 부처에서 총 89개의 중장기계획을 수립하고 있으며, 이중 법적 근거를 통해 수립되는 중장기계획이 전체의 94.4%를 차지하며, 중장기계획을 실현하기 위한 시행계획을 수립하는 경우가 73.0%에 달함
연도
’08
’09
’10
’11
’12
’13
’14
’15
’16
’17
’18
’19
부처 수
18
18
18
18
18
19
18
17
16
16
16
16
계획 수 (개)
83
93
105
111
113
116
120
112
93
94
84
89
<요약표 2> 과학기술 분야 중장기계획의 수 추이
자료: 과학기술정보통신부, ｢과학기술분야 중장기계획 조사･분석 결과｣, 각연도; 국회미래연구원(2019a)에서 재인용
연도
’08
’09
’10
’11
’12
’13
’14
’15
’16
’17
’18
’19
법적 근거
마련 계획
비중 (%)
66.3
65.6
62.9
64.9
67.6
69.0
69.2
85.0
93.5
89.4
94.0
94.4
시행계획
수립 계획
비중 (%)
69.9
69.9
67.6
69.4
66.4
62.9
66.7
70.0
76.3
75.5
67.9
73.0
<요약표 3> 법적 근거 마련 및 시행계획 수립 중장기계획의 비중 추이
자료: 과학기술정보통신부, ｢과학기술분야 중장기계획 조사･분석 결과｣, 각연도; 국회미래연구원(2019a)에서 재인용
- 총 89개 과학기술 분야 중장기계획 중 과기정통부의 중장기계획이 절반(48.3%, 43개)을 차지하고 있으며, 산업통상자원부와 농림축산식품부를 포함한 상위 3개 부처의 중장기계획이 총 63개로서 70.8%의 비중을 차지
부 처
계획 수(개)
부 처
계획 수(개)
과학기술정보통신부
43
해 양 수 산 부
2
산업통상자원부
11
농 촌 진 흥 청
2
농림축산식품부
9
산 림 청
2
기 상 청
4
행 정 안 전 부
1
국 토 교 통 부
3
문화체육관광부
1
보 건 복 지 부
3
식품의약품안전처
1
환 경 부
3
중소벤처기업부
1
원자력안전위원회
2
국 방 부
1
16개 중앙행정기관, 89개 계획
<요약표 4> 중앙행정기관별 과학기술 분야 중장기계획 현황(’19.12.)
자료: 과학기술정보통신부(2020.6.)
- 분야별 중장기계획의 수는 생명‧의료(19개), 에너지‧환경(18개), 기초‧기반(15개), 공공‧우주(14개) 분야가 많음을 확인
[요약그림 7] 과학기술 부문 분야별 중장기계획 현황(’20.12. 기준)
자료: 과학기술정보통신부(2020.6.)
□ 과학기술혁신 분야 중장기계획 평가 사례
◦ (KISTEP ‘과학기술분야 중장기계획 조사분석’) 2008년부터 매년 과학기술 부문 중장기계획 전체 현황을 조사ㆍ분석하여 중장기계획의 실효성 제고를 위한 개선방안 제시
- 5년 이상의 시계 범위를 지니는 과학기술혁신 분야 중장기계획에 대한 조사분석 연구를 실시하고, 계획 간 연계와 조정이 필요한 영역을 식별하고, 계획 간 연계성 및 정합성 증대를 위한 권고방안을 제시하는 데 초점을 맞추고 있음
- (i) 상위 종합계획과 세부계획 간 연계성 분석, (ii) 계획의 실효성 제고와 계획 간 정합성 강화를 위한 권고사항 제시, (iii) 연차별 성과복표 달성도 점검, (iv) 매해 종료되는 중장기계획을 대상으로 하여, 계획수립, 정책 시행, 정책 결과 등에 대한 전주기적인 분석을 수행
<요약표 5> KISTEP ‘과학기술분야 중장기계획 조사분석’ 내 심층분석 점검 항목
부 문
분석항목
세부내용
수립
1. 정책수립의 타당성
- 계획 수립단계에서의 환경 분석 적절성
- 의견수렴 및 심의기구 구성 및 운영의 적절성
2. 정책 연계성 및 차별성
- 상위계획과의 부합성
- 유관계획과의 연계성
3. 정책내용의 적절성
- 정책목표 및 성과지표 설정의 적절성
- 추진전략 및 과제의 구체성
시행
4. 시행상의 체계성
- 관리상의 체계성(관계부처 등과의 협조체계, 의견수렴 및 피드백 등 포함)
- 시행과정 중 발생한 환경변화
- 시행계획 수립의 체계성
결과
5. 정책목표 달성도와 차기계획 수립을 위한 발전방안
- 정책목표 달성도 및 목표 달성 미흡 원인 분석
- 정책성과의 우월성 및 홍보
- 차기계획 수립을 위한 개선방안
자료: 심정민 외(2020)
- KISTEP ‘과학기술분야 중장기계획 조사분석’의 경우 다음과 같은 한계점을 가짐
․(한계1) 과학기술혁신 분야 계획 간 ‘상호연계성’과 ‘정합성’을 증대하기 위한 권고방안 제시에 초점이 맞춰져 있어 과학기술혁신 분야 정책기획과 집행 단계에서 파생되는 다양한 정책문제들을 통합적으로 검토하는 데 다소 한계가 있음
․(한계2) 2020년부터 일부 계획들에 대한 정책성과 달성 여부를 점검하는 등 정책평가를 수행하고 있으나, 단순히 계획 내 제시되는 성과지표의 달성 여부만을 판단하고 있어, 중장기계획의 파급효과를 실질적으로 평가하는 데에 한계가 있음
․(한계3) 계획 내 성과목표의 달성 여부를 산출하는 방식과 방법론 선택에 대한 기준이 명확하게 제시되지 않고, 관련 방식과 방법론에 대한 타당성 검증이 이뤄지지 않아 향후 평가내용에 대한 신뢰성을 제고할 필요가 있음
․(한계4) 중장기계획의 수립, 정책 시행, 정책 결과 등에 대한 전주기적인 분석을 위한 점검항목 설정에 대한 기준이 다소 모호하고, 정책 시행과 정책 결과 단계에 대한 분석항목들이 다양하게 제시되지 못하고 있음
◦ (국회미래연구원 ‘중장기계획 수립·집행체계에 대한 메타평가’) 2019년부터 중장기계획의 현황 및 분야별 주요 중장기계획 심층분석을 통해, 중장기계획의 실효성을 제고하기 위한 메타평가를 수행
- 중장기계획의 내용, 수립절차 및 과정, 오류나 조작, 타당성에 대한 점검, 계획 간의 정합성 등 중장기계획 수립 및 집행체계 전반에 대한 포괄적평가를 하기 위한 방법론 제시
- 법정 중장기계획에 대한 전수조사를 바탕으로 한 네트워크 분석, 전문가 설문 및 중장기계획 평가 유사사례 분석 등을 기반으로, 중장기계획 평가를 위한 쟁점을 도출하고, 메타평가 체계(framework)와 주요 점검항목을 제안
<요약표 6> 국회미래연구원(2019a) 연구 내 중장기계획 메타평가 기준과 부문
중장기계획 평가 기준
타당성
∙ 중장기계획이 얼마나 객관적이고 합리적인 분석 결과에 근거하여 수립되었는지를 검토하는 기준
충실성
∙ 중장기계획의 형식적 측면에서 필요한 요소를 포함하는가를 의미하는 완결성 및 명확성 등의 검토 기준
실현가능성
∙ 중장기계획이 실제 적용되는 과정에서 필요한 내용 포함 여부 및 내용의 일관성이 존재 여부 등 확인 기준
▼
중장기계획 평가 부문
계획 구성
∙ 계획명, 수립주체ㆍ주기, 근거법령, 목적, 내용, 활용 및 기대효과, 담당부서, 연관부처 등 정보 포함 여부
계획수립
절차
∙ 연관계획, 유관 조직 및 정책 이해관계자 고려, 이전 계획에 대한 성과평가 및 활용, 향후 활용계획 및 기대효과 등 정보 포함 여부
계획내용
∙ 계획 목표, 수단, 한계 및 효과, 분석방법론, 분석자료, 분석 주기 등 정보 포함 여부
자료: 국회미래연구원(2019a)
<요약표 7> 국회미래연구원(2019a) 연구 도출 중장기계획 구성 평가의 틀
가. 전략과 추진과제의 응집성
∙ 계획의 목표 제시가 이루어졌는가?
∙ 계획의 비전, 가치와 같은 목표는 분명한가?
∙ 비전과 목표, 전략상의 연계가 타당한가?
나. 정책 환경 및 파급효과 분석
∙ 분석방법은 타당한가?
∙ 주요 미래동인에 대한 미래전망이 있는가?
∙ 주요 미래동인에 대한 전망은 충분한 시간 단위로 검토되는가?
∙ 분석방법에 활용된 자료는 타당한가?
∙ 분석방법에 활용된 자료는 출처를 제시하는가?
∙ 파급효과 분석은 적합한가?
∙ 파급효과 분석이 수행되고 있는가?
∙ 분석방법에 객관적인 자료가 활용되었는가?
∙ (과학기술 한정) 특정 기술 위주의 계획수립에 기술 추세분석이 선행되었는가?
∙ (과학기술 한정) 특정 기술 위주의 계획수립에 기술 수준 분석이 선행되었는가?
다. 타 계획과의 내용적 유사중복 검토
∙ 타 유사 계획과 상충될 검토하고 있는가?
∙ 타 유사 계획과의 상충될 가능성에 대한 해결 방안을 제시하고 있는가?
라. 추진전략의 구체성 및 타당성
∙ 계획의 목표 달성이 가능한가?
∙ 목표달성을 위한 자원 조달계획이 있는가?
∙ 목표달성에 포함되는 이해관계자 상황을 고려하고 있는가?
∙ 추진전략을 기술되었는가?
∙ 추진전략이 목표에 적합한가?
∙ 추진전략은 합리적으로 제시되어 있는가?
∙ 재원 조달 방안이 검토되었는가?
∙ 단계적 성과목표가 제시되었는가?
자료: 국회미래연구원(2019a)
- 국회미래연구원의 접근은 정부가 수립하는 과학기술혁신 분야 중장기계획의 정책기획 단계에 있어서 정책 내용들에 대한 체계적인 점검에 특화
- 과학기술혁신 분야 계획 간 ‘상호연계성’과 ‘정합성’에 초점을 맞춘 KISTEP의 조사분석 연구의 접근을 더욱 확장하여 다양한 정책 이슈(정책의 타당성, 객관성, 미래지향성, 명확성, 완결성, 합법성, 융합성, 활용성, 참여성 등)와 평가 기준 제시
- 하지만, 정책기획 내용에 대한 평가에만 머무르고 있어, 정책과정의 전주기적 정책 내용과 정책의 실질적 성과 등에 대한 체계적 평가는 이뤄내지 못한 한계점 존재
◦ (류영수 외(2017) ‘연구개발정책의 효과성 평가를 위한 탐색’) 정책 수준에서 효과성 진단을 위해 기초연구진흥종합계획(’08∼’12)을 대상으로 정책-성과 간 연계성 분석
- Vedung(2006)의 목표달성평가 모형에 기반하여 중장기계획의 효과성을 (i) 목표 달성 측정 (ii) 영향 검토 두 요소를 바탕으로 기초연구진흥종합계획의 효과성 측정
<요약표 8> 류영수 외(2017) 중장기계획 효과성 평가의 틀
자료: 류영수 외(2017)
- 분석 대상 선정 시, (i) 연구개발정책이 종료된 것일 것, (ii) 연구개발정책의 목표가 명확할 것, (iii) 연구개발정책의 목표를 달성하기 위한 구체적인 활동을 담고 있을 것, (iv) 연구개발정책의 목표를 달성하기 위한 연관 사업을 명시하고 있을 것을 제시
- 기초연구진흥종합계획(’08∼’12)의 경우, (i) 2012년 종료된 정책, (ii) 정량적 정책목표 제시, (iii) 정책과제와 중점추진과제라는 구체적 활동 포함, (iv) 매년 시행계획에 18개 중점추진과제별 관련된 연구개발사업과 일반재정사업을 명시
◦ (이명화 외(2020) ‘연구개발정책의 효과성 평가를 위한 탐색’) 과학기술 관련 국정과제에 대한 이행진척도를 다양한 관점에서 점검
- 이행진척도를 6가지 유형(사업추진, 제도개선, 계획수립, 정량적 목표 달성, 정성적 목표 제도개선, 복합)으로 구분하고 각 부처에서 제공받은 실적을 5점 척도로 평가
<요약표 9> 이명화 외(2020)의 세부과제별 실적평가 방식
세부과제
이행과제
유형
평점(5점)
실적
근거
과제1
1)
제도개선
2)
정성적 목표
3)
사업추진
과제 2
1)
계획수립
2)
복합
3)
정성적 목표
과제 3
1)
제도개선
2)
정량적 목표
...
...
...
...
...
...
자료: 이명화 외(2020)
- 실적유형 구분 및 평점 부여 기준을 아래 표와 같이 부여
<요약표 10> 이명화 외(2020)의 실적 유형별 구분 및 평점 부여 기준
구분
유형
1
2
3
4
5 (완료)
1
사업추진
기본방향
사업기획
예산반영
사업계획서 수립
사업 시행
2
제도개선
기본방향
의견수렴
정부안 확정
관련조치/시범시행
전면 시행
3
계획수립
기본방향
의견수렴
정부안 확정
계획 수립(승인)
시행
4
정량적 목표 달성
목표치 대비 정량 성과의 비율에 따라 점수화
5
정성적 목표
목표 달성을 위한 노력 실적에 따라 점수화
6
복합
1-5번 기준이 복합적으로 포함되어 있어 내용별 점수화
자료: 이명화 외(2020)
- 이명화 외(2020)는 국정과제를 평가 대상으로 목표 대비 이행 정도를 점검하기 위한 프레임워크를 구축하였으나, 실제 정책이 수립 당시 목표로 하였던 정책효과를 창출하고 있는지 정책효과성 차원에서 분석프레임워크 보완 필요
제4장 과학기술혁신 정책진단 프레임워크 개발
□ 정책진단 프레임워크 개발 절차
◦ 제2장의 행정학 관점에서의 정책평가 개념과 제3장의 중장기계획 평가 관련 선행연구를 바탕으로 정책진단 프레임워크를 개발
- ‘정책’으로 정의한 과학기술혁신 분야 중장기계획에 대해 ‘진단’이라는 관점에서 정책기획-정책집행-정책평가를 아우르는 프레임워크를 구축
◦ (정책 기획 단계 진단) 국회미래연구원에서 제시한 틀을 활용하여, 타당성, 충실성, 실현가능성 등의 관점에서 중장기계획의 내용을 정량적ㆍ정성적으로 진단
[요약그림 8] 과학기술혁신 분야 정책 기획 단계 진단 범위 및 항목
자료: 연구진 작성
◦ (정책 집행 단계 진단) 정책 집행 단계는 중장기계획에 포함된 중점추진과제들이 연차별 시행계획을 거치면서 사업화 또는 제도화되는 일련의 실행ㆍ추진 과정을 진단
[요약그림 9] 과학기술혁신 분야 정책 집행 단계 진단 범위 및 항목
자료: 연구진 작성
◦ (정책 평가 단계 진단) 정책목표를 효과적으로 달성하였는가에 대한 성과/영향평가
- 중점추진과제의 양적ㆍ질적 성과 목표달성도 및 목표 이외의 부수효과 평가
[요약그림 10] 과학기술혁신 분야 정책 평가 단계 진단 범위 및 항목
자료: 연구진 작성
□ 정책진단 프레임워크 설계
◦ 정책 ‘기획’→‘집행’→‘평가’의 3단계를 종합적으로 진단하는 프레임워크 개발ㆍ설계
- 단계별 모니터링ㆍ피드백 및 정책 환류 체계 포함
[요약그림 11] 과학기술혁신 분야 정책진단 종합 프레임워크 개념도
자료: 연구진 작성
제5장 과학기술혁신 정책진단 프레임워크 시범적용
□ 정책 기획 단계 진단
○ 진단 프레임워크에 기반하여, 정책이 설계ㆍ형성되는 기획 단계에서 포함되어야 할 주요 내용 중심으로 진단 문항을 개발하고, 시범적으로 종합계획을 진단
- 여부(O/X)로 객관적 진단이 가능한 정량 진단 문항과, 전문가 서면 FGI 및 IDI를 통해 5점 리커트 척도로 진단하는 정성 진단 문항으로 구분하여 문항 개발
- 정성 진단 문항의 경우, 추가로 진단 결과에 대한 특별한 사유ㆍ근거를 서술
○ 8가지 항목별 1개 이상 정량 진단 문항 및 2개 이상 정성 진단 문항으로 구성
○ 연구진 자체 정량 진단 결과, 총 12개 중 7개가 ‘O’(제시됨), 5개가 ‘X’(제시안됨)
진단 항목
정량 진단 문항
진단 결과
1. 근거법령 준수 및 합목적성
근거법령의 존재 및 준수 여부
O
2. 연관 정책(계획)과의 관계 (유사중복 검토)
연관 정책(계획) 포함 여부
O
타 유사중복 계획 존재 및 상충가능성 검토 여부
X
3. 정책(계획) 추진의 구체성
계획 내 과제의 중요도 및 우선순위 제시 여부
X
4. 전략과 추진과제의 응집성 (목표와 추진전략 간 정합성)
연차별 추진내용(로드맵) 제시 여부
X
5. 추진전략/과제의 구체성 및 타당성
연도별 총예산 및 내역 사업별 예산 배분 내역 제시 여부
X
목표달성 및 전략 추진을 위한 자원조달방안 존재 여부
X
6. 기대효과의 구체성 및 타당성
기대효과 포함 여부
O
7. 작성 주체 및 관련 조직의 참여 정도 (수립절차의 체계성 및 타당성)
작성주체 및 작성방식 제시 여부
O
관련부처/부서/조직 간 협력체계(거버넌스) 명시 여부
O
8. 환류체계의 구축 정도
정책(계획) 추진/집행과정 진단 계획 제시 여부
O
정책(계획) 성과평가 계획 제시 여부
O
<요약표 11> 기초연구진흥종합계획 기획 단계 정량 진단 결과
자료: 연구진 작성
○ 전문가 정성 진단 결과, 관리자 3.36점, 연구자 3.65점, 전체 3.60점
- 전체적으로 근거법령 준수 및 합목적성 항목이 가장 높은 점수로 진단되었고, 작성 주체 및 관련 조직의 참여 정도 항목이 가장 낮은 점수로 진단됨
- 전반적으로 관리자 대비 연구자가 상대적으로 진단 결과가 높은 경향을 보임
진단 항목
진단 문항
문항별 진단 결과
항목별 진단 결과
관리자
연구자
전체
관리자
연구자
전체
1. 근거법령 준수 및 합목적성
1-1. 근거법령 해당 조함 및 계획수립 목적 구체성
4.60
4.57
4.57
4.40
4.48
4.46
1-2. 근거법령의 목적 및 취지와의 부합성
4.60
4.52
4.54
1-3. 수립 목적과 추진 경위의 명확성
4.00
4.35
4.29
2. 연관 정책 (계획)과의 관계 (유사 중복 검토)
2-1. 타 유사정책과의 연관성 및 상충가능성 검토 적절성
3.60
3.57
3.57
3.60
3.70
3.68
2-2. 타 유사정책과의 차별화 및 연계방안 구체성
3.60
3.83
3.79
3. 정책(계획) 추진의 구체성
3-1. 추진전략과 중점추진과제의 중요도 및 우선순위 적절성
4.00
3.70
3.75
3.07
3.46
3.39
3-2. 정책성과 활용계획 이행방안의 구체성ㆍ체계성
3.00
3.87
3.71
3-3. 예상 위험요인 고려와 대응(극복)방안의 적절성
2.20
2.83
2.71
4. 전략과 추진과제의 응집성(목표와 추진전략 간 정합성)
4-1. 연차별 추진내용(로드맵) 적절성
2.20
3.30
3.11
3.17
3.57
3.49
4-2. 추진전략 및 성과목표의 체계성
3.20
3.26
3.25
4-3. 중점추진과제 성과목표의 체계성
3.00
3.48
3.39
4-4, 연차별 성과목표의 진화성
2.60
3.39
3.25
4-5. 성과목표 설정 근거의 구체성
3.40
3.65
3.61
4-6. 비전, 목표, 정책과제 간 연계성
4.00
3.65
3.71
4-7. 법령상 목적성 달성의 적절성
3.80
4.22
4.14
5. 추진전략/ 과제의 구체성 및 타당성
5-1. 연도별 총예산 및 내역사업별 예산 배분의 적절성
2.20
3.09
2.93
3.00
3.43
3.35
5-2. 자원조달 방안의 적절성
2.60
3.04
2.96
5-3. 추진전략 및 중점추진과제 합리성ㆍ구체성
3.80
4.17
4.11
5-4. 추진전략 및 중점추진과제 간 상호연계성 검토 구체성
3.20
3.83
3.71
5-5, 단계별 세부활동, 일정, 방식 등의 구체성
3.20
3.00
3.04
6. 기대효과의 구체성 및 타당성
6-1. 기대효과의 객관적 근거와 정량적 지표의 적절성
2.80
3.65
3.50
3.20
3.85
3.73
6-2. 수혜자별 기대효과의 적절성
3.60
4.04
3.96
7. 작성 주체 및 관련 조직의 참여 정도 (수립절차의 체계성 및 타당성)
7-1. 작성주체 및 작성방식 등 수립과정의 상세성
3.20
3.09
3.11
3.33
3.22
3.24
7-2. 부처/부서/조직/이해관계자 간 협의과정 상세성
3.20
3.09
3.11
7-3. 의견 수렴과정 및 협의과정의 충분성
3.60
3.48
3.50
8. 환류체계의 구축 정도
8-1. 집행/추진 과정 진단 계획/시기의 적절성
2.60
3.13
3.04
3.13
3.50
3.43
8-2. 성과/영향평가 진단 계획/시기의 적절성
2.40
3.00
2.89
8-3. 이전 정책의 집행/추진 과정 진단의 체계성
3.60
3.57
3.57
8-4. 이전 정책의 성과/영향평가 진단의 체계성
3.60
3.74
3.71
8-5. 이전 정책의 집행/추진 과정 진단 결과의 반영도
3.20
3.87
3.75
8-6. 이전 정책의 성과/영향평가 진단 결과의 반영도
3.40
3.70
3.64
<요약표 12> 기초연구진흥종합계획 기획 단계 정성 진단 결과
자료: 연구진 작성
○ 정량 진단을 통해, 종합계획 기획 단계에서의 포함/누락 내용을 객관적으로 진단함으로써, 향후 연차별 세부시행계획에 반영 및 차기 종합계획 수립방향에 참고 가능
○ 정성 진단을 통해, 항목별ㆍ문항별 적절성 정도를 파악하고 비교해봄으로써, 어떤 항목/문항의 구체성 및 명확성 등을 어떻게 보완해야 할지 피드백 가능
□ 정책 집행 단계 진단
○ 완료된 계획을 기준으로 정책 집행 단계는 중점추진과제와 시행계획을 바탕으로 진단
○ 전문가 진단은 항목을 구조화해서 제시하고 5점 척도를 통해서 결과를 도출
- 총 5가지 항목에 대해 세부적으로 8개 문항을 설계하고 내용에 따라 연도별 또는 중점추진과제별 진단을 수행
- 총 32개 세부문항에 대해서 전문가의 정량적인 평가(5점 척도)와 정성적인 의견(평가 이유 등)을 정리하여 제시
- 중점추진과제 실현을 위한 사업/제도 추진 정도는 연도별 항목으로 구성하고 나머지 항목의 경우 중점추진과제 4개 대상 개별 문항을 구성하여 진단을 수행
진단항목
진단내용/문항
1. 중점추진과제 실현을 위한 사업/제도 추진 정도
연도별 실적이 중점추진과제 실현을 위해 적절하다고 보십니까?
2. 중점추진과제와의연계성
제시된 성과목표 및 계획이 해당 중점추진과제를 달성하기 위해서 빠짐없이 구성되어 충분하다고 생각하십니까?
제시된 성과목표 및 계획이 해당 중점추진과제의 목표에 맞게 적절하다고 생각하십니까?
중점추진과제 내에서 성과목표 및 계획을 비교할 때 연계성이 적절하다고 생각하십니까?
3. 정책수혜대상에 대한명확성
중점추진과제의 세부 성과목표 및 계획별 수혜대상이 명확하게 표적화(타겟팅) 된다고 생각하십니까?
중점추진과제의 세부 성과목표 및 계획에 따라 식별한 수혜대상은 적절하다고 생각하십니까?
4. 정책 서비스 전달 체계의 적절성
중점추진과제의 정책 목표 달성에서 정책 수요자(또는 수혜자)에게 정책 서비스에 대한 이해 및 전달 과정이 적절하였다고 생각하십니까?
5. 정책 환경 변화 반영
중점추진과제별 정책 환경 변화에 따른 정책대응 방안이 적절했다고 생각하십니까?
<요약표 13> 정책 집행 단계 진단 항목
자료: 연구진 작성
○ 정책 집행 단계의 진단 결과는 전반적으로 높게 나타남
- 진단 결과에서 매우 부정적 응답(1점)이 없으며 전반적인 평균 점수가 높게 나타남
- 항목별 평균 점수를 살펴보면 중점추진과제 실현을 위한 추진실적의 적절성 4.00점, 중점추진과제와의 연계성 세부항목 3.62, 3.80, 3.90점, 정책수혜대상에 대한 명확성 세부항목 4.02, 3.96점, 정책 서비스 전달 체계의 적절성 3.79점, 정책 환경 변화 반영의 적절성 4.12점
- 단, 상대적으로 시행계획의 구성이 중점추진과제 달성을 위해 충분한지와 정책 서비스 전달체계의 적절성 여부가 낮게 나타난 것을 확인할 수 있음
- 진단주체가 연구자인지, 관리기관 전문가인지에 따라서 중점추진과제에 대해서 바라보는 시각이 다르다는 것도 확인할 수 있음
- 연구자는 글로벌 선도 기초연구 거점 육성 과제에 대해서 상대적으로 낮은 점수를 주었고, 관리자는 질 중심의 평가체계 구축을 상대적으로 낮게 진단하였음
□ 정책 평가 단계 진단
○ 계획이 완료된 시점에서 계획의 각 세부 수준과 계획 전반을 대상으로 목표달성 평가와 부수효과 평가 수행
- (목표달성 평가) 계획에서 제시된 목표의 달성 여부를 진단
- (부수효과 평가) 제시된 목표 이외에 사전에 예측하지 못 했던 긍정 혹은 부정적 효과를 포함하며 평가 대상의 특성에 따라 상이한 진단내용으로 구성
․사례연구는 기초연구가 대상이므로 기초연구정책으로 인한 사회·경제적 효과에 초점
○ 전문가의 견해를 반영하고자 진단지를 통한 응답을 중심으로 종합적 진단 수행
- 진단지 문항은 5점 리커트 척도, 강한 부정 응답의 경우 응답자 의견을 추가로 기술
- 전문가들에게는 진단 문항, 당초 계획과 연구진이 분석한 주요 추진실적이 함께 제공
- (목표달성 평가) 성과 달성도, 목표 난이도, 성과 연계성의 3개 진단 유형으로 구성
․(성과 달성도) 당초 제시되었었던 정책의 목표 대비 실제 달성 수준
․(목표 난이도) 제시된 성과 달성의 어려운 정도
․(성과 연계성) 성과의 합이 상위 수준의 목표를 달성하기에 충분한 정도
․비전-성과목표-정책지표-중점추진과제로 구성된 기초연구진흥종합계획의 위계를 기준으로 성과목표, 정책지표, 중점추진과제의 각 수준에서 진단 수행
- (부수효과 평가) 지식창출, 미래연구, 정책 및 연구 활동에의 영향, 광범위한 사회경제적 효과 5가지 측면에서 진단
․(지식창출) 연구 성과목표 외 기초연구가 과학기술 전반의 지식 향상에 미친 효과
․(미래연구) 기초연구 분야뿐 아니라 기초연구정책이 응용과 개발 연구에 미친 영향
․(정책에의 영향) 기초연구 및 타 분야 과학기술 관련 계획에 미친 영향
․(연구수행에의 영향) 연구자들이 실제 수행하는 연구 활동에서 연구비나 시설 및 장비, 연구주제의 선택, 연구자 네트워크 형성에 미치는 영향
․(사회경제적 효과) 매출, 수출, 일자리, 고용 등 광범위한 사회경제적 영향
○ 이 계획에서는 도전적인 목표를 제시하여 정량적인 측면에서 목표는 대체로 달성되었고, 연구 환경 개선을 거두었으며, 그 효과 또한 지속됨
- (목표달성 평가) 당초 제시된 목표 수준은 도전적이었으며, 정량적인 목표는 어느 정도 달성되었으나 질적 목표를 달성하기 위한 구체적인 추진계획이 마련될 필요
- (부수효과 평가) 종합계획으로 인해 예산 증가, 기초연구 지원체계 구축, 연구 환경의 개선, 인력양성의 효과가 있었고, 이 효과가 여전히 지속되고 있으나 장기적 효과에 해당하는 경제사회적 성과에 대한 확인은 어려움
제6장 결론
□ 연구결과 종합 및 시사점
○ 본 연구는 자체 개발한 진단 프레임워크에 기반하여 각 단계별 주요 진단 문항을 개발 및 시범적으로 기초연구분야 종합계획을 진단함
- 정책 기획단계의 진단항목은 ‘법령준수 및 합목적성’, ‘유사중복 검토’, ‘정책추진의 구체성’, ‘정합성’, ‘타당성’ 등으로 구성됨
- 정책 집행단계의 진단항목은, ‘중점추진과제 실현을 위한 사업/제도 추진 정도’, ‘중점추진과제와의 연계성’, ‘정책수혜대상에 대한 명확성’, ‘정책 서비스 전달 체계의 적절성’, ‘정책 환경 변화 반영’으로 구성됨
- 정책 평가단계의 진단항목은 ‘목표달성 평가’, ‘부수효과 평가‘로 구성됨
○ 정책 기획ㆍ집행ㆍ평가 단계에서 결과는 각각 다음과 같이 나타남
- (정책기획단계) 연구자 그룹과 관리자 그룹에서 전체적으로 ‘근거법령 준수 및 합목적성’ 항목이 가장 높은 점수로 진단되었고, ‘작성 주체 및 관련 조직의 참여 정도’ 항목이 가장 낮은 점수로 진단되었음
- (정책집행단계) 전반적 평가 점수가 높았으나, 정책 서비스 전달체계의 적절성 여부가 낮음에 따라 지속적 모니터링과 정책집행 환류과정 역할 수행이 요구됨
- 정책평가단계에는 정량적측면의 목표는 대체로 달성된 것으로 나타났으나, 질적 목표 달성을 위한 구체적 추진계획의 필요와 함께 계획 종료 후의 모니터링, 진단과정 상 전문가 및 이해관계자 참여의 필요성이 제기됨
□ 연구의 한계 및 향후 과제
○ 정책 기획 단계 정량 진단의 이분법적 한계 보완을 위해, 진단내용 명확화, 진단 대상 정책의 특성ㆍ수준을 고려한 세분화된 진단(예: 세모(‘△’) 등) 보완 고려
○ 정책 기획 단계 진단 정성 진단의 경우, 이해관계자 제척, 같은 소속 인원 제한 등 가능한 여러 전문가 대상으로 진단을 수행함으로써, 선택편의 최소화 노력
○ 비교 대상 부재, 동일 가중치 적용, 정책별 전문가 상이, 전문가 유형 불균형 등의 이유로, 절대적 수치만으로 단정적 진단 및 직접적 비교에는 제약 존재
- 최대/최소값 제외 평균 계산, 진단 참여 전문가 확대 및 유형별 비중 균형화, 계층분석법(AHP)을 통한 가중치 적용 등을 통해, 편의 최소화 및 신뢰성 제고 가능
○ 전문가들의 진단 응답 결과와 제안된 피드백 의견을 참고ㆍ반영한 수정ㆍ보완으로, 진단 프레임워크 및 진단지의 고도화가 가능할 것으로 기대함
- 정책 집행 단계 진단의 경우 정책이 수행되는 도중에 진행되어야 하지만 본 연구의 시점적인 한계로 인해 완료된 계획을 기준으로 진단 방법을 변경하여 수행
- 이러한 한계점 극복을 위해 연도별 중점추진과제 성과, 중점추진과제별 시행계획, 정책수혜대상 식별 결과, 연도별 정책 환경 변화 및 주요 정책 대응을 제시
○ 정책 집행 단계 진단은 지속적인 모니터링이 필수적이고, 진단을 통해 시행계획의 완비성을 검토해야 하고 정책 집행의 환류과정 역할을 수행해야 함
- 중장기계획의 경우 시의적절한 집행 단계에 대한 모니터링이 선행되어야 하며, 현행 연도별 평가에서 절차를 간소화하여 월, 분기, 반기 등의 진단 수행 필요
- 모호한 정책지표나 중점추진과제를 구체화한 세부 시행계획에 대한 집행 단계의 진단도 필수적임
- 세부 시행계획은 성과목표나 계획으로 제시되는데 중점추진과제를 수행하고 정책 효과 달성을 하는데 있어서 공백 부분이 없도록 완비성을 가져야 함
- 정책 목표 달성을 위한 환류 과정이 정책 집행 단계에 대한 진단에서 이루어질 수 있기 때문에 그 중요성을 가진다고 할 수 있음
○ 정책 평가 단계 시범적용의 시사점으로 정책목표의 구체성‧체계성 향상, 계획 종료 후 미흡한 성과에 대한 모니터링, 진단 과정에서 전문가 및 이해관계자의 참여 필요성 확인
- 계획 기간의 종료된 이후에는 성과를 모니터링하지 않아 관련 실적의 추적, 정책의 중장기적인 영향을 파악하기 어려움
․특히 추진기간 동안에 목표치를 달성하지 못했거나 성과가 미흡했던 대상에 대해서는 계획이 만료된 이후에도 지속적인 관리가 필요
- 목표 제시가 불명확한 선언적 내용은 목표 대비 추진실적을 진단하기 어려움
․정책지표에 대한 목표가 명확히 제시되지 않아 비전과 중점추진과제 사이에서 계획의 구체성에 대한 공백 발생
․정책의 형성단계에서 중장기 기대효과가 논리모형과 같은 체계적 방법을 활용하여 제시되었는지 검토할 필요
- 진단 대상의 분야 특수성이 강하게 반영되는 부수효과는 분야마다 다른 진단 항목이 필요하므로 진단 설계 시 해당 분야 전문가 참여 및 이해관계자의 평가 수반 필요
․부수적 효과는 진단 대상인 기초연구정책에 대한 평가 결과보다는 진단 항목의 적절성에 의의가 있으므로 진단지 설계 시 해당 분야 전문가의 참여 필요
․향후 이 진단 프레임 워크를 정교화하여 본격 추진할 경우, 이해관계자들도 참여하여 이들의 특성에 따른 평가결과도 수반될 필요가 있음