科研评价方法与实证研究

二战以来,科学技术发展迅猛,已经成为改善人类生活、推动社会进步的重要力量。科学研究领域已经成为世界各国竞争的重点和焦点领域,成为综合国力中决定性和关键性的因素。在这种背景下,科学研究活动已经不再仅仅是科学家“好奇心”驱动的个人行为,而是政府战略发展规划的重要组成部分。随着政府在科学研究领域投入的急剧增长,科研评价已经不只是科学系统自身关注的重要问题,而成为政府和社会共同关注的重要问题。合理有效的科研评价机制对于优化科研资源的配置、激发研究人员的创新潜力、营造科技创新环境以及推进国家科技创新体系的建立和发展都具有重要的意义。科学研究领域的评价活动依赖于合理规范的评价环境和机制,更需要与科学研究的特点相适应的评价方法。本文在总结国内外科研评价的研究和实践的基础上,对科研评价方法展开系统研究。论文强调理论与实践相结合,重点研究具有较高应用价值的科研评价方法,并结合实际数据进行实证研究。论文从科研评价的信息基础出发,将科研评价方法分为三类:基于专家知识的主观评价方法、基于统计数据的客观评价方法和基于系统模型的综合评价方法。论文按照这种分类分别对同行评议方法、德尔菲法、文献计量方法、层次分析法和综合评价法等科研评价方法展开研究。之所以对这些方法展开重点研究,是因为同行评议方法和文献计量方法是科研评价的特征方法,而德尔菲法、层次分析法和综合评价方法也是在科研评价活动中具有较高应用价值的方法。全文共七章,可分为四大部分: 第一部分包括引言(第一章)和科研评价概述(第二章)。引言部分阐述了科研评价方法研究的理论价值和现实意义,系统分析了国内外科研评价方法研究和应用的现状和问题,指出了在理论研究和实际应用之间的空白,分析了这种空白存在的原因,并以此为出发点,阐述了本文研究的指导思想,构建了论文研究的内容体系。第二章介绍了科研评价的几个发展阶段,分析了科研评价的几种主要模式,提出了科研评价应该遵循的原则,并在一般意义上阐述了科研评价的数据收集和检验方法以及评价结果的信度检验和效度检验方法。 第二部分对同行评议方法(第三章)和德尔菲法(第四章)等基于专家知识的主观评价方法进行了研究。对于同行评议方法,论文结合国内外同行评议的实践情况,讨论了同行评议方法实施的几种主要形式及其主要优缺点;分析了同行专家选择的主要原则;探讨了同行评议实施过程中的规范与约束问题;并对网络环境下的同行评议方法的发展作了展望。对于德尔菲法,在介绍了德尔菲法的特点与实施步骤之后,论文讨论了德尔菲法的问卷设计和数据处理方法,探讨了德尔菲法的变型方法,并比较了德尔菲法和一般专家调查法的优缺点和适用范围,最后,作者结合一个实例详细介绍了德尔菲法的应用过程,并对实例进行了评析。 第三部分重点研究了基于统计数据的客观评价方法——文献计量方法(第五章)。作者首先介绍了常用于科研评价实践的文献计量指标及其数据源,然后对文献分布规律、科学生产率和引文分析方法和指标等进行了研究,并对文献计量向信息计量发展的趋势进行了探讨。之后,作者介绍了文献计量方法在科研评价中的主要应用,并提出了几个应该注意的问题:①文献计量方法比较适合宏观和中观评价;②应该注意不同学科的引文差异和评价对象的规模对结果的影响;③要保证数据源的客观性和代表性;④警惕文献计量指标的滥用和对某些指标的片面强调。最后,作者进行了两项实证研究,第一项实证研究提出了学科自引率和自被引率的概念,并将其用于对学科的发展评价,取得了良好的效果;第二项实证研究对我国627所高校的自报科研绩效评估指标和源生科研绩效评估指标的分布规律作了拟合研究,研究结果肯定了国内以前的同类研究的结论,即高校的自报科研绩效评估指标的客观性较差;同时也指出了国内有关研究中的“排序-频度”分布拟合方法的瑕疵与不足,并提出了更科学的科研指标分布拟合方法——“等级-频度”分布拟合,并通过实证分析证明了这种拟合方法的科学性。 第四部分研究了基于系统模型的综合评价方法——层次分析法(第六章)和综合评价法(第七章)。实际上,层次分析法也是一种综合评价法,但其独特的建模思想和较高的应用价值使作者觉得有必要对其单列一章进行研究。在第六章,作者详细介绍了层次分析法的基本原理和实施过程,探讨了层次分析法的群组决策方法,并提出了一种简明的群组决策专家定权方法,并通过实证研究进行了验证。在实证研究中,作者通过层次分析法建立了高校科研实力指标体系,验证了层次分析法用于科研评价实践的有效性。对于一般综合评价方法,第七章从指标体系的建立、指标权重的确定、基础指标评价值的确定、评价数据合成模型四个方面对综合评价方法进行了较全面的研究。作者重点研究了指标权重的确定方法,对确定权重的不同方法进行了比较分析,指出了各自的缺陷与不足。最后,作者进行了两项实证研究。第一项实证研究对主成分分析法用于综合评价的可行性进行了研究,在经过严谨的分析后,作者提出了主成分分析法并不适用于综合指标评价的新观点,其原因是对数据的相关性判断并不能代表对指标的价值判断。在第二项实证研究中,作者用综合指标评价法对627所高校的科研实力进行了排序,并在研究中强调了“规模与效率并重”的思想。 本论文是武汉大学教改研究项目《高校学科专业评价与调整对策研究》(武大教字[2003]193)和武汉大学社科研究项目《中国高校社会科学竞争力评价研究》(武大科文字[2003]31号)的成果之一。