从国外典型实践看政府科研计划项目立项评估(一)

王小龙

    子类类别:科技管理工作

    1.国外典型实践

1)美国国家科学基金会(NSF)的科研项目立项评估。

美国国家科学基金会(NSF)是1950年由美国联邦政府为资助基础研究、促进科学教育、培养科技人才、促进国际合作而专门设立的科研管理机构,它是美国联邦行政机构中唯一的专职科技管理部门。除5%的管理费用和约3%的委托项目外,NSF90%以上经费通过同行评估机制来确定资助对象。在科研项目的立项评估方面,通过多年探索,NSF建立了自己独有的、较为完善的项目立项评估机制。①评估方式。NSF在遴选项目时,采用内外结合的方式进行。申请项目首先要经过外部专家评估。NSF的大多数项目申请至少要由3人以上外部评估专家进行评估,外部评估一般通过函评、会评、函评加会评3种方式进行。2004财年向NSF申请的科研项目数为42.394件,而评估总数为254490次,平均每项申请的评估数达到约6次。NSF的函评方式是通过其Fastl ane 系统的信息提交子系统进行网上评估,该子系统允许评审专家给项目输入打分和评语。此外,某些资助计划的会评以虚拟会评“的方式进行。在虚拟会评中,参加评估的专家能够在办公室、家中或其他地点,使用NSF的电子交互会评系统(IPS)并通过电话会议或电视会议的方式进行评估。在2004周年,NSF约有84%的会评(包括在NSF集中召开的会议和虚拟会议)使用了交互会评系统。

在外部专家评估的基础上,NSF计划官员还必须进行专业判断。NSF计划官员在决定是否资助某个项目时考虑下列因素:对本计划研究领域人才培养和基础设施建设的潜在影响,对于重要的研究问题采取研究方法与途径的平衡,为了推动某个领域取得重要进展而支持高风险的研究。NSF的核心战略(如促进研究与教育结合)有助于本计划的某些特殊目标和动议取得成绩,本计划各研究方向上的平衡以及其他经费渠道的资助情况,地域分布。随后,NSF计划官提出资助建议,一般来说,该建议还会经过更高一级的负责的官员审核批准。②评估标准。NSF对项目的评估坚持两个标准,一是研究内容的学术价值,二是研究在培养人才和服务社会方面的影响。目前采用的评估准则从1997年开始执行。在申请项目的学术价值方面,要求评估人考虑,该申请在促进本领域或相关的知识发展的重要性如何、申请者(个人或团队)是否有能力开展该项目、申请开展的研究工作创造性和独创性如何、该申请是否思路清晰和组织有序、资源是否充足等,研究在培养人才和服务社会的影响方面,要求评估人考虑。该申请是否在促进发现的过程中同时也打动相关的教学、培训和学生的学习、是否有利于“弱势群体”(女性、少数民族、残疾人、偏远地区等)的参与、在多大程度上有利于研究和教育基础设施(如设备、仪器、网络和协作关系等)的发展,其结果是否能够得到广泛传播并提高人们对科学和技术的理解能力,该项目对全社会有何益处等。③对评估的监督与评估。所有管理活动必然涉及利益冲突,因此,NSF高度重视评估的公正性问题。NSF通过(政策手册)、《工作人员利益冲突和行为伦理规范手册》等相关规章内部人员的工作行为。每年还对计划官员开展专门培训,要求其关注所有申请项目评估中可能存在的利益冲突。对于评估专家,NSF在每位评估人收到评估材料时,同时附上NSF的评估须知和“利益冲突与保密声明”,对评估人的评估公正性提出具体而严格的要求。

同时,NSF对资助决定的形成过程建立了严格的程序。每个计划官员主要根据评估专家的意见做出资助建议,该建议一般要出更高一级的负责评估的官员(通常是处长)审核、NSF预算、财务与资助管理办公室(BFA)还要从资助管理的角度进行审核。为了监督评估工作,NSF主任评估委员会(DRB)每年对某个处的批准项目进行抽查,抽查的项目经费至少占该处平均年度预算的2.5%NSF的决策机构NSB每年也对某个科学部的批准项目进行抽查,抽查的项目经费至少占该部年度预算的1%。此外,NSF还常常对新设立的资助类型中批准的项目进行抽查。

此外,NSF建立了对价值评估的评估制度。NSF以科学部各处及其资助计划为单元设立审查委员会(COV),每3-5年对各处及其资助计划的价值评估活动进行评估。COV的成员由NSF以外的科学家、工程师和教育工作者组成,负责评估本处及其资助计划申请评估和资助决定过程的公正性和有效性并对其投资结果的质量进行回溯性评估。评估结束后,相关评估报告必须提交到所属科学部、极地计划办公室、国际合作办公室等的咨询委员会(DAC)进行审议。④专家资源。为了使外部评估过程具有权威性、客观性、广泛性和可监督性,NSF建立了自己庞大的专家资源队伍。到2004年底,NSF的专家资源库已经拥有了30万位评估人。这些评估人遍及美国的50个州和华盛顿特区,波多黎各等地,并且有5000多位评估人来自海外。同时,评估人员所属机构的分布也很广泛,既有2年制的学院和大学,也有可授硕士博士学位的研究型大学,还有产业界和政府的机构。这种做法既可以在较大程度上避免由于个人或机构的某种利益而干扰公正评判的产生。同时也可以消除学科保护主义,使交叉学科研究得到充分支持。

2)欧盟委员会第六框架计划项目的立项评估。

欧盟第六框架计划项目评估有着严格的遴选程序。欧盟委员会会任命独立专家对项目建议书进行评估。所有评估程序都在保密状况下进行。①评估原则。欧盟第六框架计划项目评估遵循以下原则:

质量:选出项目必须能证实其在科学、技术和管理方面的高质量。

透明:为了向申请者和建议书的评估专家提供一个清晰的框架,必须向任何感兴趣的团体清楚地描述资助的决策过程。另外,还必须把建议书的评估结果告诉申请者。

同等对待:所有建议书将被同等对待,不管建议书由谁申请,也不管申请者的身份如何。公平:所有建议书都要公平对待。

效率和速度:评估过程要尽可能快地进行、同时还要保持评估的质量,使资金得到合理使用。

伦理考虑:在任何时间,任何违反了基本伦理原则的建议书将不再被评估和选用。

②评估过程。欧盟委员会要对所有合格的建议书进行评估。每个评估都包括以下几个步骤:对独立专家进行指标。对建议书进行个人评估。意见讨论,小组评估。给申请者反馈。③评估标准。欧盟委员会第六框架计划项目有很多评估标准,包括:科学和技术的卓越性以及创新度、成功执行间接行动并确保其有效管理的能力、根据资源和能力,(包括参与方的组织形式)进行评估、与具体项目目标的相关性、欧洲附加值,流动资源的临界量和对欧盟政策的贡献、利用和传播知识的计划的质量、促进创新的潜力以及明确的知识产权管理计划等。而不同的项目类型有不同的评估标准。④项目选择,在此阶段,欧盟委员会将根据建议书的得分以及独立专家对优先顺序的建议草拟一份最终排序清单,同时对不合格的建议书、超出范围的建议书,没有达到单项标准最低分或总低分的建议书以及那些因为排名靠后的建议书进行否决,并将结果以书面的方式通知被否决的建议书的协调人。评估过程结束后,欧盟委员会将准备一份综合评估报告并把它交给计划委员会。此报告将包括全面的统计资料,收到的建议书的数量、涵盖的优先主题、申请者的类别以及要求的预算,评估过程以及独立专家的情况——数量、学科、国籍和性别。排序清单准备好后,未被否决的、可获得资助的建议书的协调人将受邀开始谈判。欧盟委员会要求申请者提交准备项目合同所必需的管理信息,并且要求他们在修改工作时要考虑评估过程中提出的所有技术变化。一旦与申请者定下了具体的合同条款并且完成了所有必需的检查,欧盟委员会将根据其内部程序选出受资助的建议书。等财务和法律程序完成后,欧盟委员会便与协调人和其它合同方正式讨论合同。⑤评估专家选择。通常,欧盟委员会要委任的专家协助评估建议书。所有符合标准的建议书都要进行评估以确定其质量。每个合格建议书的评估专家至少要有3人。而优秀网络和集成项目的建议书最少要由5名评估专家评估。

一般而言,欧盟要求独立专家具有适合于其评估活动领域的知识和技能。所有的独立专家还必须在一个领域或多个领域具有高水平的专业经验,这些领域包括:相关科技领域的研究、项目的管理或评估、研究或技术开发项目成果的利用、技术转让和创新、国际科技合作以及人力资源开发。在指定专家时,欧盟委员会还要考虑是否有能力正确评价所提交的工作以及他们的工业和/或社会规模。专家还需要具有评估建议书所需的合适的语言技能。他们可以来自非成员国或非联系国。⑥对评估的监督与评估。欧盟委员会聘请独立专家的详细资料都保存在一个中心数据库中。为了对提交的建议书进行评估,欧盟委员会将草拟一份合适的独立专家名单。评估专家的名单将由相关理事或合适的指定代表决定。欧盟委员会将定期在互联网上公布每个活动/研究领域的独立专家的名单。欧盟委员会选择评估团时将利用下面的选择标准,适当的资格,学术界专家、产业界家以及用户之间适当的平衡,合理的性别平衡,独立专家所在地理位置的合理分布,独立专家的定期轮换。

为了避免独立专家与其评估的建议书发生利益冲突,欧盟委员会要求专家签署一份在其任命期间不发生这种利益冲突的声明,而且如果在其评估期间发生了利益冲突,他们要通知欧盟委员会。欧盟委员会接到通知后,要采取所有必要的行动排除利益冲突。并且,从2004年开始欧盟委员会每年要保证更换至少1/4的独立专家。欧盟委员会还会给独立专家发放《独立专家行为守则》,对其评估行为提出严格要求。

此外,第六框架计划的评估工作还会聘请独立观察员来检查评估过程的工作和执行情况。他们将就评估各时段的行为和公平、评估程序改进的方式、评估标准以及评估专家使用这些标准的方式向欧盟委员2提出独立的建议。同时,观察员还要对达成一致结论的过程进行观察。但是,一旦观察员与欧盟委员会或欧盟其他任何组织或团体有直接联系,就不能再被任命。

(未完待续)

信息采集:王瑾

    地域:中国
    关键词:科研计划 项目立项 评估
    信息来源:《中国科技论坛》 2007第5期
    文档附件:

                                                                                                      [ 关闭窗口 ]

云南省科技厅信息网络管理中心

地址:云南省昆明市北京路542号     邮编:650051     电话:0871-3133013