中国医学科学院肿瘤医院临床科室科研信用评价体系的建立
【摘要】目的：建立中国医学科学院肿瘤医院临床科室科研信用评价体系。方法：采用德尔菲法进行两轮问卷调查，以集中各专家对各指标的内容及重要性评分的意见，采用层次分析法计算指标权重。结果：27名专家参与调查，问卷的有效率和回收率均为100%，专家权威系数为0.84。肯德尔和谐性分析显示两轮调查总体指标的协调系数分别为0.154和0.182，且P值均小于0.001，专家意见协调性较好。科研信用评价体系分为必要性指标和基础性指标。必要性指标包含8项指标，基础性指标包括4个一级指标、11个二级指标。结论：科研信用评价体系可以加强科室对于所承担课题的管理，及时发现可能存在的问题，并予以帮助，从而保障医院科研信用维持在良好的水平，切实落实科研项目管理的法人责任，而且有利于本学科建设。【关键词】科研信用 信用评价 医院科研 指标体系 临床科室
中图分类号 R197.323 文献标识码 A DOI 10.19660/j.issn.1671-0592.2018.08.21
Establishment on research credit evaluation system of clinical departments in cancer hospital of Chinese Academy of Medical Sciences / YAO Libo, WANG Yuanyuan, GAO Wenhong, DU Jun, TIAN Gu, WANG Yinghong, YANG Hui, TIAN Xiaojia, MA Lingli, ZHONG Mei// Chinese Hospitals. -2018,22(8):64-67
【Abstract】Objectives: To establish research credit evaluation system of clinical departments in cancer institute and hospital, Chinese Academy of Medical Sciences. Methods: With Delphi method, two rounds of questionnaires to focus on the opinions of the experts on the content and importance of each indicator. With AHP (analytic hierarchy process were carried out and the weight of indicators were calculated. Results: 27 experts participate in the survey, efficient and recovery was 100%, and the authority coefficient was 0.84. With Kendall harmony analysis, the coordination coefficients of two rounds were 0.154 and 0.182, and P values are less than 0.001, indicating that the results were desirable. The scientific credit evaluation system was divided into the necessity and basic indicators. Necessity indicators include eight indexes, and basic indicators include 4 primary indicators and 11 secondary indexes. Conclusions: Research credit evaluation system can help clinical departments enhancing the management of scientific research project, finding the possible problems in time and ensuring research credit in a good level. It also help assuring PI responsibility and benefit for discipline development.
【Key words】research credit, credit evaluation, research in hospital, index system, clinical department
Author's address：National Cancer Center/Cancer Hospital, Chinese Academy of Medical Sciences and Peking Union Medical College, No.17, Panjiayuan nanli, Chaoyang District, Beijing, 100021, PRC
在科技信用评价中，建立科学、公正、客观和全面的科技信用指标体系是具有关键意义的一项基础性工作。随着中共中央办公厅、国务院办公厅、科技部、国家自然科学基金委员会等部门陆续出台系列文件，推进科研项目（课题）过程管理责任由课题负责人逐渐向承担单位法人负责转变。具体措施包括对项目承担单位进行信用评级，并按信用评级实行分类管理，建立“黑名单”制度，将严重不良信用记录者记入“黑名单”，阶段性或永久取消其申请中央财政资助项目的资格，且间接费用的核定、项目结余经费的处理与项目承担单位的信用评价相关。因此，承担单位的科研信用变得尤为重要，如果项目（课题）在进行过程中出现失信行为，将会影响承担单位的信誉程度，对承担单位造成严重的影响。
国内学者对科研信用的研究主要是针对我国目前存在的科研失信现象、产生的原因以及科研信用体系建设等方面[1-2]。关于建立科研信用评价指标体系方面，一些学者提出了建立科研信用评价系统的设想，并对其进行了理论上的构建，涉及的内容主要包括科研人员在科研活动中表现出的品德、性格、行为和作风；科研能力和管理能力；工作环境和社会关系网络以及科研经费等[3-6]。
目前，国内外学者关于科技信用研究均基于科研项目组织机构，或者第三方评价机构的角度设计，评价对象包括科研项目评审专家、项目负责人、项目承担单位、项目组织单位。但是关于承担单位如何通过内部科研信用评价体系建设，以达到提升自身科研信用等级的研究并没有涉及。
一项科研项目的实施也必将获得科室的支持才能顺利完成。笔者考虑可
以发动各科室加入到医院科研项目的管理过程中。因此本研究拟探索建立一套基于科室层面的，科学、合理、可行、符合中国医学科学院肿瘤医院（以下简称“我院”）实际情况的科研信用评价体系。这样不但可以加强科室对于所承担课题的管理，及时发现可能存在的问题，并予以帮助，从而保障我院科研信用维持在良好的水平，切实落实科研项目管理法人责任，而且还可加强各科室对本科室科研项目管理，有利于本学科建设。
1 资料与方法
1.1 资料来源
本研究选择2 7名专家就科研信用评价体系的指标构成和权重，进行两轮德尔菲法调查。专家可对指标体系进行修改，并对每个一级指标和二级指标的重要性按5个维度（非常不重要、不重要、一般、重要、非常重要）赋1〜5分。入选专家需为硕士以上学历的临床、科研管理、财务管理方面的专家，了解科研科室绩效考评和信用评价。
1.2 研究方法
通过查阅国家和北京市的相关管理规定，及科研信用评价的相关文献，初步构建了科研信用指标体系的框架，采用专家访谈法进一步细化指标体系，形成第1轮调查问卷。采用德尔菲法进行两轮问卷调查，以集中专家的意见与建议。采用层次分析法计算指标体系的权重。
2 结果
2.1 两轮调查结果
参与调查的27名专家中，有24名本院人员、3名外院专家，其中2名来自项目主管部门，1名来自其他三甲医院。专业构成方面，20名专家来自16个临床科室，他们均是本科室主管科研的科室主任或者科研秘书，对科室绩效考评和信用评价较为了解。5名专家的专业领域是科研管理，1名是财务管理专家，1名是基础研究专家。
发放调查问卷27份，回收27份，回收率和有效率均达到100%。提出修改意见的专家共8人，占30%，涉及23条修改内容。专家意见的权威程度为0.84，大于0.7，说明选择专家具有较高的权威性，且专家对调查内容较熟悉，对调查内容的判断依据主要是实践经验和理论分析。
整体指标采用肯德尔和谐性分析，第2轮调查的专家意见协调系数高于第一轮调查的协调系数，且两轮调查结果w值均有统计学意义，说明第2轮调查专家意见的收敛性要好于第1轮调查。
2.2 指标确定
本研究遵循科学性、公正性、全面性、可操作性、系统优化性、实用性原则，对科研信用评价相关的影响因素进行梳理，初步建立我院科研信用评价的框架。经过两轮问卷调查，确定指标体系分为必要性指标和基础性指标，其中必要性指标包括8项，基础性指标包括4个一级指标、11个二级指标，详见表1。
必要性指标是基于国家及北京市科研信用评价相关的管理文件[7-15]中对科研信用记录有影响的内容，主要包括学术不端行为、科技计划经费管理中严重违规问题、匹配经费到位情况、技术保密、科技报告、未通过结题验收并造成负面影响，未按要求调整研究任务、未及时上报重大问题造成严重后果。
基础性指标主要包括两个方面，一部分考核内容可能不会对本单位的科研信用评级造成负面影响，但是如果出现类似问题，提示科研项目管理可能会存在潜在风险。此类指标主要包括课题结题验收情况（未对单位科研信用造成负面影响）、年度研究工作执行情况、科技计划经费管理问题、经费平均支出率、研究是否符合医学伦理、是否符合人类遗传资源管理的要求、是否均按要求配备财务助理等几个方面。另一部分内容与本科室内的科研项目过程管理没有直接联系，主要考核科室对于本科室内科研项目的监管情况，包括科室年度组织监督检查情况、配备主管科研主任情况、配备科研秘书情况、制定科室科研工作管理制度。
2.3 基础指标权重确定
根据第2轮调查的重要性得分，通过层次分析软件可以得到每个专家同层次指标的权重值结果。本研究考虑到每位专家的权威系数不同，因此单层次排序权重由专家权威系数进行加权平均，并进行归一化处理，得到表2中的一级指标和二级指标的单排序权重。组合权重为各二级指标权重×所属一级指标的权重。判断构造的矩阵是否合理，还需要进行一致性检验。经检验，以上矩阵的一致性比值CR值均＜0.1，表明构造的判断矩阵具有满意的一致性。
2.4 中国医学科学院肿瘤医院科研信用评价指标体系的应用
通过表1我院科研信用评价体系的构建，对相关定性和定量指标的数据进行收集，并且进行数据整理与分析，核查定性数据的内容。科研信用评价指标体系采用100分制，如果涉及必要性指标中存在某项问题，其所在科室本年度科研信用得分为0，基础性指标各科室根据具体实际情况计分。同时，结合国际上对信用的5级计分法，将科研信用等级分为5类，既AAA、AA、A、B、C，具体划分标准如表3。
承担单位可以根据科室科研信用评价结果，准确评定科室的科研信用等级，有针对性的加强管理。对科室的科研信用评价等级为B、C的，应加大检查力度，同时配合科室管理，及时协助课题负责人解决问题，重点对科室内课题负责人和财务助理的培训，以免造成影响单位科研信用的违规事件。
3 讨论
3.1 学科是科学研究全过程管理的重要环节
中国医学科学院肿瘤医院是集医教研防于一体，全方位开展肿瘤相关基础研究和临床诊治的国家标志性肿瘤专科医院。2017年承担在研课题500余项，其中国家级课题144项、经费合计3亿元，省部级课题64项、经费合计近4000万元。如何应对科研项目过程管理责任转变，保持我院良好的科研信用状态，成为一项亟待解决的问题。除了加强医院层面的科研管理，更要深入学科，发动科室加入到科学研究的全过程管理。各科室可针对本学科特殊情况，开展各类科研管理活动，不定期组织对所承担的科研项目进行检查，开展学术交流等，针对发现的问题，与职能处室讨论，提出解决方案。在及时发现本科室科研工作可能出现问题的同时，还可整合本学科的科研资源，有利于学科科研发展。如何实现科室对本学科项目的监管，我院在基础性指标里设立了一级指标“科室科研项目管理”。考虑科室可以对本科室内的科研项目进展、研究原始记录、人员配备、参与单位合作等研究工作管理情况每年至少组织一次督导，并且要有书面记录，配备1名主管科研的科室主任和1名科研秘书，主持和组织本科室的科研工作。同时要结合科室特点，制定本学科的科室科研工作管理制度。财政资助金额大于50万元的在研课题要求配备财务助理。科室与科研管理部门互动，及时发现可能存在的问题，并予以帮助，从而保障我院科研信用维持在良好的水平，切实落实科研项目管理法人责任，而且还可加强各科室对本科室科研项目管理，有利于本学科建设。
3.2 指标体系的创新性、实用性、局限性和可持续性
目前国内外学者对于科研信用评价均基于科研项目（课题）组织机构，或者第三方评价机构的角度设计，科研信用评价体系的对象是评审专家、课题负责人、承担单位及组织机构，对于承担单位如何在本单位内建立信用评价体系，加强本单位的科研信用建设并没有涉及，相关理论研究和实践经验完全空白。本研究是从项目承担单位角度考量，结合本单位实际情况，基于学科层面的科研信用评价体系。而且科研信用评价体系建立完成后，将作为我院临床科室科研绩效评价的一部分[16]，直接应用到临床科室科研绩效考评中。科研信用评价体系将从科研项目管理、科研经费管理以及科研工作的规范性方面，加强我院科研项目的全过程管理。基于本研究为切入点，可以对各临床科室进行科研信用评级，针对重点科室加强检查，协助处理存在的问题，加强培训。由于相关的理论与实践经验空白，本研究所列信用考核内容可能会遗漏对科研信用产生影响的要素，作为对项目承担单位科研信用评价的一种探索，可以在今后的实际运行过程中不断完善、改进，将来可以考虑扩展至基础研究组[17]，课题负责人、财务助理的科研信用评级，从而构建我院整个科研项目的信用管理体系。
参考文献
[1] 徐华.基于科研人员的信用评价模型设计[J].科学学与科学技术管理,2009,30(6):182-191.
[2] 袁尧清.科研行为信用评价与管理研究[J].科学管理研究,2016,34(5):32-35.
[3] 王文寅.科技信用风险管理研究框架[J].科技进步与对策,2011,28(10):17-20.
[4] 黄燕.我国科技信用评价体系研究[D].武汉:湖北大学,2008:15-31.
[5] 张明龙,张琼妮.增强自主创新能力的科研信用制度创新[J]. 西北工业大学学报·社会科学版,2012,32(4):69-84.
[6] 许斌丰,高亮,宋伟.科研项目承担单位经费信用评价指标体系构建[ J ] .中国高校科技,2015(1):83-85.
[7] 科技部.关于在国家科技计划管理中建立信用管理制度的决定［EB/OL. ( 2 0 0 4 - 0 7 21)[2017-09-02].http://www.most.gov.cn/ kycxjs/kycxgzdt/200703/t20070321_42252.htm.
[8] 科技部.国家科技计划（专项、基金等）严重失信行为记录暂行规定[ E B / O L ] . ( 2 0 1 6 0 3-25)[ 2017-09-02] .http://www.mo st. gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/ gfxwj2016/201604/t20160407_125044.htm.
[9] 北京市科学技术委员会.北京市科技计划管理相关责任主体信用管理办法(试行)［EB/OL］. (2010-10-01)[2017-09-02]. http://www. bjkw.gov.cn/n8785584/n8904761/n8904840/ n8917315/n8917420/8996905.html.
[10] 科技部,财政部.关于印发《国家重点研发计划管理暂行办法》的通知[EB/OL].(201706-22)[2017-09-02]. http://www.most. gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/ gfxwj2017/201706/t20170628_133796.htm .
[11] 科技部,财政部.关于印发《国家重点研发计划资金管理办法》的通知[EB/OL].(2016-12-30)[ 2017-09-02] .http://www . m o s t. gov.cn/mostinfo/xinxifenlei/fgzc/gfxwj/ gfxwj2017/201703/t20170302_131603.htm.
[12] 国家自然科学基金委员会. 国家自然科学基金资助项目资金管理办法[EB/OL].(2015-0415)[2017-09-02].http://www.nsfc.gov.cn/ publish/portal0/tab229/info48335.htm.
[13] 北京市财政局,北京市科学技术委员会.关于印发《北京市科技计划项目（课题）经费管理办法》的通知[EB/OL].(2017-01-06)[2017-0902].http://www.bjcz.gov.cn/zwxx/tztg/ t20170106_641223.htm.
[14] 北京市科学技术委员会.关于印发《北京市科技计划项目（课题）管理办法(试行)》的通知[EB/OL].(2016-12-30)[2017-09-02]. http://www.bjkw.gov.cn/art/2016/12/30/ art_112_1521.html.
[15] 科技部.关于印发《国家科技计划科技报告管理办法》的通知[EB/OL].(2013-10-11)[201709-02].http://www.most.gov.cn/mostinfo/ xinxifenlei/fgzc/gfxwj/gfxwj2013/201310/ t20131015_109768.htm.
[16] 田古,姚丽波,钟梅.中国医学科学院肿瘤医院临床科室科研绩效评价指标体系的优化[J].中国肿瘤,2014,23(5):363-367.
[17] 姚丽波,田古,钟梅.中国医学科学院肿瘤医院基础科室绩效考评指标体系主观部分的评价[J].中国肿瘤,2014,23(5):368-372.
通信作者
钟梅：中国医学科学院肿瘤医院科研处处长，副研究员
E-mail：[email protected]
[收稿日期 2017-09-20]
(责任编辑 张晓辉)
基金项目：北京协和医学院协和青年科研基金（3332016035）；中国医学科学院肿瘤医院管理研究课题（LC2016D04）
①国家癌症中心/中国医学科学院北京协和医学院肿瘤医院，100021 北京市朝阳区潘家园南里17号
②北京市东城区疾病预防控制南部分中心，100050 北京市东城区金鱼池西晓市16号