科研评价问题在于把无必然因果指标与其质量挂钩


目前科研评价的问题在于,把与科研质量与没有直接必然因果联系的指标,作为评价科学研究质量的指标。

本来科研评价只有简单两条:基础研究看在今后很多年甚至几十,上百年研究所积累知识的影响力和传播应用领域大;应用研究就看可以创造的经济价值和国家安全价值。

科研评价制度本身对于基础研究的研究者是极其残酷的,因为他们的研究短期很难分清水平高低,古今中外这样的事情数不胜数,爱因斯坦相对论开始也是饱受责难,准晶提出者也是一样,不光是中国,这样的悲苦剧不少,越是创新性高的越会出现这一问题。相对而言,对于基础研究是评价需要一个特别困难和漫长的等待期。这也是很多基础研究者处于现实无法被认可的困境的根本原因。

但国内创新焦虑,似乎都等不急,现在评价标准是高水平杂志意味着高水平论文,但这两者之间并无必然联系,只能说高水平杂志发表的论文好论文比例高一些;但是低劣论文也不在少数,包括Nature和Science等一系列这些一流杂志中,很多论文属于博人眼球的流星论文(这是我美国教授朋友的观点),不乏有错误和缺陷低价值的论文。 论文引用次数只是反映了研究的方法关注度或者使用度,但是这与科研水平是否有直接高低并无必然联系,引用次数高的论文后来证明是错误的也有,最典型的的锰酸锂电池论文引用达到几千次超过很多诺奖论文,后来性能却一直不稳定。引用论文次数也反映的表象,也只有长期使用后并且经过反复论证,才真正反应了研究的价值。

对于基础研究是公正评价需要一个足够长的时间和辩证反思才是更稳妥的方式,但是为了简单和快速评价,现今中国的科研评价制度,却是把这索引因子和引用次数与科研质量没有必然联系的指标,变成只要索引因子高引用次数高,当成就是高水平研究这样的必然联系。这是中国科研目前自欺欺人的最大问题,恶化整个科研环境,而且此风愈演愈烈。如果这两者非要建立必然联系,也应当是很多年后回过头来筛查甄别分析其具体内容后,此时我们才能看出真正有价值的研究。

还有谬论认为高级别高因子杂志,审稿人水平高,所以论文水平就高,这次107篇论文撤稿事件,审稿造假,直接打脸这些人;实际情况是创新性高或者专业性强限制,一般审稿人的判断是有局限的,即使高水平审稿人一时也看不出论文的缺陷,或拒绝好论文的情况很常见。

如果我们真的是在真心做科研,对于论文包括实验研究,关心的应当是到底解决了何问题或者发现了何种新的知识。国内各种项目和人才计划评价引进,大家不是介绍这个人提出何种理论和解决过什么问题,发现了什么现象和新知识,改进了何种方法或工艺,或者否定过什么旧理论和旧知识。而是在关心这人发表的杂志级别和索引因子,具体他的论文内容真实和正确与否,是否有缺陷,甚至都无人关心,当然很多行政管理人员根本看不懂这些论文,也判断不出真假和好坏,本来需要同行评议,去掉了这一环节,这正是懒政的真切表现。人才计划评价这样做会对外行来说省事,但是这并不正确。

但是同行评议也不是完美的,实际是反而创新最强的论文,排除指标造假情况,可能开始同行评议会争议很大,甚至是负面的,同行评议也有局限,还有国内糟糕的圈子潜规则,会使得本来相对较好的评价方式也是争议很大。而且同行评议对于创新强的项目,一般很难达成共识。

所以唯一靠谱公正的评价方法,就是一个足够长的时间和辩证反思的过程,来对研究内容进行同行评议。

我所研究的领域纳米材料方面的论文索引因子很高,不乏错误的和有误导性的论文比例更高。这些论文可以分为三类,一类很有创新性也很有价值,作者做了很多研究实验工作,可惜这是少数。还有一类更多的是很有创新性,作者也做了很多工作,但是论述错误,未做深入研究分析;另一类更差一些,研究工作做的很少,完全是为了发论文和博眼球而发论文,其创新性和数据真实性也很可疑。第三类就不说了。但是第二类论文占了大多数,本来第二类的工作可以做得更好,但是国内科研评价制度的逼迫科研人员生存的要求,逼迫其把不成熟的结果发出来;而且马上根据杂志和短期索引因子评价,而不是内容评价。但是内容评价需要很长时间,大家似乎都等不及的样子。

这其中的教训比如的钐铁氮磁体研究,开始阶段中国发了很多所谓高水平论文,显示基础研究领先,好不热闹,似乎大家都在同一起跑线上,日本同期也在做同样研究,却发高水平论文极少,但是过去20年后,钐铁氮磁体日本有产品上市了,国内还在纸上谈兵,而且大家现在都以日本研究为标杆了,我们论文研究都是言必称与日本相比如何如何。这就可以看出务实与务虚的区别。如果日本科研管理结构也是以发所谓所谓高水平高索引论文为驱动评价,其科研人员得不到经费很难继续其研究,肯定也无后续结果。

实际是这一基础研究开始阶段,大家都处于不完美状态,需要打磨修补,需要一个磨练的过程,这其中变数很多,失败可能性很大,有可能是看似好技术方案,后来发现有缺陷而夭折,或者新技术出现很快替代,这里面偶然性也很大。但是我们科研管理制度没有给科研磨练者(实际这写低头低调做事的,他们是这个社会的中流砥柱和真正的精英),留出生存空间,而逼的科研人员为了计划、帽子和经费迎合这种快餐评价方式,实际不去解决这一不完美技术的缺陷难点,却在论文和研究课题申报中故意隐去缺陷和难点,这样好得经费。这件事的后续长期恶果,最后肯定国内在前期不完美的技术难点上出了问题,钐铁氮磁体研究国内就是有难点做不出来,因为难点需要花费更多时间去研究克服,一时半会看不出成绩,而这样国内就没有了下文;而日本我们后来可以知道人家一直在低头克服难点,而不是所谓发高水平论文和计算索引因子。

管理人员本身自身无判断能力,而科研人员只好以自己在何种杂志发表了论文和索引因子,来忽悠了,实际管理人员没有判断力也很正常,真正创新性的科技开始时必然能做出正确判断的人很少,即使技术科研人员自身圈子本身也是。

其余任何其他的评价方式都会有缺陷,包括很多人认为相对最公平的专业人员公开评审或者口碑评审,也会有专家本身水平和圈子文化潜规则大小的影响,特别有创新性的反而开始不受待见,因为大多数专家水平也达不到,高精尖的研究圈子太小,人情在中国难却,评审水分也很大。

科研评价制度本身对于基础研究的研究者是极其残酷的,因为他们的研究短期很难分清水平高低,古今中外这样的事情数不胜数。这才导致很多研究人员写论文做科研为了迎合评价,拼凑出了SCI数量,索引因子,和高水平论文这样的说辞,来证明自己的研究水平。这种话对于外行管理人员,是可以哄一时的,这也必然促成为了发表论文而发论文。此风气一涨,因为基础研究本身短期很难评价和其复杂性,大家已经麻木,本身为了探究科学技术问题写论文发表论文的真正目的,变成了申报成果项目经费、评职称,变成了数数字的游戏, 泡沫越来越大。这样长此以往,不但毁掉了一代人,逼着一代人去务虚甚至造假,即使这些研究者一时得到实际利益,长期看是毁了这些人,因为人的一生精力和时间是有限的,现实是残酷的,务虚就不能有时间务实。

或者国家是否应当对于基础科研评价制度变得仁慈宽松一点,宽容一点。把科研经费拿出一部分来提高基础研究者的待遇,取消职称评定,一律按年限(可以破格,但也必须满足研究结果数年后评价的要求),这样降低大家为了生存和金钱利益去做科研的功利目的性,取消基础科研大项目,分给更多创新性风险高的项目,限定一个上限,只要经费用于科研正途(符合财经法规和纪律),特别是经费少的基础研究不要评审,只用报备,严格事后审计。而评审拖后至三到五年后同行评议。

基础研究的论文延后三到五年评价或者十年同行评议再评价,这样才可以用时间去沉淀科学研究,并分辨好坏,可以给研究者打磨完善时间,给同行评价一个成熟思考和做出正确判断的时间。那么中国的科研评价制度才不会自欺欺人,才能日臻完善。

经过一定时间的沉淀和反思后的同行评议评价,才是对于科研评价的最终公正评价。

本文出自科学网苏力宏老师博客,原文地址:科研评价问题在于把无必然因果指标与其质量挂钩

材料牛编辑获授权转载。

分享到