期刊超越指数的发明人究竟是谁?


Free-Writon

一、导读

每年的年末,牵动国内科研界神经的定时器总会响起,有的人兴奋不已,有的人沮丧万分,兴奋的幸运儿为自己“投资”的某本新刊或潜力刊而激动;沮丧的人儿则各不相同,有的按照以往的经验“押”了某本老刊,有的按照期刊宣传的自我定位“赌”了某本新刊,但最终都以“跌停”示人,确实,一旦被划入“跌”的行列,未来的一年里,期刊面临稿源减少的风险大大增加。

没错,看到这里,大家心领神会又无奈的笑了笑,接着又不自主的查看最新的它是不是又有新变化——《中国科学院文献情报中心期刊分区表》(以下简称“分区表”)。

最近,大家伙可能都或多或少知道了某些期刊被迅速“升区”的事件,也基本都了解新的分区表开始正式采用“期刊超越指数”来进行期刊的分区,不过,有几个关键点大家似乎都忽视了,那就是:

1.“期刊超越指数”算法的提出者是谁?

2.这一指数的英文名称是什么?

毕竟,提起影响因子,大伙儿通常都用IF来代替,也基本都了解IF代表的是impact factor,而IF概念的提出者是美国科学情报研究所(ISI)的创始人尤金•加菲尔德(Eugene Garfield),如图1,最早的论文于1955年发表在Science上。

图1 影响因子的提出(Science, 122(3159), 108-111.)

二、2018年的“纷争”

2018年11月19日,中科院文献情报中心的一条新闻发布,其中指出“我中心发布《中科院期刊分区表》学科体系预案(物理学领域)。这项工作是我中心的一项课题研究,起始于2004年,目的是为科研人员了解本领域学术期刊的影响力以及期刊评价工作提供参考。相关成果发布虽冠以“中科院”名义,但并未经授权,我们对此深表歉意,并将在以后的工作中予以改正。”

 多年以前的这次冠名争议的导火索源自2018年11月9日发布的《2018年中科院期刊大类分区方法说明》(以下简称“分区方法说明”)其主要目的是:“不同学科期刊的影响因子得分存在量纲差异,归一化这种差异是中科院期刊分区的基本思路。”即,通过在大类一级学科内生成二级学科,再根据二级学科的得分对一级学科进行归一化处理,最后计算一级学科的期刊分区。

不过,这篇报道里的一个细节却彻底激怒了物理学界,即:大类“物理与天体物理学”形成10个二级学科:物理综合、粒子物理、凝聚态物理、激光与等离子物理、光学、数学物理、统计物理、声学、量子信息、天文学和天体物理。其中,“核物理”消失不见,从而引发了前述的“纷争”,据相关资料显示,当时的这一学科分类招致国内物理学界的巨大反响。也就是从那时起,曾经以《XXXX年版中科院期刊分区》冠名的分区表改为了《XXXX年中国科学院文献情报中心期刊分区表》,也就是从“中科院”变成了分区表的研制机构,不过,在2018年后至今的很多媒体报道中依旧以《中科院期刊分区表》指代“分区表”,而中国科学院文献情报中心似乎也没有发布进一步的声明来更正这种不准确的行为。

不过,令人不解的是,某机构的下属单位对外发布信息时,能否不经授权直接冠以“某机构XXXX”则是模糊的存在,这种现象在很多科技活动中经常遇到。

也就是从2018年末,一场期刊分区的改革即将诞生。 当时的分区方法说明里的很多关键性表述其实早就预示了未来“超越指数”的发展方向,即:“二级学科主要是根据期刊引用关系生成,二级学科间研究内容不同、引用行为有别,期刊的影响因子存在数值差异”。

简而言之,就是将期刊发表论文的研究主题通过聚类分析后,在其所属的二级学科内采用之前的大类分区法分区,最后把学科大类下的各二级学科包含的一区到四区期刊核算完毕后,分别汇总成为最终的大类分区。

这一改革的初衷是很好的,即彰显了相同研究领域内期刊的差异化,杜绝了旧模式下直接按照期刊所属的大类学科划分的弊端。

但是,这一模式的一个核心弱点是“每本期刊只属于一个大类,且只属于一个二级学科”。

三、2019年的“升级”

2019年末,2019版分区表的发布预示着几大重要改革的推出,其中,最关键的两点为:

1)突出支持本土品牌期刊国际化的导向,形成了“中国SCI期刊评价方案”,即,调整提升中国期刊入选高区位的比例、扩大中国期刊入选基数(吸纳中国ESCI期刊进入分区表评价范围)和提升弱势学科期刊分区结果等

2)提出了“升级版方案”:旨在解决期刊学科体系划分与学科发展以及融合趋势的不相容问题。由于学科交叉在当代科研活动的趋势愈发显著,学科体系构建容易引发争议。 “升级版方案”首先构建了论文层级的主题体系,然后分别计算每篇论文在所属主题的影响力,最后汇总各期刊每篇论文分值,得到“期刊超越指数”,作为分区依据

至此,新分区表的两大关键改革浮出水面:扶持本土、采用超越指数。

正是因为当初依靠引证关系得出的“二级学科期刊分类法”造成的“核物理”被“粒子物理”吞并,从而促使分区表团队改由期刊层面的学科分类转向论文层面的研究主题影响力,即“主题归一化的引证超越指数”。

那么,问题来了,期刊超越指数的英文表述是什么?最早提出者是谁?

四、期刊超越指数FNCSI

2017年,Journal of Informetrics上发表了一篇论文,这篇到目前仅仅被引用29次的论文却掀开了国内期刊评价体系改革的浪潮,不过,该论文的作者并非来自国内,而是来自美国印第安纳大学和以色列巴-伊兰大学的三位学者。

图2超越指数CSI的提出

该论文的摘要中写道“Citation success index is the probability that a random paper in one journal has more citations than a random paper in another journal (50% means the two journals do equally well).”(CSI指数是一本期刊上随机抽取的论文比另一本期刊上随机抽取的论文有更多引用的概率(50%意味着两本期刊做得一样好))。

期刊超越指数的含义是:随机从一本期刊中选择一篇论文,该论文的引用次数大于从其他期刊随机抽取的一篇相同主题、相同文献类型的论文引用数的概率。

根据上述对比,我们清楚的看到,分区表采用的“期刊超越指数”的算法本质来自于Journal of Informetrics 11 (2017) 223–231提出的CSI,而分区表则进一步融入了基于论文层级的主题来拓展这一算法的应用,即所谓主题归一化的CSI指数,当笔者看到2017年这篇论文时,试着搜索相关论文找到了来自分区表团队发布在预印本平台arXiv的成果:

这篇论文中所说的Field Normalized Citation Success Index (FNCSI)应该指代的就是我们广泛采用的“期刊超越指数”的英文名称及简称。

不过,笔者在分区表公众号内检索,常常见到“提出期刊超越指数”的表述,而在前不久的媒体采访报道中,则又改称“采用期刊超越指数”,而在很多媒体的报道中,又总表述为“首次提出期刊超越指数”,笔者以为,关于期刊超越指数的报道,应当采用类似如下的表述:“采用国外学者提出的citation success index算法,并进一步融合了论文主题层面的考量,最终形成了期刊超越指数(FNCSI)。

特别需要指出的是,期刊超越指数的英文表述应当被标注在其介绍文本中,这有利于广大学者更好、更全面的理解这一指数的内涵与外延。其实,Elsevier在2022年发表的一篇新闻报道中,就对分区表采用了如下的表述“As an evolving analysis tool, in 2019 the CAS Journal Ranking developed a new indicator to assess a journal’s impact: the Citation Success Index (CSI)”,其实,这篇报道直接采用CSI指数指代分区表采用的期刊超越指数也不严谨,更确切的表述应为FNCSI。

不过,分区表团队确实也对CSI指数的发展有一定贡献:

在上述2017年论文发表后,分区表团队随即发表了一篇Correspondence,即从对数正态分布的角度解释了上述论文中出现的IF和CSI之间的特定关系现象。(In this work, we show that such a log-normal form is the cause for the specific relation between the IFs ratio and CSI.)

五、2022“分区调整闹剧”

最后,我们来聊一聊前不久的分区调整闹剧,从物质科学有关的期刊变动来看,材料和化学领域都有不小的变动,例如:

2升1:Nano Today、npj Materials Degradation;

4升2:Small Structures、Ecomat

4升3:Materials Today Sustainability

3升2:Liquid Crystals Reviews、Progress in Natural Science-Materials International

2022年,这几本期刊的年发文数分别为:Nano Today(264)、npj Materials Degradation(95)、Small Structures(132)、Ecomat(112)、Materials Today Sustainability(158)、Liquid Crystal Reviews(7)、Progress in Natural Science-Materials International(77),从以上数字我们发现,这些期刊都属于发文较少的小型期刊,有的是比较知名的老牌期刊,有的是国内创办的期刊,也有的是国际著名出版社出版的新刊,但发文数都不多。

那么,假如分区调整闹剧不是出自于人为的故意为之,就可能预示着这一指数可能存在某些天然的瑕疵,例如,当期刊发文数较少时,很可能出现偏差。

此外,基于文章主题层面的期刊评价体系表面上是更加重视细分领域的聚类关系,表面上体现了期刊的多学科特征,但其实这也很可能会不利于未来的多学科深度融合,因为深度融合场景下,学科间“你中有我,我中有你”,人为采用算法聚类是否科学仍有待深入的学术探讨,因为算法不一定真的揭示了某事物的实际发展状态,算法得到结果的准确度高度依赖于对论文主题文本筛选过程的精确度,而这一计算模式的审核机制可能比单纯依靠引证关系得到IF的计算模式难度更大,当初导致两个重要物理学分支的学科归属纷争其实就是例证

实际上,越来越多的期刊正朝着学科泛化的道路发展,同很多年前的学科细分不同。当下,几乎任何一个学科的发展都或多或少会借鉴其他学科的思维,例如,能源材料领域是物质科学旗下多个学科的深度交叉的产物,越来越多的传统物理期刊正出版更多的与材料化学交叉的成果,一个最直接的例证就是前不久,美国物理学会出版社APS调整了旗下期刊投稿和发表中研究领域的分类,众所周知,APS应该是众多学术出版社中特别低调、传统的代表,但面对传统物理学同其他学科的不断融合,最终也不得不与时俱进,因而,表面上的引证聚类可能多数论文依旧“物理”,但论文的内容里早就“材料化”,但却无法体现在聚类分析里。

 影响因子最大的问题是平均化,容易被少数高被引文章左右,但是,当期刊发文数足够多时,这个问题其实并不会影响对期刊的整体评价。相反,如果一本传统细分领域的期刊发表的成果得到更多领域的引用和关注,高IF进一步证明了其影响力的提高。然而,当期刊发文数较少,或者即使发文量较多但学科归属较分散时,FNCSI是否会得到“畸形”的分区结论则是一个需要不断论证的学术问题。

 其实,分区表团队曾经在其文章中早就明确指出“争议大的期刊,多为覆盖主题多,既有表现高于平均水平的主题,也有表现低于平均水平的”,只不过后来几乎很少提及罢了。

 当然,如果这种调整是人为而非算法偏差导致的,则又是另一个故事了,不过,由于缺少足够的证据支撑,笔者在此不做评判,欢迎各位读者提出新的见解。

六、分区表的影响力

分区表的影响力是个很有趣的话题,很多出版社的公众号在介绍期刊时只标注IF和CiteScore,但也有少数几个出版社特意标出了分区表的分区结果。至于国际各大出版社的期刊主页,几乎很难看到标注有分区表排名的信息。不过,很多年前,有一本期刊曾经在主页显眼的位置写着“被分区表划分为1区”的英文表述,这本期刊就是陶瓷领域的著名期刊Journal of the American Ceramic Society,不过,笔者当时并没有截图, 只能靠记忆回想了。

分区表真正的最大影响力应当是出版社如何应对国内学者的投稿“好恶”。2022年,Elsevier发表的报道中,有这么一张图:

图3 国内学者对不同期刊评价指标的看重程度 © Elsevier

图3显示了分区表是国内学者在论文投稿挑选目标期刊时的首要考虑因素,而出版社为了应对这种情形,也提出了相应的应对措施:(见https://www.elsevier.com/connect/behind-the-rising-influence-of-chinese-research )

1)花时间了解作者在中国的决策过程;

2)扩大您在中国的学术网络,并与关键个人和社群建立长期关系;

3)确保编委会的组成反映了中国内容的重要性,以鼓励投稿,使您的期刊真正具有国际合作性,能识别中国的新兴趋势,并拥有一批能够很好地审阅论文的审稿人;

4)关注专门的中国作者投稿市场(认识到微信等社交媒体渠道的重要性),包括量身定制的作者研讨会;

5)关注编辑和制作实践,以吸引中国读者,包括优先考虑出版速度的实践,并在适当的情况下,融入语言编辑。

七、结语

分区表的迭代其实是文献情报领域的多次学术尝试,从学术角度而言,确实是一种新的思路,值得提倡。

然而,由于国内相当多机构都采用这一标准来评价研究人员的科研产出与绩效,尽管几乎所有人都知道,期刊排名和论文水平不是等号,但几乎所有人都会因为发表了一篇1区期刊论文而欢喜不已,这一悖论的核心原因是因为它可能决定了学生能否毕业,老师能否养家糊口,机构能否拿到拨款。期刊排名早已演变为比大学排名更疯狂的指数,无论学术界迭代出何种新的指数都绝对存在其各自致命的弱点,能更加公开、透明的向学术共同体公开这种弱点其实是期刊排名机构最大的社会责任。

 影响因子弊端很多,但,有一个优势几乎无可取代:算法简便

学过物理的都知道,经典的公式都具有简洁、优雅的特点,而影响因子恰如其分的符合这一特质。更重要的是,公式的变量足够少,即使容易被操控,但也很容易被发现,反过来却能对期刊的不当行为进行约束。

著名经济学定律Goodhart's law曾指出,“当一个政策变成目标时,它将不再是一个好的政策”,这可能是对各种期刊排名最好的注解吧。

本文由Free-Writon撰写。

分享到