评价
1 引 言
文献计量学的方法可以把复杂现象简化为指标及相关数据,从而可以对研究活动进行数值上的客观比较,能得到客观可信的定量的评价结果。在文献计量学中,科学家或科研团队的学术成果主要体现在发表学术论文的数量和学术论文的被引频次两个方面。论文的数量和论文被引的频次本身包含了很多有用的信息,从中可以获得科学家或科研团队n年发表的论文数量、每篇论文得到的引文数、论文发表的期刊以及期刊的影响参数等。而且,不同的人会使用不同的标准对科学家或团队的研究活动进行评估。
2005年,美国物理学家J.E. Hirsch 提出一种新的非常简单有效的数字指标——“h指数”,用以评价科学家个人的学术成就。Hirsch将h 指数定义为:“一个科学家的分值为h,当且仅当在他/她发表的Np篇论文中有h篇论文每篇获得了不少于h次的引文数,科学家剩下的(Np-h)篇论文中每篇论文的引文数都小于h次”[1]。 h指数作为引文影响力和论文产出力二者结合的新的评价指标,Hirsch 认为h指数优于其他一般用于评价科研人员学术成果的传统的单项指标[1]。他认为论文总数可以直接测度科研生产力,但不能测度论文的重要性和影响力;被引总数可以测度论文的总体影响力,但论文的被引次数不太容易找到,作者的影响力可能被少数重要的合作论文夸大,这些合作论文有可能是与许多其他作者共同完成的,因此并不代表作者的实际影响力,同时,该参数往往不能恰当分配被引次数较高的评论性文章与原创性研究成果的权重;篇均被引次数可以比较不同时代科学家的影响力,但数据不容易获得,容易造成奖少惩多。Hirsch认为h指数可以避免上述所有缺陷。
h 指数的绝妙之处,就在于它具有制衡被引频次和论文数量两个指标的特点。因此这项指标确实在一定程度上能够弥补传统的文献计量学指标在学术评价中的局限性。鉴于此,该指标一经问世,立即引起学术界的广泛关注。2006年,h指数的数学模型被建立[2-3],独立的类h指数-g指数也被发现[4],使h指数和类h指数的研究成为信息计量学的前沿研究领域,并显示出了发展成为下一代核心评价参数之一的可能性,因而及早对h指数和类h指数进行系统研究具有重大现实意义和学术价值[5]。
Hirsch 教授提出h指数的初衷是为了衡量科学家的个人学术成就,但h指数并非只限于评价科学家个人,也可以评价一个科研团队、一种学科或一所大学、一种学术期刊、一个地区或国家等群体[1]。利用h指数进行大学以及学科的评价时,显现出其他计量指标所不具有的特点。因而大学h指数显现出什么样的特点、h指数与传统文献计量指标是否存在相关性以及h指数对大学学术成果评价的可行性是值得探讨和研究的问题。
2 方法与数据
本研究以2009年上海交通大学的Academic Ranking of World Universities (ARWU)为依据,选取排名前100名的大学以及医学、生命科学、物理和化学4个学科排名前50名大学学科发表的国际论文作为分析样本价值[6],并以Thomson Scientific 制作的ISI Web of Science平台中的科学引文索引扩展版( Science Citation Index Expanded,SCIE) 、社会科学引文索引( Social Sciences Citation Index,SSCI)和艺术与人文科学引文索引(Arts & Humanities Citation Index,A&HCI)三大引文数据库为来源数据库,统计作为研究对象的每个大学及学科的论文总数和被引总数,并计算了h指数和篇均被引次数。
挑选上海交通大学ARWU中的大学作为实证研究对象,原因有两个:①ARWU的排名过程完全透明。ARWU以国际可比的科研成果和学术表现作为主要指标,采用可以验证的客观数据,进行全球性的大学排名,所采用的排名方法和数据来源完全透明,所有信息都公布在排名网站上(http://www.arwu.org)。学术排名每年发布一次,其排名指标体系保持了较好的稳定性,大学名次的变化完全取决于它们在不同年份的表现。②排名受到广泛关注。自2003年开始发布排名结果以来,其以评价体系的客观和透明引起了国际社会的广泛关注[6],美洲、欧洲、澳洲等主要国家的主流媒体、欧盟等一批机构以及加州大学等一批世界名校进行了报道或引用。各国政府、大学从该排名出发,分析对比本国、本校的情况和发展态势,并在此基础上制定战略规划,采取各种举措促进一流大学建设。
挑选医学、生命科学、物理与化学4个学科作为学科代表,源于这4个学科发展时间长,学科体系严密,学科基础庞大,其研究成果具有较好的连贯性和长期性,发文数量和引文数量在所有学科中最多,基本上能够代表国际基础科学领域的主要研究成果。
本研究计算的文献计量学指标以ISI Web of Science平台中的SCIE 、SSCI和A&HCI三大引文数据库作为来源数据库的原因是,它们提供高质量的文献资源和独特的引文索引。作为第三方数据,SCI、SSCI和H&ACI严格选出各学科中高影响力的学术期刊,历来被公认为世界范围最权威的科学技术文献索引工具,能够提供科学技术领域最重要的研究成果,数据具有国际可比性,因而国际上的科学计量机构、国际组织以及世界上许多国家在科研绩效评估工作中,通常利用该数据库作为统计源,并认可具有不可替代的权威地位,是国际科学计量学研究中最常用的数据源。
对本研究数据处理做几点说明:
论文数据:大学及学科的论文数据是根据各校的名称关键词检索SCIE、SSCI、A&HCI三个数据库所收录论文的作者单位获得的。
时间窗口:发表论文的时间跨度定为10年,引文分析的时间跨度定为11年,统计1999-2008年发表的论文在1999年1月-2009年12月在ISI各数据库中的被引频次,并通过其计算h指数和篇均被引次数。ARWU评价指标选取的时间窗口是2009年的排名数据。
h指数计算:获取大学及学科h指数的方法是根据大学h指数的定义,在ISI Web of Science数据库中,通过Address检索途径,检索每个大学或学科在 1999-2008年间发表的论文,选择Sorted by Times Cited,将检索得到的某一大学或学科的论文按被引频次降序排列,确定排序序号小于或等于被引次数的最大整数,这一整数就是该大学或学科1999年1月-2009年12月(统计年)间的h指数。
文献类型:鉴于本研究立足于对学术成果进行评价,删除了那些学术性相对较弱的文献类型,只将论文、评论二种文献类型用以统计。
分析h指数与各个评价指标之间的相关性是考察两者关系最直接有效的办法。本研究通过获得的完整数据,进行了世界著名大学及学科h指数与传统文献计量指标之间的相关性分析,以便判断二者之间是否存在必然的联系,并测定其联系的密切程度。
3 结果与讨论
3.1 大学及学科h指数分析
首先,我们对上海交通大学的ARWU 2009前100所大学中的95所世界著名大学h指数进行了考察,结果显示,h指数的取值范围在95-358之间,均值和标准差分别为:
从中可以看出,人们普遍公认的世界顶级大学源于该大学突出的学术成就,都处于h指数的高端。上述例子证实 h指数是对大学学术成就进行评价与排名的一个稳定而又符合实际的指标。
为了比较学科间h指数分布特点,我们计算了上海交通大学ARWU 2009医学、生命科学、物理与化学4个学科前50名大学学科h指数,并对计算结果进行了比较,发现h指数最高的10个学科都属于医学与生命科学领域,而且医学与生命科学学科的h指数远远大于物理与化学学科的h指数,表1给出了h指数最高的10个学科名单。通过计算同样也可以看出,医学、生命科学、物理和化学学科h指数的均值(
学科h指数分析结果说明,不同学科h指数有明显差别,医学与生命科学学科h指数要远远大于物理与化学学科的h指数。另外,在4个学科h指数分布中,高端h指数的差异要大于整体均值的差异。说明不同学科之间存在较大的学科差异性或引文行为的差异性,因此学科间h指数差异也较大,不具有跨学科的可比性。这一结果与Hirsch的结果基本一致。Hirsch在其论文中,以物理学家和生物学家为对象对其h指数的观测值进行了研究,列出了物理学和生命科学领域中h指数最高的科学家名单及其h指数。发现h指数最高的10位作者都属于生命科学领域,同时发现生命科学领域科学家的h指数要远远大于物理学领域科学家的h指数,高端h值的差异要大于整体均值的差异[1]。
3.2 大学h指数与传统文献计量指标的相关分析
为了考察大学h指数与传统文献评价指标之间的关联性,我们对上海交通大学ARWU 2009年前100所大学中的95所大学的h指数与传统文献计量指标中的论文被引总数、论文总数和篇均被引次数进行相关性分析。图2分别给出了大学h指数与被引总数(N-Ci)、论文总数(N-P)和篇均被引次数(n-Ci)之间的相关关系。通过相关性分析散点图可以看出,著名大学h指数与被引总数之间存在高度线性相关关系(r=0.8952,r为相关系数);h指数与论文总数之间也呈现高度线性相关关系(r=0.8126),但相关性弱于引文总数;h指数与篇均被引次数之间存在中性相关关系(r=0.6321)。
3.3 学科h指数与传统文献计量指标的相关分析
我们还对上海交通大学的ARWU 2009年医学、生命科学、物理和化学学科排名前50名大学学科h指数与传统文献计量指标中的论文被引总数、论文总数和篇均被引次数进行了相关性分析。
图3给出了医学学科h指数与被引总数(N-Ci)、论文总数(N-P)和篇均被引次数(n-Ci)之间的相关关系。从相关性分析散点图可以看出,著名大学医学学科h指数与论文被引总数之间的相关系数R2=0.937、与论文总数之间的相关系数r=0.8985、与篇均被引次数之间的相关系数r=0.3095,可以认为,h指数与论文被引总数和论文总数之间存在高度相关性,但h指数与论文被引总数之间的相关性强于论文总数,h指数与篇均被引次数之间存在弱线性相关。
图4给出了生命科学学科h指数与被引总数(N-Ci)、论文总数(N-P)和篇均被引次数(n-Ci)之间的相关关系。从相关性分析散点图可以看出,著名大学生命科学学科h指数与论文被引次数之间的相关系数r=0.9216、与论文总数之间的相关系数r=0.7015、与篇均被引次数之间的相关系数r=0.5376,可以认为,h指数与论文被引次数和论文总数之间存在高度相关性,但h指数与论文被引次数之间的相关性强于论文总数,h指数与篇均被引次数之间存在中性线性相关。
图5给出了物理学科h指数与引文总数(N-Ci)、论文总数(N-P)和篇均被引次数(n-Ci)之间的相关关系。从相关性分析散点图可以看出,著名大学物理学科h指数与论文被引频次之间的相关系数R2=0.8952、与论文总数之间的相关系数r=0.6818、与篇均被引次数之间的相关系数r=0.2555,可以认为,大学h指数与论文被引总数之间存在高度相关性,与论文总数之间存在显著线性相关,与篇均被引次数之间存在弱线性相关性。
图6给出了化学学科h指数与引文总数(N-Ci)、论文总数(N-P)和篇均被引次数(n-Ci)之间的相关关系。从相关性分析散点图可以看出,著名大学化学学科h指数与论文被引频次之间的相关系数r=0.799、与论文总数之间的相关系数r=0.4956、与篇均被引次数之间的相关系数r=0.5461,可以认为,大学h指数与论文被引次数之间存在显著线性相关,与论文总数和篇均被引次数之间也存在显著线性相关,但相关性没有论文被引次数强。
3.4 h指数与传统文献计量学指标关系的解释
一般认为相关系数0.3以下为弱相关、0.3-0.7之间为中相关、0.7-1.0为强相关,因此由上文对世界著名大学、世界著名大学的医学、生命科学、物理学和化学学科h指数与其他传统文献计量相关性分析得到表2。
从表2中明显可以看出大学和4个学科论文被引总数与h指数均呈现显著性相关关系,而且相关系数较大,多为强相关,h指数受到被引总数的影响也比论文数量大,说明h指数是一个注重论文质量的评价指标,通常,被引总数较高的大学,其h指数也较高。h指数增加,被引总数一定增加,但被引总数目增加,h指数不一定增加,因为被引数增加的论文可能是被引大于h次的或是引文增加后仍小于h次。这与Van Raan的研究结果相符,Van Raan在文章中提到,h指数与被引频次的相关性强,而h指数与出版数量的相关性较弱[8]。h指数能够克服被引总数只反映产出质量而未考虑产出数量的不足。
大学及4个学科论文数量与h指数也均呈现显著性正相关性,但相关性较论文被引总数弱。从h指数的定义可以知道h指数受其所拥有论文数量的限制,通常h指数小于论文数量,要想拥有比较大的h 指数,必须要有一定论文数量的支撑。那么,论文数量增加是否意味着h指数也一定增加?实际情况是总论文数目增加,h指数不一定增加,因为h指数体现的是论文数量变化基础上的质量变化,h指数增加说明量变已达到一定程度,不增加说明量变累积不够或有时间差。h指数增加,总论文数也不一定增加,原因可能是时间差因素。h指数能够克服总论文只反映产出数量而未考虑产出质量的不足。
篇均被引次数与h指数均为质量兼顾性指标,篇均被引次数兼顾了论文整体的数量与质量,而h指数均衡兼顾了h篇被引论文的质量与数量。统计结果显示h指数与篇均被引频次之间表现出了丰富多样的关系——有表现出显著性正相关的也有表现出弱相关的,因此当考察两者的关系时,由于各种结果(包括相反结果)的综合作用,得到的最后结论往往不能代表真实情况。因为篇均被引次数等于被引总数除以论文篇数,因此和h指数的关系比表面呈现更为复杂,在考察二者的关系时,须透过表层数据,深入机理,结合论文总数和论文被引频次等进行说明,比如h指数增加,如果论文数不变,篇均被引次数也一定增加,但篇均被引次数增加,h指数不一定增加。h指数能够校正篇均被引次数对论文数少、高被引综述类论文较多等因素引起的过高评价。
由以上分析可见,被引总数和论文总数与h指数的关系较为单纯,而篇均被引频次与h指数的关系较为复杂,体现出了多种可能。可以看出定量分析结果以数据的形式提供了客观公证的评价结果。
3.5 h指数与传统计量指标关系的数学模型拟合研究
在h指数的发展过程中,一些学者为了寻求h指数的数学机理,构建了一系列的反映h指数与传统文献计量指标之间关系的数学模型。Hirsh在提出h指数的同时便指出,被引次数和h指数的关系将取决于特定分布的具体形式,并发现两者之间具有如下关系[1]:
Nc,tot=ah2 (1)
上式中Nc,tot 表示被引次数,a为常数。
Glanzel建立了基于论文量和篇均被引次数的h指数数学模型[9]:
h=cNp1/3nc2/3 (2)
上式中Np是论文数量,nc是篇均被引次数,c为常数。
这些数学模型提出后,引起了领域内学者的广泛兴趣,但是由于这些模型诞生时间较短,客观上还没有在实践中得到充分的检验,因此本研究以世界著名大学及4个代表性学科学术论文h指数为基础,考察上述两个数学模型对h指数的适用性。
图7给出了运用数学模型(1)绘出的世界著名大学及医学、生命科学、物理和化学学科h指数与被引总数开平方之间的关系图,h指数与被引总数开平方之间呈现出了很好的线性相关关系(R2 分别为大学0.8754,医学0.7718,生命0.8848,物理0.9028,化学0.6818),比例常数a的取值范围是4.2-2.7。Hirsch认为,对科学家个人而言,a的取值范围是3-5[1]。可以看出作为本研究对象的世界著名大学及四个学科的比例常数a的取值范围基本上接近于Hirsch推算的科学家个人的取值范围。
图8运用数学模型(2)绘出的世界著名大学及医学、生命科学、物理和化学学科h指数与Np1/3nc2/3之间的关系图,可见两者之间呈现出了很好的线性正相关性(R2 分别为大学0.913,医学0.5223,生命0.9766,物理0.8402,化学0.8886),比例常数c的取值范围3.2-0.5。
总的来说,Hisch和Glanzel提出的两个一元回归模型的统计结果显示,相关系数R2都比较高,说明两个模型与现实数据的分布情况差异不大,方程具有较好的数据解释能力,h指数确实和论文量与引文量存在密切的依赖关系。显然h 指数的绝妙之处就在于,它具有对被引频次和论文数量两个指标进行制衡的特点。
4 结 论
本研究以世界著名大学与世界著名大学中的医学、生命科学、物理学和化学4个代表性学科为例,搜集了所选出的大学与4个学科所属大学的传统文献计量学评价指标(论文总数、被引总数、篇均被引次数)统计结果,计算了其h指数,分析了h指数的特点以及h指数与论文数量、被引频数、篇均被引次数之间的相关关系。
分析表明:学科之间的h指数差异很大,不具有跨学科的可比性;被引总数和论文总数与h指数存在显著性正相关关系,被引次数与h指数的相关性最大,篇均被引频次与h指数的关系比较复杂。
传统的文献计量学评价指标是在文献学长期的发展历程中逐渐成长起来并得到学界与评价机构承认的指标,它在长期的大量的实践中表现出了相当的科学性和优越性,大学或学科h指数和传统文献计量学指标之间的显著性相关关系在很大程度上证明h指数本身在评价机构学术成果时的科学性和适用性。同时h指数又并不和所有传统文献计量学指标存在显著性相关关系,说明其有着自身的特有机制和特点,并不是传统文献计量学指标的简单延伸或变形。在使用h 指数及其衍生的相关指数进行学术评价时,应充分注意其使用的前提条件和优缺点。将h指数及其衍生指标与其他计量指标联合使用,可以从不同角度共同对评价对象作出更全面的衡量评价,以使评价结果更为全面和公正。
参考文献:
[1] Hirsch J E. An index to quantify an individual’s scientific research output[J]. Proceedings of the National Academy of Sciences of the United States of America, 2005, 102 (46): 16569–16572.
[2] Egghe L, Rousseau R. An informetric model for the Hirsch-index[J]. Scientometrics, 2006, 69(1): 121-129.
[3] Egghe L. Dynamic h-index: The Hirsch index in finction of time[J]. Journal of the American Society for Information Science and Technology, 2007, 58(3): 452-454.
[4] Egghe L. Theory and practice of the g-index[J]. Scientometrics, 2006, 69(1): 131-152.
[5] 叶鹰. H指数和类h指数的机理分析与实证研究导引[J]. 大学图书馆学报,2007(5):2-5.
[6] 上海交通大学高等教育研究院.Academic Ranking of World Universities-2009[EB/OL].[2009-12-01]. http://www.arwu.org/rank/2007/ranking2007.htm.
[7] 金贞燕,赵丹群. h指数与学术排名评价指标体系的关联性分析[J].图书情报工作,2011,55(4):33-38.
[8] Van Raan A. Comparison of the Hirsch - index with standard bibliometric indicators and with peer judgement for 147 chemistry research groups [J]. Scientometrics, 2005, 67 (1): 491– 502.
[9] Glänzel W. On the h-index – A mathematical approach to new measure of publication cativity and citation impact[J]. Scientometrics, 2006, 67(2): 315-321.
推荐访问: 世界著名 计量 文献 学科 指标