基于合成控制法的选题指南和学术期刊影响力关联的量化实证

王晓慧 韩蓓蓓

辽宁师范大学政府管理学院 大连 116029

作为科研成果展示和交流的重要载体,学术期刊的影响力一直是学界及期刊界关注重点。为提升影响力,学术期刊往往倾向于跟随某一特定或权威期刊评价方法采取简单、直接的措施,诸如依据中文社会科学引文索引(CSSCI)评价体系中有关引用率的计算方法,众多期刊直接通过降低期刊发文总量的方式来实现期刊引用率提升的效果。此类措施虽然在提升期刊的评价分值方面具有立竿见影之效,但从核心期刊存在的根本——优秀的文章质量而言,降低发文量之类的行为并不会对提升期刊论文质量形成建设性帮助。从期刊的角度,给予学术论文创作者具体的、可执行的指导性建议,从而推动优秀研究成果的形成,或是提升期刊影响力的根本途径。为此,有学者认为期刊有必要开展选题策划并为学者定期提供选题指南[1-3]。目前,已有一些学者针对期刊选题策划的必要性、提升选题质量的路径等内容开展了研究,但关于选题指南在实践中是否有助于期刊影响力的提升以及选题指南本身的质量如何作用于期刊影响力等方面的研究却较为薄弱。鉴于此,本文利用合成控制法对选题指南的实施效果展开定量研究,并为学术期刊影响力的提升提供些许参考。

1.1 合成控制法

选题指南可被视为期刊加强自身建设的一种政策干预,其实施效果可以通过期刊的学术影响力的变化来体现,选题指南对期刊学术影响力的作用效果可以利用政策效果评价的方法进行量化评估[4]。目前大多数研究者通常采用断点回归法、双重差分法、双重倾向得分匹配法等方法来评估政策的实施效果,但这些方法都会在一定程度上造成内生性和选择偏差的问题[5]。因此,基于数据可获得性和期刊数据的特点,对于选题指南实施效果的评估可以采用在双重差分法的基础上发展起来的一种非参数方法——合成控制法(Synthetic Control Method,SCM)来进行研究。

合成控制法是由Abadie等[6]于2003年所提出的一种评估政策执行效果的方法,该方法的研究思路是:首先将研究对象划分为直接受某政策影响的实验组以及不受该政策影响的控制组,然后通过对控制组赋予多个不同权重构建出一组虚拟控制组,并对实验组的实际观察结果与构造的虚拟控制组的观察结果进行比较研究,其差量即为政策效果。合成控制法的优势在于通过数据特征来确定虚拟控制组的最优权重并构造出反事实状态,可以明确地展示实验组和虚拟政策实施之前的控制组之间的相似程度,避免了因主观选择偏误而引起的内生性问题[5]。近年来,合成控制法在经济学等领域得到广泛应用[7],其中图情档领域的学者利用合成控制法对图书馆条例[8]、数据公开[4]等政策的实施效果进行研究分析。

1.2 数据来源及变量选择

为全面深入地分析选题指南对期刊学术影响力的作用,本文以图情档学科的学术期刊作为研究对象。根据学术期刊的质量、学术贡献和学术影响力的不同可将其划分为核心期刊与非核心期刊,其中核心期刊更为注重在选题和选稿的质量把控,而部分非核心期刊或存在选题不精良、选稿混乱等问题。因此,分别针对核心期刊(来自《中文社会科学引文索引(CSSCI)来源期刊目录(2021—2022)》)和非核心期刊进行研究。本次研究将图情档学科中最早发布选题指南的核心期刊A作为研究对象,并将未发布过选题指南的11种图情档核心期刊作为控制组(分别以数字“1-11”对这11种期刊进行依次编号);
非核心期刊的研究对象为2017年开始发布选题指南的非核心期刊B,同时选择未发布过选题指南且影响因子等特征与期刊B实力相当的11种非核心期刊作为控制组(以“12-22”为编号)。

为有效衡量学术期刊的学术影响力,将学术期刊的复合影响因子作为被解释变量。复合影响因子是指被评价期刊前2年的可被引文献在统计年的被引总次数与该期刊在前2年发表的文献总量之比,复合影响因子统计了期刊、学位论文和会议论文,是反映期刊近期学术影响力的重要指标[9]。基于学术期刊的特点,选择发文周期、刊龄和年载文量作为预测变量。为提高拟合度和分析结果的准确度,根据研究对象的具体情况,将核心期刊2009年和2014年的复合影响因子作为预测变量,非核心期刊的2012年和2016年的期刊复合影响因子作为预测变量。为减小随时间变化其他因素对期刊复合影响因子的影响,从而明晰选题指南的实施效果,本文以发布选题指南后两年作为实施效果的检测时间段。研究数据来自于中国引文数据库中2009—2017年核心期刊数据和2009—2019年非核心期刊数据。

2.1 实施过程及结果

针对核心期刊A进行研究,使用Stata15软件中的Synth程序包进行数据分析,研究对象由真实期刊A和虚拟的合成期刊A构成,1-11号期刊为控制组,通过Stata15软件赋予其中某些期刊权重后组合的方法来构建合成期刊A。构建的标准是合成期刊A在2015年发布选题指南的基本情况与期刊A的真实情况趋于一致,赋予权重的标准是将发布选题指南之前期刊A和合成期刊A的复合影响因子的均方预测误差最小化。利用Stata15进行数据分析,得出一个由期刊2、期刊3、期刊5和期刊11所组成的合成期刊A,具体权重组合如表1所示。

表1 核心期刊合成控制组的权重组合

在表1的权重组合下,即可计算合成期刊A的复合影响因子在样本期间的演化过程。使用Synth的程序包对模型进行分析,得出期刊A和合成期刊A在2015年之前的预测变量的情况,通过对比,可以对该期刊A和合成期刊A在发布选题指南之前的情况的拟合程度进行分析,如表2所示。由表2可知,合成期刊A在刊龄、发文周期、年载文量和复合影响因子等方面均与真实期刊A的数据所差无几,这说明真实期刊A和合成期刊A的拟合程度高。

表2 预测变量拟合与对比

基于真实期刊A和合成期刊A较好的拟合效果,利用Stata15软件对真实期刊A和合成期刊A在2009—2017年期间的复合影响因子的发展趋势进行分析,分析结果由图1所示。由图1(a)可知,真实期刊A和合成期刊A在2015年发布选题指南之前的复合影响因子的轨迹大致重合,这也证明了采用合成控制法可以对2015年之前复合影响因子的变化情况进行较为精准地拟合。

2015年发布选题指南以后,真实期刊A和合成期刊A的复合影响因子发生显著变化。具体来说,2015—2017年期间,真实期刊A的复合影响因子呈现快速上升趋势,合成期刊A的复合影响因子虽然也呈现上升趋势,但上升趋势较为缓慢,与真实期刊A的复合影响因子有较大差距。为了更直观地对比真实期刊A和合成期刊A的复合影响因子在2015年之后的差距,对2009—2017年真实期刊A和合成期刊A的复合影响因子之间的差距变化进行了分析,结果如图1(a)所示。由图1(b)可知,真实期刊A和合成期刊A在2009—2014年间的复合影响因子的差距在0附近上下波动。2015年发布选题指南后,真实期刊A的复合影响因子和合成期刊A的复合影响因子间的差距逐渐增加,两者的复合影响因子的差距在2017年达到最大值,且为正值。因此,可以认为期刊A在2015年所发布的选题指南在一定程度上提高了期刊A在2015—2017年期间的复合影响因子,期刊A的选题指南与该期刊的学术影响力存在关联。

图1 2009—2017年期间真实期刊A与合成期刊A的复合影响因子及其差距

利用相同的方法对非核心期刊B进行研究,研究对象由真实期刊B和合成期刊B构成,其中控制组期刊为12-22号期刊。根据Stata15的数据分析结果,得出一个由期刊13期刊14所组成的合成期刊B,表3是这2种期刊所合成的合成期刊B的权重组合。

表3 非核心期刊合成控制组的权重组合

同样使用Synth的程序包对模型进行分析,得出真实期刊B和合成期刊B(期刊B的虚拟期刊)在2017年之前的预测变量的数值,可以对该期刊和合成期刊B在发布选题指南之前的情况的拟合程度进行分析,如表4所示。由表4可知,合成期刊B在刊龄、发文周期、年载文量和复合影响因子等方面均与真实期刊B的数据相差不大,这说明真实期刊B和合成期刊B的拟合程度高。

表4 预测变量拟合与对比

利用Stata15软件对真实期刊B和合成期刊B在2009—2019年期间的复合影响因子的发展趋势进行分析,分析结果由图2所示。由图2(a)可知,真实期刊B和合成期刊B在2017年发布选题指南之前的复合影响因子的轨迹大致重合,这证明了采用合成控制法可以对2017年前复合影响因子的变化情况进行较为精准地拟合。2017年发布选题指南以后,真实期刊B和合成期刊B的复合影响因子发生了变化,真实期刊B的复合影响因子逐渐升高,合成期刊B的复合影响因子增长后持平,且两者间的差距逐渐增大。图2(b)显示了2009—2019年期间真实期刊B与合成期刊B的复合影响因子之间差距的变化情况,由图2(b)可知,真实期刊B和合成期刊B的复合影响因子之间的差距在2017年发布选题指南后呈现出逐渐增大的趋势。综上所述,可以认为非核心期刊B发布选题指南在一定程度上提高了非核心期刊B的复合影响因子,且选题指南的实施效果随着时间的变化而增强。

图2 2009—2019年期间真实期刊B与合成期刊B的复合影响因子及其差距

2.2 有效性检验

借鉴Abadie等[6]提出类似于虚假实验(Falsification Test)的安慰剂检验方法(Placebo Test)对分析结果进行稳健性检验。该稳健性检验的基本思路是选择一个没有发布过选题指南的期刊进行同样的分析,如果发现该期刊的实际复合影响因子和该期刊合成的复合影响因子之间有很大的差距,就表明利用合成控制法并不能得到一个具有说服力的证据证明选题指南对期刊影响力的影响。根据该稳健性检验的基本思路,对核心期刊进行研究,选择控制组(期刊1-11)内的两种期刊作为检验对象:一个是合成期刊A中权重占比最大的期刊5,权重最大的期刊5是与期刊A相似性最高的期刊;
另一个是权重为0的期刊——期刊7,没有权重意味着该期刊在各种影响因素上与期刊A存在差距。利用Stata15软件构建这两个期刊的处置组,并对实施选题指南前后期刊真实复合影响因子和合成后复合影响因子的情况进行对比。

对期刊5进行安慰剂检验,结果如图3(a)所示。由图3(a)可知,期刊5在假定2015年发布选题指南的前后真实复合影响因子和合成后的复合影响因子的走势基本相同,变动幅度相对较小。图3(b)显示了期刊7的检验结果,期刊7的真实复合影响因子和合成后的影响因子基本无变化。根据期刊5和期刊7的检验结果,可见期刊5和期刊7在拟合实施选题指南前后并没有发生突变,因此在一定程度上证明了选题指南对核心期刊A的复合影响因子产生了影响,而不是其他的偶然因素。

图3 核心期刊检验结果

运用与核心期刊一致的检验思路和方法,选择非核心期刊的控制组内(期刊12-22)权重最大的期刊14和权重为0的期刊12作为检验对象,利用Stata软件对假定实施选题指南前后期刊真实复合影响因子和合成后复合影响因子的情况进行对比。图4(a)和图4(b)是期刊14和期刊12的检验结果,可见期刊14和期刊12的真实复合影响因子和合成复合影响因子在假定2017年实施选题指南的前后没有发生剧烈变化,在一定程度上证明了发布选题指南的确能够提高非核心期刊B的复合影响因子。

图4 非核心期刊检验结果

2.3 稳健性检验

为验证上述结论在统计学意义上是否具有显著性,利用由Abadie 等[6]与统计中的秩检验(Rank Test)方法相似的排列检验(Permutation Test)方法。该检验的基本思路是分别假设控制组内的期刊都发布了选题指南,使用合成控制法构造这些期刊的复合影响因子,估计其产生的效果,比较实验组期刊和控制组期刊假设出的效果。如果两者的选题指南的效果有显著差异,说明选题指南对该期刊的复合影响因子的影响是显著的,而不是偶然的。

利用上述研究思路对核心期刊进行检验,通过程序计算期刊A和控制组的11种期刊在2015年之前平均标准变动程度[7],如果平均标准变动程度较大,意味着检验模型和期刊A的相似性低。因此,剔除了实施选题指南前平均预测标准变动程度高于检验目标期刊1倍的期刊8。将期刊A和期刊8以外的期刊逐一进行安慰剂检验,并将每个期刊的复合影响因子和真实影响因子之间的预测误差作为统计量进行检验,图5展示了剔除期刊8以后样本组中11种期刊(包括期刊A)的复合影响因子预测误差的分布。由图5可知,2015年以前期刊A的预测误差与其他期刊的没有较大差距,而期刊A在2015年发布选题指南后的复合影响因子预测误差为正值,且大于大部分期刊的复合影响因子预测误差。因此,如果在这些期刊中随机抽取一个期刊,要得到与期刊A相同预测误差的概率为1/11(9.09%),说明发布选题指南对核心期刊复合影响因子的提高情况在90.91%的置信度上是显著的。

图5 核心期刊复合影响因子预测误差分布

利用相同的原理和方法对非核心期刊进行排序检验,图6显示了样本组中12种期刊(包括期刊B)的复合影响因子的预测误差分布。由图6可知,2017年实施选题指南前,期刊B和其他非核心期刊的预测误差没有较大差异,而2017年后,期刊B的复合影响因子误测误差和其他非核心期刊的预测误差差异趋势逐渐显现,大于大部分期刊的复合影响因子预测误差。因此,如果在这些期刊中随机抽取一个期刊,要得到与期刊B相同的复合影响因子预测误差,其概率为1/12(8.33%),说明在91.67%的置信度上,发布选题指南对非核心期刊复合影响因子的提高是显著的。根据上述数据分析结果可知,期刊A和期刊B的选题指南分别提升了期刊的复合影响因子,但其置信度有所差异,因此可以认为期刊发布选题指南有助于提升期刊学术影响力,但不同质量的选题指南对期刊影响力的提升效果有所差异。

图6 非核心期刊复合影响因子预测误差分布

不同质量的选题指南对期刊影响力的提升效果有所差异,选题指南的质量是影响实施效果的重要因素[1]。根据上文中的数据可知,期刊A和期刊B所发布的选题指南均具有较好的实施效果,因此对核心期刊A和非核心期刊B所发布的选题指南的内容进行分析,归纳出具有较高质量的选题指南应具备的基本要素。具体来说有以下五点:①时效性。期刊A和期刊B的选题指南都能面向国家重大战略部署,紧贴社会发展需求,紧跟学术发展动向,有目的、有针对性地制定选题指南。同时,期刊A和期刊B都会根据社会发展需要和学科发展情况每年对选题指南进行更新和调整,保证了选题指南的时效性。②权威性。期刊A和期刊B都在选题指南中说明了相关选题是基于学界和业界相关专家学者的意见、建议形成的,因此,期刊A和期刊B所发布的选题指南具有较高的权威性和认可度。③适用性。期刊A和期刊B都能根据自身期刊的内容定位、载文量和来稿情况,有的放矢地制定适合期刊的选题指南。具体来说,核心期刊A的选题不仅涉及到图书馆理论研究、图书馆服务、图书馆管理等图书馆相关内容,还涉及到情报研究、文献学、数据管理和信息组织等图情档学科的重点研究领域。非核心期刊B的选题内容主要为图书馆基础理论、图书馆基础业务、图书馆新技术应用等图书馆相关内容,并未涉及到情报档案等相关领域的内容。④可读性。期刊A的一级选题数量为10个左右,期刊B的一级选题数量为3~4个,期刊A和期刊B的二级选题均较为详细,每个一级选题下通常包含10个以上的二级选题。期刊A将二级选题名称列出,一目了然;
期刊B则会对每个一级选题进行详细阐述和说明,并列出二级选题。期刊A和期刊B通过分级罗列和阐述说明等方式增强了选题指南的可读性,易于研究者阅读理解。⑤传播度。期刊A与期刊B采用了期刊(数据库)、官方网站和社交媒体平台(如微信公众号、博客、微博等)等多种平台和媒介发布选题指南,增强了选题指南的传播度。

根据对图情档领域期刊选题指南的分析结果,有如下启示:①提升选题策划的质量是提升学术期刊影响力的关键途径,发布选题指南是传播选题策划内容的重要方式。②选题指南的质量是影响选题指南实施效果的重要因素之一,期刊需要从传播度、权威性、认可度、适用性以及时效性等角度采取相应的措施以提高选题指南的质量,即期刊可以通过多渠道发布选题指南,提高选题指南的传播度;
为保证选题指南的权威性和认可度,期刊应积极与学界和业界的专家进行讨论;
选题指南的内容应当符合期刊自身定位和实际情况,以提升选题指南的适用性;
选题指南是期刊针对当前学术研究热点和研究重点所制定的,具有一定的时效性,固定的选题指南无法适应快速发展的学术界未来的研究内容和实际需求,选题指南需要根据实际情况定期更新和制定。③期刊的选题策划的方式多样且质量较高,如重大会议稿件录用、专题约稿等形式,选题指南只是其呈现选题策划的一种形式。在未公开选题指南期间,期刊通常也会定期进行选题策划与讨论,并通过优良的选题策划来提升期刊的质量和影响力。因此,发布选题指南并不是决定期刊质量的决定性因素,期刊还需努力提高录用稿件的质量,从实质上提高期刊的学术影响力。

综上所述,对选题指南与学术期刊影响力之间的关联进行量化研究不仅可以对选题指南的制定和发布提供参考,也能为期刊提升选题策划质量提供借鉴。研究发现,选题指南与期刊影响力具有一定关联,且高质量的选题指南在一定程度上能够提高学术期刊的学术影响力。发布选题指南既可以促使期刊进行优良的选题策划,也可以使读者和投稿者明确期刊征稿主题和范围,故发布高质量的选题指南对期刊来讲能够较为有效地提高期刊影响力。

猜你喜欢 控制法控制组选题 量化控制法指导髌骨粉碎性骨折术后功能锻炼的效果观察基层中医药(2022年5期)2022-10-24本刊诚征“独唱团”选题时代邮刊(2019年24期)2019-12-17给商品起名字青少年科技博览(中学版)(2019年7期)2019-10-11谈诗词的选题中华诗词(2019年1期)2019-08-23本刊诚征“独唱团”选题时代邮刊(2019年16期)2019-07-30本刊诚征“独唱团”选题时代邮刊(2019年18期)2019-07-29“四定”控制法在卫生院抗菌药物管理中的应用研究中西医结合心血管病电子杂志(2019年14期)2019-07-05马来西亚华文小学识字教学的字理识字研究文教资料(2019年31期)2019-01-14不对称电压的综合有源控制法电子制作(2018年2期)2018-04-18特许经营协议(IFRIC 12)运营方的会计核算与启示会计之友(2018年4期)2018-02-02

推荐访问:实证 选题 量化