社科學術期刊常用評價指標研究

導語：社科學術期刊常用評價指標研究一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

期刊評價在科研評價方面起著重要作用，備受關注。社科學術期刊作為人文社科領域學術成果的重要展示平臺，其評價結果具有極強的導向性，不僅關系著我國廣大社會科學研究人員的切身利益和數量龐大的社科期刊生存發展方向，而且對科研成果評估、學術資源分配、科研激勵制度及繁榮學術研究等有不可估量的作用。國內研究者對學術期刊評價問題的關注度持續上升，期刊評價結果的被接受程度事關學術研究的良性發展。評價結果是否被學界廣泛接受，主要受到評價方法和期刊評價指標兩方面因素的影響，而評價指標及其權重是重中之重。期刊評價指標數量繁多，按照功能特性可劃分為期刊特征指標、期刊引用指標、文獻轉載指標等主要類型。在學界認可度較高的社科學術期刊評價體系中，南京大學《中文社會科學引文索引》只選擇影響因子和總被引頻次作為評價指標；北京大學《中國核心期刊要目總覽》則選擇了全部類型的評價指標；中國社會科學評價研究院《中國人文社會科學期刊MI綜合評價指標體系》選擇了吸引力（獲獎狀況、論文狀況、同行評議）、管理力（編輯隊伍、作者隊伍、制度建設、信息化建設）、影響力（學術影響力、社會影響力、國際影響力）等3個一級指標、10個二級指標和24個三級指標；中國人民大學《復印報刊資料轉載指數排名研究報告》則只用了文獻轉載的相關指標。實踐中這4種評價體系難分伯仲，在一定范圍內評價結果也具有趨同性。這種趨同性是否意味著不同評價體系間具有某種聯系，而研究評價間的相關性或許能解釋這種聯系。不同評價指標指引著期刊的不同功能特征，評價指標間呈強正相關，說明指標所指引的功能特征具有趨同性。如果不同的評價體系選擇了相關性較強的指標作為核心評價指標，則其評價結果可能會在一定的范圍內具趨同性；如果同一評價體系同時選用相關性較強的多項指標，則會過度放大期刊的這類功能特征，使評價結果的科學性受到質疑。因此，掌握評價指標間的相關性程度，對選擇期刊評價指標、完善期刊評價體系具有重要的意義。

一、相關研究

搜索國內外相關文獻可知，期刊評價的相關性研究主題可以分為兩個角度。第一，量化評價和質化評價結果的相關性研究。馬利戈爾德（OlesyaMryglod）等[1]通過研究社會科學類系列期刊發現，同行評議結果與引文評價結果的相關性不高；而惠特曼（LudoWaltman）等[2]的研究則認為引文評價結果和同行評議結果存在較強的正相關性。洛佩茲-科扎（EmilioDelgadoLópez-Cózar）等[3]梳理49篇單一數據源論文及100多項不同國家不同學科的實證研究發現，95%的實證研究結果支持定性與定量兩種基于不同評價視角的量度結果在統計上呈現出不同程度的相關性的結論。陳茹[4]、金淑蘭[5]從學術生態角度分析認為，嚴謹、公正的同行評議程序是量化評價與質化評價結果統一性的前提與保證。第二，期刊量化評價指標間的相關性研究。馬提阿斯（GámezA.Matías）[6]研究發現，心理學期刊的影響因子、h指數、Latindex指數之間存在一定程度的相關關系，芬那迪（UgoFinardi）[7]研究發現，影響因子與逐年引用增長兩指標間無顯著相關。這一話題也引起了我國學者的關注，研究者們紛紛探討不同學科、不同評價指標間的相關性：圖書情報學期刊零被引率與期刊關鍵評價指標（2年影響因子、5年影響因子）h指數顯著負相關，p指數與被引頻次、平均被引率、5年影響因子相關性顯著,與h指數具有一定相關性[8]；神經病學期刊零被引率與引用半衰期呈正相關，與基金論文比、學科擴散指標呈負相關，與各類影響因子、復合即年指標、被引半衰期、學科影響指標無相關性[9]；在同一學科內，CiteScore、CiteScore百分位與常用計量學指標均顯著正相關，在不同學科間，CiteScore百分位與影響因子百分位、篇均來源期刊標準影響指標（sourcenormalizedimpactperpaper，英文縮寫為SNIP）、標準特征因子均顯著正相關[10]；經濟學期刊的特征因子與影響因子間不存在相關關系[11]。就人文社科期刊而言，統計規則相似的影響因子、轉載量和網絡下載三類指標之間呈強正相關，轉載指標與引文計量指標之間存在中度或較強的正相關[12]。近年來，隨著新的評價指標涌現，評價指標相關性研究逐漸深入。但研究者注重運用相關性分析方法挖掘與探索新的計量指標，而常用指標間的相關性研究一直停留在單一學科層面，相關性的學科差異性研究被忽視。學以致用才是最終的目的，本文正是基于這樣的初衷，試圖以社會科學期刊為例，探索評價指標間的相關性，以及相關性的學科差異。

二、研究數據與方法

1.數據來源。在《復印報刊資料轉載指數排名研究報告》（簡稱《轉載排名報告》）經濟學、管理學、法學、社會學、圖書情報學、高等院校學報等期刊分類中，選擇2016—2018年連續3年都被收錄，共計99種期刊作為研究對象。其中，在《轉載排名報告》中，經濟類期刊和管理類期刊又有若干子類目，本文僅選擇應用經濟學、工商管理學兩個社會科學屬性相對明顯的期刊分類作為研究對象。隨著國內外期刊評價理論和實踐的發展，期刊評價指標數量越來越多。本文選擇我國四大社科評價體系中常見的評價指標作相關性分析。選擇的3類指標包括：期刊特征指標、期刊引用指標和期刊轉載指標。期刊特征指標反映期刊自出版之時就具備的特征，這類指標與生俱來，數量不多，本研究選擇基金論文比、平均引文數、引用半衰期等3個常見指標。期刊引用指標是期刊計量評價的重要依據，相對特征指標而言,引用指標數量眾多,設計精妙,應用廣泛，這里選擇影響力指數CI值、復合影響因子、復合他引影響因子、復合總被引、被引半衰期、被引期刊數、復合即年因子、web即年下載率等9個指標。期刊轉載指標是二次文獻轉載排名的重要依據。轉載排名根據期刊論文的轉載量、轉載率、篇均得分和綜合指數，按期刊屬性和學科分類來排名。隨著同行評議越來越受到我國科研成果評價的重視，中國人民大學人文社會科學學術成果評價中心研制的系列報告的學術影響力越來越大，甚至在諸多高校的科研評價體系中，被四大文摘（《新華文摘》《中國社會科學文摘》《高等學校學術文摘》、中國人民大學書報資料中心復印報刊資料系列）全文轉載或者部分轉摘的論文，校內認定的等級比CSSCI來源期刊級別還要高。“復印報刊資料”是二次同行評議的結果，在一定程度上講，轉載排名是期刊學術影響力的整體體現。本文選擇轉載量、轉載率和綜合指數等3個指標。期刊轉載指標數據來自2016—2018年《轉載排名報告》，期刊特征指標和期刊引用指標數據來自2016—2018年《中國學術期刊影響因子年報（人文社會科學）》（簡稱《影響因子年報》）。全部數據按照轉載排名的學科分類，整理成經濟學、管理學、法學、社會學、圖書情報學、高等院校學報等6個Excel工作表。樣本期刊社會科學屬性明顯，覆蓋學科面廣，學術質量較高，學術影響力強，以此作為社科期刊評價指標相關性研究的樣本，具有典型性。此外，轉載指標不僅具有統計學意義，而且其統計數據以同行評議數據為基礎，這有利于彌補社科期刊評價中同行評議不足的缺憾。2.研究方法。按照學科分類，運用Pearson相關系數檢驗評價指標間的相關性，并進行學科比較；最后根據研究結果分析總結出指標相關性對改進我國社科成果評價的啟示。為了便于對各期刊指標的評價數據進行橫向對比，首先對樣本期刊每個指標的評價結果進行歸一處理，Pearson相關系數考量的是定距變量間的線性關系，用來衡量兩個數據集合是否在一條線上。設顯著性檢驗p值的雙尾檢驗值大于0.05時表示檢驗結果不顯著；同時設相關系數越接近1或－1，相關度越強；相關系數越接近0，相關度越弱。本文按照以下取值范圍判斷變量的相關強度：相關系數為0.8～1.0表示極強相關，0.6～0.8表示較強相關，0.4～0.6表示中度相關，0.2～0.4表示較弱相關，0.0～0.2表示極弱相關或無相關。

三、相關性討論

1.期刊特征指標的相關性。法學和應用經濟學期刊的平均引文數和引用半衰期之間有較強的相關關系，工商管理學、圖書情報學和應用經濟學期刊的基金論文比和平均引文數之間有中度的相關關系，社會學和高等院校學報的基金論文比和引用半衰期之間具有中度的相關關系（見表1）。這一結論與大多數研究者的結論相同，也再次證明了基金論文比、平均引文數和引用半衰期等特征指標之間獨立性較強，在期刊評價體系中獨立指引著期刊的特征。因此，在進行不同類別評價指標相關性研究時，這3個指標需要獨立分析。2.期刊轉載指標的相關性。作為四大文摘之一的中國人民大學復印報刊資料選用“學術創新程度、論證完備程度、社會價值、難易程度、課程立項、發表載體”等6個同行評議核心指標，遴選我國哲學社會科學領域的優秀學術成果。復印報刊資料的轉載量、轉載率和綜合指數等以復印報刊資料轉載論文為研究樣本，具有同行評議的特征，在學界和期刊界享有較高的影響力。表1顯示，綜合指數和轉載量、轉載率都具有強相關性，這與綜合指數（綜合指數=0.4×轉載量歸一值＋0.3×轉債率歸一值＋0.4×篇均分值歸一）的計算方式有密切的關系。除了應用經濟學和高等院校學報期刊的轉載量和轉載率間具有強相關之外，其他學科都僅具有中度或較強的相關性。基于此，在后面進行不同類別評價指標相關性分析時，不考慮綜合指數，只選擇轉載量和轉載率兩個直接指標。3.期刊引用指標的相關性分析。分析期刊引用指標兩兩間相關性可以發現，總體上除了復合即年指標之外，其他8個指標兩兩間均呈現出一定程度的正相關關系（見表2）。這些指標從不同角度反映期刊的影響力水平，它們之間相互印證，相互補充。影響力指數與其他指標（復合即年指標除外）呈現出較強的相關關系（法學、圖書情報類期刊個別指標除外）。復合影響因子、復合他引影響因子、5年復合影響因子等3個指標兩兩間呈強相關關系。基于此，在后面進行不同類別評價指標間相關性研究時，復合影響因子、復合他引影響因子、5年復合影響因子3個指標可以選擇其中的一個。本文選擇應用范圍較廣的復合影響因子。4.期刊特征指標與其他指標的相關性。參考文獻綜合反映論文作者對相關研究領域內文獻的掌握程度，引文數量和引文新舊程度被專家學者和編輯視為論文學術質量的重要參考標準。雖然基金論文比被證實和論文的學術質量沒有實質聯系，但實踐中專家學者和編輯還是看重這個指標。分析其相關性可知：部分學科期刊的平均引文數與轉載指標、被引指標存在中度相關關系；只有法學、應用經濟學兩個學科期刊的基金論文比與部分轉載指標、被引指標存在中度相關關系；只有應用經濟學科期刊的引用半衰期與轉載指標和部分被引指標存在中度的相關關系（見表3）。這也從側面印證，多數研究者在進行學術研究時，重視的是文獻觀點和創新點等本質內容，并不是文獻數量等外在因素。5.期刊轉載指標與期刊引用指標的相關性。期刊引用指標是文獻計量學理論研究和期刊評價實踐依據的主要工具。期刊轉載指標具有同行評議的優勢，近年來越來越受到期刊評價體系和科研評價單位的重視。分析轉載指標與引用指標的相關系數可知，應用經濟學期刊和高等院校學報的轉載量總體上與被引指標具有中度相關關系；除了社會學、工商管理學類期刊之外，其他學科的轉載率與被引指標具有不同程度的相關關系（見表4）。這一結論說明，雖然由于制度和文化的原因，我國期刊同行評議制度還不完善，存在學術不端的可能性，但總體上反映了期刊的真實學術水平。

四、結論與啟示

通過對我國6個學科的社科學術期刊3類評價指標及其相互間的相關性進行分析，可以得出如下結論：第一，基金論文比、平均引文數和引用半衰期等3個期刊特征指標之間相關性不明顯，各自在期刊評價體系中獨立指引著期刊的某一特征。第二，綜合指數、轉載量、轉載率等3個轉載指標間具有較強的相關性，特別是綜合指數和轉載量、轉載率之間均具有強相關性。第三，除了復合即年指標之外，其他引用指標兩兩間均呈現出一定程度的正相關性。值得注意的是，影響力指數與其他引用指標呈現出較強的相關性，復合影響因子、復合他引影響因子、5年復合影響因子兩兩間呈強相關性。第四，期刊特征指標與轉載指標、引用指標之間的相關性均不顯著。總體上看，轉載指標與引用指標間具有中度的相關性。第五，高等院校學報和專業社科期刊相比，3類評價指標內部相關性及其之間的相關性差異不明顯。基于以上結論，可得出如下啟示：第一，對于相關度較強或極強的指標，其評價結果差異不大甚至較為相似，因此不宜同時選用，或適當控制其總權重，以免放大其評價效果。由于轉載指標與引用指標分別代表著同行評議和文獻計量學評價兩種不同的方法，具有明顯互補性，因此在社科期刊評價呼喚創新和質量導向的大背景下，有必要強化轉載指標的評價功能，以提高同行評議在學術評價中的地位。第二，雖然基金論文比和平均引文數可以反映研究者對領域內文獻的掌握程度，但是論文學術水平主要還是由研究內容、研究方法、研究深入程度和研究創新突破等因素決定的，研究者和學術期刊編輯不能本末倒置，過分重視基金項目、引文數量等外在因素。第三，評價指標間相關性不存在明顯學科差異。高等院校學報人不必因為影響力的原因而糾結是否進行專業化轉型，而應該綜合考慮我國期刊結構、辦刊環境和自身資源條件進行取舍。另外，本文僅選擇了“轉載排名”收錄的期刊作為研究樣本，且樣本年份相對較少，可能會造成研究結果的局限性，后續有必要拓展樣本廣度，作更深入的比較研究。

作者:沈秀 譚曉荷 趙青 單位:1.常州大學學報編輯部 2.常州工學院學報編輯部