1月19日公布的一個新的在線工(gong)具可通過(guo)分析已發(fa)表論(lun)文(wen)的引文(wen)數量(liang)，衡(heng)量(liang)該論(lun)文(wen)可再現(xian)性。

這(zhe)個軟件出現(xian)得(de)可謂正當其時，很(hen)多(duo)證據已經給科(ke)學界和期刊行(xing)業(ye)敲(qiao)響警鐘，它們(men)表(biao)明許多(duo)已發表(biao)文(wen)章的研究結果是(shi)不可重(zhong)復的，為(wei)此科(ke)學界正在努力(li)尋找可靠的方法來評估它們(men)是(shi)否可以再(zai)現(xian)。

新工具由美(mei)國康涅狄(di)格(ge)州紐黑(hei)文(wen)市Verum分析公司開發，它生成了一(yi)(yi)個叫作r-因(yin)子的指標(biao)(biao)，該指標(biao)(biao)依據其他證明或(huo)駁斥其研究(jiu)結果的研究(jiu)數量，來說明一(yi)(yi)篇(pian)期刊(kan)文(wen)章的可再現(xian)性。但r-因(yin)子指標(biao)(biao)卻引來了學者的大量批評，他們認為這種(zhong)相對簡單的方(fang)法可能不(bu)足以(yi)解(jie)決衡量可重復性的多方(fang)面問題。

對新工(gong)具(ju)(ju)的(de)(de)初(chu)步反饋表明，Verum公(gong)司(si)并沒有完全消除這(zhe)些擔憂。該公(gong)司(si)開(kai)發者承認新工(gong)具(ju)(ju)仍(reng)然存在局(ju)限性；他(ta)們表示開(kai)放該工(gong)具(ju)(ju)的(de)(de)目的(de)(de)是接受(shou)相(xiang)關反饋，以(yi)(yi)獲得關于其工(gong)作效果以(yi)(yi)及如(ru)何改進的(de)(de)建議。Verum公(gong)司(si)自愿(yuan)開(kai)發了該工(gong)具(ju)(ju)，其聯合創始人Josh Nicholson說，他(ta)們希望公(gong)開(kai)該工(gong)具(ju)(ju)的(de)(de)初(chu)步版本能吸引潛(qian)在的(de)(de)投資人助力改善它。

Verum去年8月在(zai)一篇預印文本中報告了(le)該工具(ju)基于(yu)r-因(yin)子的方法，并在(zai)新工具(ju)中對其進(jin)行了(le)改進(jin)。它僅依賴于(yu)受(shou)歡迎的生物醫學(xue)搜(sou)索引擎(qing)PubMed網站上可(ke)免費(fei)獲取的研究論文的數據。

在開(kai)發之初，Nicholson和同(tong)事(shi)手動(dong)分析了4.8萬個(ge)引用其(qi)他已發表(biao)文(wen)章(zhang)的(de)論文(wen)文(wen)本的(de)片段(duan)。Verum和同(tong)事(shi)將每(mei)個(ge)片段(duan)分別歸類(lei)(lei)為“證實(shi)、反(fan)駁或是(shi)提及”其(qi)他的(de)文(wen)章(zhang)。然后，Verum利用這些分類(lei)(lei)來(lai)訓練一個(ge)算法自(zi)動(dong)識別樣本群之外的(de)每(mei)類(lei)(lei)片段(duan)。

基(ji)于(yu)約1萬(wan)個摘錄的(de)片(pian)段(duan)(duan)樣本(ben)，Verum公司(si)的(de)開發人員(yuan)稱，新工具可以(yi)在93%的(de)情況下對段(duan)(duan)落進(jin)行正確的(de)分類。與證(zheng)(zheng)實或(huo)反駁性(xing)的(de)引用(yong)片(pian)段(duan)(duan)相比，它(ta)能更(geng)準(zhun)確地檢測到“提及(ji)”其他文章的(de)引用(yong)，因(yin)為證(zheng)(zheng)實或(huo)反駁類的(de)樣本(ben)更(geng)少。分析發現(xian)，絕大(da)多數文章都提到了(le)以(yi)前的(de)研究，但卻沒有(you)證(zheng)(zheng)實或(huo)反駁它(ta)們的(de)主張；只有(you)約8%的(de)引用(yong)是證(zheng)(zheng)實性(xing)的(de)，而反駁性(xing)的(de)約有(you)僅1%。