時間:2023年12月18日 分類:新聞中心 次數:
11月9日,JAMA Ophthalmology刊登了一篇論文,研究人員使用GPT-4和其拓展的高級數據分析功能(ADA)配對,生成關于圓錐角膜患者的虛假數據集,從而支持一個未經證實的科學假說。
對于部分圓錐角膜患者而言,有兩種治療方法可供選擇:一種是穿透性角膜移植術(PK),即切除全層病變角膜,以捐贈者的健康組織取代;另一種是深板層角膜移植術(DALK),僅替換病變的部分角膜組織,保留角膜內層完整。
隨后,研究人員要求GPT-4 ADA編造臨床數據,以支持DALK比PK效果更好的結論。GPT-4 ADA生成的數據包含160名男性和140名女性參與者。結果顯示,接受DALK的參與者在視力測量和眼部成像測試中得分均高于接受PK的參與者。
但真實情況并非如此。2010年報告的一項有77名參與者的試驗顯示,在術后長達兩年時間內,兩種手術效果相似。“在外行看來,這顯然是一個真實的數據集。”英國曼徹斯特大學生物統計學家Jack Wilkinson說。此外,Wilkinson還對其他版本的大語言模型生成的數據集進行了檢查,他表示這些數據集缺乏令人信服的證據,因為它們難以準確捕捉變量之間的關系。
應Nature新聞團隊的要求,Wilkinson和他的同事Zewen Lu評估了這個偽造的數據集。結果顯示,許多“參與者”的性別和名字不匹配。此外,術前和術后進行的視力測量及眼部成像測試之間缺乏相關性。Wilkinson和Lu還檢查了數據集中是否存在非隨機的模式,眼部成像數值通過了這個測試,但年齡值以7或8結尾的參與者人數過多。
研究人員承認他們的數據集存在缺陷,只要仔細觀察就能發現端倪。意大利卡利亞里大學眼科外科醫生、研究的合著者Giuseppe Giannaccare說:“我們的目的是強調,在短短幾分鐘內,你就可以創建一個沒有真實數據支持的數據集,這些數據可以支持或反駁已有的科學證據。”
AI能夠深度偽造數據,這大大增加了研究人員和期刊編輯對研究誠信的擔憂。微生物學家、職業學術打假人Elisabeth Bik表示,這意味著,研究人員能夠輕而易舉地生成大量虛假數據集。EMBO Reports的主編Bernd Pulverer也認為這是一個令人擔憂的問題。“實際上,同行評審往往不會重新分析研究的數據,因此不太可能發現AI精心策劃的違規行為。”Pulverer補充說,“期刊需要更新質量檢查以識別AI偽造的數據。”
Wilkinson正在領導一個項目,主要是設計工具評估有問題的研究。“AI是導致問題產生的原因,但我們也可以基于AI自動化檢查其中一部分。”但他警告說,“AI的進步可能很快就可以規避這些檢查。”
學術科研是比較嚴謹的事情,ChatGPT是一把雙刃劍,在給科研人員帶來便利的同時,也可能產生一些弊端,科研人員還是要合理的運用好!
版權聲明:文章來源于網絡,由本平臺整合撰寫,版權歸原作者或平臺所有,分享只為學術交流,如有侵權請聯系刪除或整改,謝謝。