以 ChatGPT 等為代表的大型語言模型（LLMs）在過去幾年中越來越擅長處理和生成人類語言，但這些模型在多大程度上模擬了人類大腦支持語言處理的神經(jīng)過程，還有待進一步闡明。
據(jù) Tech Xplore 18 日報道，哥倫比亞大學(xué)和費因斯坦醫(yī)學(xué)研究所的研究團隊近期進行了一項研究，探索了 LLM 與大腦神經(jīng)反應(yīng)的相似性。研究表明，隨著 LLM 技術(shù)的進步，這些模型不僅在性能上有所提升，而且結(jié)構(gòu)上也越來越接近人類大腦。
論文的第一作者加文 米施勒（Gavin Mischler）在接受 Tech Xplore 采訪時表示：“我們撰寫這篇論文的靈感來源于近年來 LLM 和神經(jīng) AI 研究的迅速發(fā)展。”
“幾年前，有幾篇文章顯示，GPT-2 的詞嵌入與人腦對語言的神經(jīng)反應(yīng)有一定相似性，但在人工智能這一飛速發(fā)展的領(lǐng)域中，GPT-2 如今已經(jīng)過時，算不上最強大。”
“自從 ChatGPT 發(fā)布后，涌現(xiàn)了許多更強大的模型，但關(guān)于這些新模型是否仍然表現(xiàn)出相同的大腦相似性，相關(guān)研究卻并不多。”
米施勒及其團隊的主要目標，是探究最新一代的 LLM 是否依然表現(xiàn)出與人類大腦相似的特征。研究人員對 12 個不同的開源 LLM 進行了分析，這些模型在架構(gòu)和參數(shù)數(shù)量上幾乎一致。同時，他們也通過在神經(jīng)外科患者的腦部植入電極記錄其聽到語言時的大腦反應(yīng)。
米施勒解釋道：“我們還將同樣的演講文本輸入 LLM，并提取其詞嵌入，這些嵌入是模型內(nèi)部用來處理和編碼文本的表示。為了衡量這些 LLM 與大腦的相似性，我們嘗試通過預(yù)測大腦對詞語反應(yīng)的神經(jīng)活動來評估它們的對應(yīng)性。通過這種方式，我們可以了解兩者的相似度。”
在數(shù)據(jù)收集后，研究人員利用計算工具分析 LLM 與大腦的對齊程度。他們特別關(guān)注哪些層次的 LLM 與大腦中與語言處理相關(guān)的區(qū)域最為匹配。大腦對語言的反應(yīng)已知會逐步通過對語音的聲學(xué)、語音學(xué)等成分的分析，建立語言的抽象表征。
米施勒表示：“我們發(fā)現(xiàn)，隨著 LLM 能力的提升，這些模型的詞嵌入與大腦對語言的反應(yīng)越來越接近。更出乎意料的是，隨著模型性能的提升，它們與大腦層次結(jié)構(gòu)的對齊程度也有所提高。這意味著，語言處理過程中大腦不同區(qū)域提取的信息，與性能較強的 LLM 的不同層次提取的信息對比，更加一致。”
這些研究結(jié)果表明，表現(xiàn)最好的 LLM 更能準確反映大腦的語言處理反應(yīng)。而且，這些模型的優(yōu)秀表現(xiàn)可能與其早期層次的高效性有關(guān)。 
