很多人工智能(AI)科學家和初創(chuàng)公司認為，通過增加更多數(shù)據(jù)和算力來擴大當前模型，以持續(xù)改進AI模型的方法正在走到盡頭。因此，像OpenAI這樣的AI公司正在尋求通過開發(fā)新的訓練技術(shù)來克服當前面臨的挑戰(zhàn)，這些技術(shù)更像人類的思考方式。
自風靡全球的聊天機器人ChatGPT發(fā)布以來，科技公司都是通過增加更多數(shù)據(jù)和算力來擴大并改善AI模型。但現(xiàn)在，一些最杰出的AI科學家正在指出這種“越大越好”的局限性。
人工智能實驗室Safe Superintelligence和OpenAI的聯(lián)合創(chuàng)始人Ilya Sutskever近日表示，擴大預(yù)訓練(訓練AI模型的階段，該模型使用大量未標記的數(shù)據(jù)來理解語言模式和結(jié)構(gòu))所取得的成果已經(jīng)達到了一個平穩(wěn)期，對提升模型性能的幫助有限。
Sutskever早期主張通過在預(yù)訓練中使用更多數(shù)據(jù)和算力來實現(xiàn)生成式AI的巨大飛躍，這最終創(chuàng)造了ChatGPT。他今年早些時候離開OpenAI，創(chuàng)立了Safe Superintelligence。
Sutskever表示：“以前是規(guī)模擴張的時代，現(xiàn)在我們又回到了奇跡和發(fā)現(xiàn)的時代。每個人都在尋找下一個東西，這比以往任何時候都更重要。”
此外，Sutskever還承認他的公司正在研究一種擴大預(yù)訓練規(guī)模的替代方法，但未透露更多細節(jié)。
新技術(shù)競賽
大模型的所謂“訓練”需要同時運行數(shù)百個芯片，成本可能高達數(shù)千萬美元�？紤]到系統(tǒng)的復(fù)雜性，它們更有可能出現(xiàn)硬件導致的故障；在測試結(jié)束之前，研究人員可能無法知道這些模型的最終性能，這可能需要幾個月的時間。
另一個問題是，大語言模型吞噬了大量數(shù)據(jù)，而AI模型已經(jīng)耗盡了世界上所有容易獲取的數(shù)據(jù)。電力短缺也阻礙了訓練運行，因為這個過程需要大量的能源。
為了克服這些挑戰(zhàn)，研究人員正在探索測試時計算(test-time compute)，這是一種在所謂的推理階段或使用模型時增強現(xiàn)有AI模型的技術(shù)。例如，模型可以實時生成和評估多種可能性，最終選擇最佳前進路徑，而不是立即選擇一個答案。
這種方法使模型能夠?qū)⒏嗟奶幚砟芰ν度氲骄哂刑魬?zhàn)性的任務(wù)中，比如數(shù)學或編碼問題或需要類似人類的推理和決策的復(fù)雜操作。
OpenAI研究員Noam Brown此前表示：“事實證明，讓一個機器人在一盤撲克牌中思考20秒，與將模型放大10萬倍、訓練時間延長10萬倍的效果相同。”
OpenAI 在其新發(fā)布的模型“o1”中采用了這項技術(shù)，與此同時，來自Anthropic、xAI和DeepMind等其他頂尖AI實驗室的研究人員也在致力于開發(fā)自己的技術(shù)版本。
OpenAI首席產(chǎn)品Kevin Weil表示：“我們看到了很多低垂的果實，摘下來讓這些模型變得更好。等到人們迎頭趕上的時候，我們會努力開發(fā)新的技術(shù)。”
多位科學家、研究人員和投資者認為，這種新技術(shù)可能會重塑AI軍備競賽，并對AI公司所需求的各類資源產(chǎn)生影響。 
