Meta 公司上周發(fā)布了一款名為 Maverick 的新旗艦 AI 模型，并在 LM Arena 測試中取得了第二名的成績。然而，這一成績的含金量卻引發(fā)了諸多質疑。據(jù)多位 AI 研究人員在社交平臺 X 上指出，Meta 在 LM Arena 上部署的 Maverick 版本與廣泛提供給開發(fā)者的版本并不一致。
Meta 在其公告中明確提到，參與 LM Arena 測試的 Maverick 是一個“實驗性聊天版本”。而根據(jù)官方 Llama 網(wǎng)站上公布的信息，Meta 在 LM Arena 的測試中所使用的實際上是“針對對話性優(yōu)化的 Llama 4 Maverick”。這表明，該版本經(jīng)過了專門的優(yōu)化調整，以適應 LM Arena 的測試環(huán)境和評分標準。
然而，LM Arena 作為一項測試工具，其可靠性本身就存在一定的爭議。盡管如此，以往 AI 公司通常不會對模型進行專門的定制或微調，以在 LM Arena 上獲得更高的分數(shù)，至少沒有公開承認過這種做法。
這種對模型進行針對性優(yōu)化，然后只發(fā)布一個“普通版”的行為，給開發(fā)者帶來了諸多困擾。因為這使得開發(fā)者難以準確預測該模型在特定場景下的實際表現(xiàn)。此外，這種行為也具有一定的誤導性。理想情況下，盡管現(xiàn)有的基準測試存在諸多不足，但它們至少能夠為人們提供一個關于單一模型在多種任務中優(yōu)缺點的概覽。
事實上，研究人員在 X 上已經(jīng)觀察到了公開可下載的 Maverick 版本與 LM Arena 上托管的模型之間存在顯著的行為差異。例如，LM Arena 版本似乎更傾向于使用大量的表情符號，并且給出的答案往往冗長且拖沓。
截至IT之家發(fā)稿，Meta 公司以及負責維護 LM Arena 的 Chatbot Arena 組織暫未對此做出回應。 
