科技媒體 The Decoder 昨日（9 月 19 日）發(fā)布博文，報(bào)道稱在聊天機(jī)器人競(jìng)技場(chǎng)（Chatbot Arena）上，OpenAI 的新人工智能模型 o1-preview 和 o1-mini 問鼎榜首。
聊天機(jī)器人競(jìng)技場(chǎng)簡(jiǎn)介
聊天機(jī)器人競(jìng)技場(chǎng)是一個(gè)比較人工智能模型的平臺(tái)，它利用 6000 多個(gè)社區(qū)評(píng)分對(duì)新的 OpenAI 系統(tǒng)進(jìn)行了評(píng)估。
結(jié)果
結(jié)果顯示，o1-preview 和 o1-mini 尤其在數(shù)學(xué)任務(wù)、復(fù)雜提示和編程方面表現(xiàn)出色。
Lmsys 提供的數(shù)學(xué)模型優(yōu)勢(shì)圖表清楚地顯示，o1-preview 和 o1-mini 的得分超過 1360 分，遠(yuǎn)高于其他模型的表現(xiàn)。IT之家附上相關(guān)截圖如下：
O1 的目標(biāo)是為人工智能推理設(shè)定一個(gè)通用新標(biāo)準(zhǔn)，即在回答前“思考”" 更長(zhǎng)時(shí)間。
然而，O1 模型并非在所有方面都優(yōu)于 GPT-4o。許多任務(wù)并不需要復(fù)雜的邏輯推理，有時(shí) GPT-4o 的反應(yīng)更快。
注意事項(xiàng)
o1-preview 和 o1-mini 的票數(shù)遠(yuǎn)低于 GPT-4o 或 Anthropic's Claude 3.5 等成熟模型，每個(gè)模型都只有不到 3000 條評(píng)論，這樣小的樣本量可能無法準(zhǔn)確代表實(shí)際結(jié)果，限制結(jié)果的意義。 
