Cloud&AI
`
2025/5/29 08:50
AI 搜索“毒化”現(xiàn)實(shí):模型崩潰隱憂(yōu),從神器到“垃圾輸出”
0
0

科技媒體 theregister 昨日(5 月 28 日)發(fā)布博文,報(bào)道稱(chēng)以 Perplexity 為代表的 AI 搜索工具雖然表現(xiàn)要優(yōu)于谷歌等傳統(tǒng)搜索引擎,但在不斷地版本更迭后,搜索結(jié)果質(zhì)量不升反降,AI 模型崩潰(model collapse)現(xiàn)象正在顯現(xiàn)。

該媒體指出以 Perplexity 為代表的 AI 搜索工具曾被視為傳統(tǒng)搜索引擎的強(qiáng)力替代品,其搜索結(jié)果一度比谷歌更精準(zhǔn)。

不過(guò)近期不少用戶(hù)發(fā)現(xiàn),AI 搜索反饋的硬數(shù)據(jù)(如市場(chǎng)份額或財(cái)務(wù)數(shù)據(jù)等),并未來(lái)自權(quán)威的美國(guó)證券交易委員會(huì)(SEC)要求的 10-K 年度報(bào)告,常常引用不可靠來(lái)源。用戶(hù)若不明確指定數(shù)據(jù)來(lái)源,得到的結(jié)果往往令人費(fèi)解。

IT之家援引博文介紹,這種問(wèn)題并非 Perplexity 獨(dú)有,主流 AI 搜索機(jī)器人均存在類(lèi)似“可疑”結(jié)果的現(xiàn)象。

該媒體認(rèn)為 AI 搜索質(zhì)量下降的根源,在于“模型崩潰”(model collapse),即 AI 系統(tǒng)因依賴(lài)自身輸出訓(xùn)練,導(dǎo)致準(zhǔn)確性、多樣性和可靠性逐步喪失。錯(cuò)誤累積、稀有數(shù)據(jù)(tail data)丟失以及反饋循環(huán)是三大主因。

錯(cuò)誤累積讓每一代模型繼承并放大前代的缺陷;稀有數(shù)據(jù)丟失使罕見(jiàn)事件和概念逐漸模糊;反饋循環(huán)則強(qiáng)化狹窄模式,輸出重復(fù)或偏見(jiàn)內(nèi)容。

為提升 AI 表現(xiàn),檢索增強(qiáng)生成(RAG)技術(shù)被廣泛應(yīng)用,讓大型語(yǔ)言模型(LLMs)從外部數(shù)據(jù)庫(kù)提取信息,減少“幻覺(jué)”(hallucination)現(xiàn)象。

然而,彭博社研究發(fā)現(xiàn),即便采用 RAG,包括 GPT-4o、Claude-3.5-Sonnet 等 11 個(gè)領(lǐng)先模型在處理 5000 多個(gè)有害提示時(shí),仍會(huì)輸出錯(cuò)誤結(jié)果。更糟糕的是,RAG 增加了泄露客戶(hù)隱私數(shù)據(jù)、生成誤導(dǎo)性市場(chǎng)分析及偏見(jiàn)投資建議的風(fēng)險(xiǎn)。

AI 模型崩潰的后果正在加速顯現(xiàn)。用戶(hù)和企業(yè)為追求效率,傾向于依賴(lài) AI 生成內(nèi)容,而非投入人力創(chuàng)作高質(zhì)量?jī)?nèi)容。從學(xué)生作業(yè)到偽造科研論文,甚至虛構(gòu)小說(shuō),AI 的“垃圾輸入、垃圾輸出”(Garbage In / Garbage Out,GIGO)現(xiàn)象無(wú)處不在。

免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與C114通信網(wǎng)無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

給作者點(diǎn)贊
0 VS 0
寫(xiě)得不太好

C114簡(jiǎn)介     聯(lián)系我們     網(wǎng)站地圖

Copyright©1999-2025 c114 All Rights Reserved 滬ICP備12002291號(hào)-4

C114通信網(wǎng)版權(quán)所有 舉報(bào)電話:021-54451141 用戶(hù)注銷(xiāo)