近日,全球領(lǐng)先的IT市場研究和咨詢公司IDC發(fā)布《中國生成式AI應(yīng)用開發(fā)平臺市場:企業(yè)統(tǒng)一AI開發(fā)平臺的雛形》報告。該報告不僅對市場上主流的大模型平臺廠商進(jìn)行了對比分析,還為企業(yè)用戶選擇大模型平臺提供了關(guān)鍵的技術(shù)指標(biāo)。在此次評估中,百度智能云獲得七項(xiàng)滿分,位于所有大模型平臺廠商第一名。亞馬遜云AWS、阿里云并列第二名。
IDC報告指出,大模型平臺給應(yīng)用程序開發(fā)提供了一個新的路徑,企業(yè)在選擇大模型平臺的時候,應(yīng)該重點(diǎn)關(guān)注廠商在模型層和數(shù)據(jù)層的能力。在模型層能力方面,如何讓模型更好的適配企業(yè)的應(yīng)用場景至關(guān)重要。而在數(shù)據(jù)層能力方面,如何做好RAG(檢索增強(qiáng)生成),保證生成內(nèi)容的準(zhǔn)確性,消除幻覺最為關(guān)鍵。
而在這兩個方面,百度智能云都有深厚的技術(shù)積累。百度智能云千帆大模型平臺(以下簡稱千帆平臺)是大模型與AI應(yīng)用開發(fā)及服務(wù)平臺,可以從模型開發(fā)、模型服務(wù)、應(yīng)用開發(fā)三大維度,為企業(yè)提供全流程服務(wù)。目前,文心大模型日均調(diào)用量超過15億次,千帆平臺已經(jīng)幫助客戶精調(diào)了3.3萬個模型、開發(fā)了77萬個企業(yè)應(yīng)用。
模型精調(diào)助力大模型與產(chǎn)業(yè)深度融合
大模型具有強(qiáng)大的泛化能力,可以處理很多通識類問題,但在某些特定行業(yè)及領(lǐng)域的表現(xiàn)不如人意。這是因?yàn)椴煌袠I(yè)有著獨(dú)特的專業(yè)知識、邏輯和數(shù)據(jù)特點(diǎn),通識知識無法完全覆蓋這些特殊需求。模型精調(diào)是增強(qiáng)大模型在行業(yè)應(yīng)用中表現(xiàn)的關(guān)鍵,通過將行業(yè)的專業(yè)知識和數(shù)據(jù)特征融入大模型,可以讓其更好地滿足行業(yè)特定需求,從而提升應(yīng)用的準(zhǔn)確性和可靠性。
行業(yè)內(nèi)主流大模型服務(wù)商也正在通過大模型平臺提供模型精調(diào)服務(wù),幫助企業(yè)快速打造AI應(yīng)用。
AWS SageMaker集成了亞馬遜的高性能預(yù)訓(xùn)練模型庫,這些預(yù)訓(xùn)練模型在大規(guī)模的通用數(shù)據(jù)上進(jìn)行了訓(xùn)練,已經(jīng)學(xué)習(xí)到了豐富的特征表示和知識,為模型精調(diào)提供了良好的基礎(chǔ),同時,SageMaker 還提供了多種先進(jìn)的機(jī)器學(xué)習(xí)算法,用戶可以根據(jù)精調(diào)任務(wù)的特點(diǎn)和需求,選擇合適的算法來進(jìn)一步優(yōu)化模型性能。
百度智能云千帆大模型平臺提供了完整的工具鏈,是業(yè)界首個上線DPO、KTO等模型訓(xùn)練方法的平臺,提供了高質(zhì)量通用語料數(shù)據(jù)和開箱即用的模型精調(diào)樣板間。無論是想要自己準(zhǔn)備數(shù)據(jù)、做精調(diào),還是想快速上手、復(fù)制行業(yè)最佳實(shí)踐,千帆平臺都可以高效支持。目前,在千帆平臺上,每天有超過一半的調(diào)用量是來自精調(diào)后的模型。
拿醫(yī)療行業(yè)舉例,杭州全診醫(yī)學(xué)基于千帆平臺和文心大模型打造了AI醫(yī)療助理應(yīng)用,能夠在導(dǎo)診、預(yù)診、診間、入院、手術(shù)、隨訪等全階段服務(wù)醫(yī)生患者。以輔助醫(yī)生撰寫病歷為例,全診醫(yī)學(xué)通過使用20萬份精標(biāo)病歷數(shù)據(jù)對大模型進(jìn)行了精調(diào),使AI醫(yī)療助理的醫(yī)學(xué)用語更準(zhǔn)確、更規(guī)范,大幅提升病歷內(nèi)容質(zhì)量。病歷生成的準(zhǔn)確度提升了45%,醫(yī)生的接診量提高了20%,造福更多病患。
RAG已成為企業(yè)解決大模型幻覺問題的有效手段
生成式 AI 已成為企業(yè)布局和投資的重點(diǎn),企業(yè)希望借助大模型實(shí)現(xiàn)降本增效和產(chǎn)品創(chuàng)新。然而,通用大語言模型(LLM)在實(shí)際應(yīng)用中往往存在幻覺問題或回答不準(zhǔn)確的情況,尤其是在面向 B 端場景時,難以有效滿足企業(yè)的落地需求。為解決這一問題,企業(yè)通常采用 RAG(檢索增強(qiáng)生成)技術(shù),將生成式 AI與企業(yè)內(nèi)部數(shù)據(jù)庫、知識庫相結(jié)合,使生成內(nèi)容更加準(zhǔn)確、合理。在此過程中,向量數(shù)據(jù)庫憑借其在語義理解和高效檢索方面的獨(dú)特優(yōu)勢,成為企業(yè)實(shí)現(xiàn) RAG 的關(guān)鍵組成部分。
不久前,IDC發(fā)布了《RAG與向量數(shù)據(jù)庫市場前景預(yù)測》報告,對使用大模型的企業(yè)進(jìn)行了深入調(diào)研。報告顯示,在生成式 AI 的開發(fā)過程中,41% 的高管認(rèn)為構(gòu)建 RAG 架構(gòu)至關(guān)重要;此外,81% 的 IT 領(lǐng)導(dǎo)者認(rèn)為,基于業(yè)務(wù)數(shù)據(jù)的生成式 AI 模型能夠?yàn)槠髽I(yè)帶來顯著的競爭優(yōu)勢。這表明,RAG 技術(shù)在提升通用大模型準(zhǔn)確性方面效果顯著,且企業(yè)對其認(rèn)可度正持續(xù)提高。隨著更多企業(yè)意識到 RAG 的重要性,它有望成為生成式 AI 落地的關(guān)鍵推動力。
在分析了RAG和向量數(shù)據(jù)庫市場的發(fā)展趨勢后,IDC還評估了市場上的主要廠商。在這一評估中,百度智能云的向量數(shù)據(jù)庫 VectorDB 在核心性能、功能全面性、大模型支持、戰(zhàn)略與生態(tài)合作、工程化落地五個關(guān)鍵領(lǐng)域保持領(lǐng)先,綜合排名并列第一。
目前,百度智能云 VectorDB 已經(jīng)在超過 500 家客戶中實(shí)際落地使用,支持 HNSW、Puck、PQ 等常用算法,主流 LLM、RAG 框架,以及百度智能云千帆和開源 Embedding 模型,支持企業(yè)一站式部署落地。面向未來,百度智能云 VectorDB 將繼續(xù)在產(chǎn)品形態(tài)、內(nèi)核功能、生態(tài)支持三個方面重點(diǎn)發(fā)力,為企業(yè) AI 應(yīng)用落地服務(wù),提供最專業(yè)的向量數(shù)據(jù)庫服務(wù)。