作者：Gartner研究總監(jiān) 閆斌
當(dāng)前，許多企業(yè)機(jī)構(gòu)都在全力推進(jìn)生成式人工智能（GenAI）解決方案的設(shè)計和實施，希望提升解決方案的通用性和創(chuàng)造性，進(jìn)而推動業(yè)務(wù)價值。2023年Gartner企業(yè)人工智能（AI）調(diào)研揭示了GenAI用例的三種最主要的實現(xiàn)方法，74%的受訪者通過對現(xiàn)有GenAI模型進(jìn)行定制化調(diào)整來滿足自身用例的需求，65%的受訪者嘗試自行訓(xùn)練定制GenAI模型。
然而，實施GenAI絕非易事。對于創(chuàng)造性和通用性的追求，往往會增加GenAI解決方案的復(fù)雜性、不確定性和生成非預(yù)期結(jié)果的可能性，而這也成為了GenAI企業(yè)采用面臨的主要問題。GenAI解決方案的創(chuàng)造性和通用性越強(qiáng)，出現(xiàn)非預(yù)期行為和輸出（如幻覺、有害內(nèi)容超出應(yīng)用范圍的內(nèi)容等）的可能性越高（見圖1）。
圖1：在創(chuàng)造性與通用性之間取得平衡
選擇基于GenAI模型自行構(gòu)建GenAI解決方案的企業(yè)機(jī)構(gòu)，其負(fù)責(zé)AI工作的數(shù)據(jù)和分析（D&A）領(lǐng)導(dǎo)者應(yīng)利用開源護(hù)欄、商業(yè)護(hù)欄和自建護(hù)欄這三種護(hù)欄工具來控制GenAI模型的輸入和輸出，驗證并矯正GenAI模型的輸入和輸出，提高模型的可靠性。
評估并優(yōu)化GenAI解決方案的創(chuàng)造性和通用性
GenAI模型可兼具創(chuàng)造性和通用性。企業(yè)機(jī)構(gòu)通常需要在廣泛的場景中使用GenAI解決方案，而這些場景對于解決方案創(chuàng)造性和通用性的需求各不相同。因此，必須根據(jù)部署目的和具體場景下的功能需求，確定GenAI解決方案的定位，并根據(jù)在創(chuàng)造性和通用性兩個方面的具體需求，利用護(hù)欄工具建立控制策略和機(jī)制。
負(fù)責(zé)AI工作的D&A領(lǐng)導(dǎo)者應(yīng)基于GenAI解決方案的使用場景和方式，確定相應(yīng)的業(yè)務(wù)風(fēng)險容忍度，具體取決于：
業(yè)務(wù)用例的重要性
用于內(nèi)部用途還是面向客戶
是否引入了人工監(jiān)督
而后，應(yīng)根據(jù)業(yè)務(wù)風(fēng)險容忍度，利用護(hù)欄工具管理模型輸入和輸出，建立嚴(yán)格或?qū)捤傻目刂茩C(jī)制，并最終在創(chuàng)造性和通用性之間取得最佳平衡。
利用模型護(hù)欄驗證和矯正模型的輸入和輸出
使用護(hù)欄工具，是管理GenAI模型創(chuàng)造性和通用性的一個切實可行的方法。護(hù)欄（在GenAI模型和應(yīng)用與最終用戶之間建立防護(hù)層）可以監(jiān)控和管理模型的全部流量，包括用戶輸入和模型/應(yīng)用輸出（見圖2）。
圖2：護(hù)欄部署在用戶與GenAI模型之間
以下是兩種典型護(hù)欄：
用于控制最終用戶輸入的模型護(hù)欄：所有用戶請求都必須經(jīng)護(hù)欄過濾，以清除非預(yù)期的請求，包括超出GenAI解決方案應(yīng)用范圍的請求和違反可接受使用政策的請求。通過這種方式，護(hù)欄可以將解決方案的通用性控制在可管理的范圍內(nèi)，就像建立了一個安全圍欄。
用于控制GenAI輸出的模型護(hù)欄：所有模型輸出都必須經(jīng)過護(hù)欄的驗證，但不同的用例對于模型創(chuàng)造性的需求存在差異，因而需要對模型施加不同程度的控制。但是，對于開發(fā)GenAl驅(qū)動的企業(yè)級搜索引擎或面向客戶的聊天機(jī)器人的情況，必須對模型輸出進(jìn)行更為嚴(yán)格的驗證和控制，以調(diào)節(jié)模型的創(chuàng)造性，并確保最終用戶可以得到可靠且符合預(yù)期的結(jié)果。
需要注意的是，護(hù)欄并非“靈丹妙藥”，不能完全解決GenAI解決方案的行為和準(zhǔn)確性問題。GenAI解決方案必須在準(zhǔn)確性與企業(yè)機(jī)構(gòu)的風(fēng)險承受能力之間取得平衡。
此外，伴隨GenAI的快速發(fā)展，護(hù)欄技術(shù)也在不斷變化和改進(jìn)。鑒于神經(jīng)網(wǎng)絡(luò)的不可預(yù)測性，護(hù)欄技術(shù)目前是驗證和矯正GenAI模型輸出的一種切實可行的方法。長期來看，在基礎(chǔ)GenAI模型變得足夠可靠和可信之前，護(hù)欄提供了一種過渡解決方案，可以幫助企業(yè)機(jī)構(gòu)推動GenAI采用。
