OpenAI 今日公布了其最新研究，試圖用 CoT（思維鏈）監(jiān)控的方式監(jiān)控推理模型的“想法”，從而阻止 AI 大模型胡說(shuō)八道、隱藏真實(shí)意圖等行為，同時(shí)這也是監(jiān)督超級(jí)模型的有效工具之一。
IT之家注：AI 偶爾會(huì)胡說(shuō)八道，我們一般稱其為 AI 幻覺(jué)。除此之外，AI 還會(huì)偷懶或故意耍壞，例如在問(wèn)題太難時(shí)欺騙用戶或干脆放棄。
OpenAI 使用了最新發(fā)布的前沿模型 o3-mini 作為被監(jiān)控對(duì)象，并以較弱的 GPT-4o 模型作為監(jiān)控器。測(cè)試環(huán)境為編碼任務(wù)，要求 AI 在代碼庫(kù)中實(shí)現(xiàn)功能以通過(guò)單元測(cè)試。
結(jié)果顯示，CoT 監(jiān)控器在檢測(cè)系統(tǒng)性“獎(jiǎng)勵(lì)黑客”行為時(shí)表現(xiàn)卓越，召回率高達(dá) 95%，遠(yuǎn)超僅監(jiān)控行為的 60%。 
