Cloud&AI
`
2025/6/24 09:03
蘋果另辟蹊徑:利用“歸一化流”技術(shù)打造 AI 生圖模型
0
0

業(yè)界通常使用擴(kuò)散模型或自回歸模型來(lái)研發(fā) AI 生圖模型,蘋果公司近期發(fā)布的論文顯示該公司正在選擇一條被“遺忘”的歸一化流(Normalizing Flows)技術(shù)路線研發(fā)相應(yīng)模型。

據(jù)介紹,這一“歸一化流”技術(shù)是一種通過學(xué)習(xí)數(shù)學(xué)變換的方式,將真實(shí)世界的數(shù)據(jù)(如圖像)轉(zhuǎn)換成結(jié)構(gòu)化噪聲,并再將噪聲還原為圖像樣本的生成模型。其最大優(yōu)勢(shì)是能夠精確計(jì)算生成圖像的概率,這是擴(kuò)散模型無(wú)法做到的。這一特性使得歸一化流在對(duì)概率要求較高的任務(wù)中具有獨(dú)特吸引力。不過此類模型并不常見,原因在于其研發(fā)成本更高,同時(shí)早期采用相應(yīng)技術(shù)生成的模型往往相對(duì)模糊、缺乏細(xì)節(jié)。

參考蘋果公司《Normalizing Flows are Capable Generative Models》論文,其推出一種名為 TarFlow(Transformer AutoRegressive Flow)的新型歸一化流技術(shù)模型,該模型的核心思路是將一張待生成的大圖拆成“小區(qū)塊”,再以相應(yīng)區(qū)塊為單位進(jìn)行生成一系列像素值,每一塊圖像像素值的生成都依賴于前面已生成的部分,繼而形成完整的圖像,因此能夠有效避免圖像被壓縮為固定詞匯表時(shí)產(chǎn)生的質(zhì)量損失與表現(xiàn)僵化的問題。

當(dāng)然,TarFlow 在生成高分辨率圖像方面仍存在局限,這就引出了第二篇研究《STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis》。

參考這篇論文,蘋果在 TarFlow 的基礎(chǔ)上進(jìn)一步提出了增強(qiáng)版本:STARFlow(Scalable Transformer AutoRegressive Flow)。

該模型最大的改進(jìn)在于,它不再直接在像素層面生成圖像,而是在“潛空間”(latent space)中工作,首先生成圖像的壓縮表示,再通過解碼器進(jìn)行放大還原。因此模型可無(wú)須再預(yù)測(cè)數(shù)百萬(wàn)個(gè)像素值,而是先處理圖像的大體結(jié)構(gòu),細(xì)節(jié)部分留給解碼器進(jìn)行補(bǔ)充,從而在不損失質(zhì)量的前提下提升生成效率

此外,STARFlow 還改進(jìn)了對(duì)文本提示的處理方式。它不再內(nèi)建專用文本編碼器,而是支持調(diào)用現(xiàn)有語(yǔ)言模型(例如谷歌推出的小語(yǔ)言模型 Gemma,理論上可以直接在設(shè)備上運(yùn)行)來(lái)處理用戶的語(yǔ)言指令。這樣一來(lái),模型的圖像生成部分可以專注于圖像細(xì)節(jié)的生成與優(yōu)化。

免責(zé)聲明:本文僅代表作者個(gè)人觀點(diǎn),與C114通信網(wǎng)無(wú)關(guān)。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實(shí),對(duì)本文以及其中全部或者部分內(nèi)容、文字的真實(shí)性、完整性、及時(shí)性本站不作任何保證或承諾,請(qǐng)讀者僅作參考,并請(qǐng)自行核實(shí)相關(guān)內(nèi)容。

給作者點(diǎn)贊
0 VS 0
寫得不太好

C114簡(jiǎn)介     聯(lián)系我們     網(wǎng)站地圖

Copyright©1999-2025 c114 All Rights Reserved 滬ICP備12002291號(hào)-4

C114通信網(wǎng)版權(quán)所有 舉報(bào)電話:021-54451141 用戶注銷