文/王若樸 | 2024-04-08發表: 生成式AI,Google,效能
圖片來源: Google
Google聯手約翰霍普金斯大學，針對圖像生成模型做了項擴展性和效率的研究，並發現模型並非越大越好。進一步來說，團隊鎖定潛在擴散模型（LDM）的大小和採樣效率，其中，LDM是圖像生成的常用模型，擅長根據文字描述，生成高品質圖像。
在研究中，團隊訓練了12個文字轉圖像的LDM，這些模型大小不一，從3,900萬到50億個參數不等。接著，團隊用各種任務來評估模型表現，包括文字生成圖像、提高解析度、主題驅動的合成等。他們發現，在給定的有限運算資源下，小模型的表現比大模型要好，能產生更高品質的圖像。而且，小模型的採樣效率在各種擴散採樣器中都是一樣的，就算在蒸餾模型中也是。換句話說，小模型的優勢，不限於特定的取樣技術或模型壓縮方法。
不過，研究也發現，當運算資源沒特別限制時，大模型依然擅長生成顆粒度更細緻的細節。意思是，小模型雖然可能更有效率，但在某些情況下，仍需要大模型。團隊認為，該研究影響深遠，因為了解LDM擴展性、模型大小和效能的狀態後，開發者可在效率和品之間取得平衡，打造所需的AI模型。