文｜AI新智界
谷歌剛剛發(fā)布了其最強(qiáng)大的文生圖大模型 Imagen 2，可提供與用戶提示詞緊密結(jié)合且一致的高質(zhì)量、逼真的圖像輸出。它可以通過使用訓(xùn)練數(shù)據(jù)的自然分布來生成更逼真的圖像，而不是采用預(yù)先編程的風(fēng)格。
谷歌的增強(qiáng)模型 Imagen 2 是利用谷歌旗艦人工智能實(shí)驗(yàn)室 Google DeepMind 的技術(shù)開發(fā)的，該模型在 5 月份的科技巨頭 I/O 大會(huì)上悄悄推出了預(yù)覽版。谷歌聲稱，與第一代 Imagen 相比，它在圖像質(zhì)量方面“顯著”提高，并引入了新功能，包括渲染文本和 Logo 的能力。
谷歌云首席執(zhí)行官托馬斯·庫(kù)里安(Thomas Kurian)在周二的新聞發(fā)布會(huì)上表示，“如果你想創(chuàng)建帶有文本疊加的圖像——例如廣告——你可以做到?！?/p>
谷歌生成媒體產(chǎn)品主管 Vishy Tirumalasetty 表示，“Imagen 2 可以生成……徽章、字母標(biāo)記和抽象徽標(biāo)……[并且]能夠?qū)⑦@些徽標(biāo)覆蓋到產(chǎn)品、服裝、名片和其他表面上?！?/p>
得益于“新穎的訓(xùn)練和建模技術(shù)”，Imagen 2 還可以理解更具描述性的長(zhǎng)格式提示，并對(duì)有關(guān)圖像中元素的問題提供“詳細(xì)答案”。谷歌表示，這些技術(shù)還增強(qiáng)了 Imagen 2 的多語(yǔ)言理解能力——允許模型將一種語(yǔ)言的提示翻譯成另一種語(yǔ)言的輸出（例如 Logo）。
Imagen 2 利用 SynthID（DeepMind 開發(fā)的一種方法）將隱形水印應(yīng)用到其創(chuàng)建的圖像上。當(dāng)然，檢測(cè)這些水印（谷歌聲稱這些水印能夠適應(yīng)圖像編輯，包括壓縮、濾鏡和顏色調(diào)整）需要谷歌提供的工具，而第三方無法使用該工具。
目前開發(fā)人員和谷歌云客戶已經(jīng)可以體驗(yàn) Imagen 2 的強(qiáng)大：
https://cloud.google.com/blog/products/ai-machine-learning/imagen-2-on-vertex-ai-is-now-generally-available
圖像逼真程度達(dá)到新高度
看下圖，你能一眼猜到是 AI 生成的嗎？
提示詞：一張 32 歲女性在叢林中的照片，她是一位嶄露頭角的自然資源保護(hù)主義者；運(yùn)動(dòng)型短卷發(fā)，笑容溫暖
提示詞：深藍(lán)色背景上的水母
提示詞：一幅小畫布油畫，顯示案板上的橘子。光線穿過橙色部分，在切菜板的一部分上投射出橙色光。背景中有一塊藍(lán)色和白色的布。焦散、反射光、富有表現(xiàn)力的筆觸
對(duì)圖像提示詞的理解達(dá)到新的高度
文生圖模型學(xué)習(xí)根據(jù)訓(xùn)練數(shù)據(jù)集的圖像和文字說明中的詳細(xì)信息生成與用戶提示相匹配的圖像。但對(duì)于每個(gè)圖像和蚊子說明，這些配對(duì)的細(xì)節(jié)質(zhì)量和準(zhǔn)確性可能會(huì)有很大差異。
為了幫助創(chuàng)建更高質(zhì)量、更準(zhǔn)確的圖像，更好地符合用戶的提示，谷歌在 Imagen 2 訓(xùn)練數(shù)據(jù)集中的圖像說明文字中添加了進(jìn)一步的描述，幫助 Imagen 2 學(xué)習(xí)不同的文字說明樣式并進(jìn)行概括，以更好地理解廣泛的用戶提示。
這些增強(qiáng)的圖像-文字說明配對(duì)有助于 Imagen 2 更好地理解圖像和文字之間的關(guān)系，從而增強(qiáng)對(duì)上下文和細(xì)微差別的理解。
以下是 Imagen 2 快速理解的示例：
1. AI 生成油畫圖像
提示詞：“溪水輕柔地流淌，鳥兒重新唱出它們的音符，它們混合的音樂在空中飄蕩?！?（菲利斯·惠特利的《晚間贊美詩(shī)》）
2. 人工智能生成水下場(chǎng)景彩繪圖像
提示詞：“考慮大海的微妙；其中最可怕的生物如何在水下滑行，大部分時(shí)間是不可見的，并且危險(xiǎn)地隱藏在最美麗的蔚藍(lán)色調(diào)下?！保ê諣柭っ窢柧S爾的《白鯨》）
3. 人工智能生成逼真的歌唱知更鳥圖像
提示詞：“知更鳥從搖曳的常春藤叢中飛到了墻頂上，張開喙，唱起了響亮、可愛的顫音，只是為了炫耀。世界上沒有什么比知更鳥炫耀時(shí)更可愛了——而且它們幾乎總是這樣做?！保ǜダ饰魉埂せ羝嫔げ畠?nèi)特的《秘密花園》）
更真實(shí)的圖像生成
Imagen 2 的數(shù)據(jù)集和模型進(jìn)步在文本轉(zhuǎn)圖像工具經(jīng)常難以解決的許多領(lǐng)域提供了改進(jìn)，包括渲染逼真的手和人臉以及保持圖像免受分散注意力的視覺偽影。
Imagen 2 生成逼真的手和人臉的示例
谷歌根據(jù)人類對(duì)良好照明、取景、曝光、清晰度等品質(zhì)的偏好，訓(xùn)練了專門的圖像美學(xué)模型。每張圖像都會(huì)獲得一個(gè)美觀評(píng)分，這有助于調(diào)節(jié) Imagen 2，使其訓(xùn)練數(shù)據(jù)集中的圖像具有更多權(quán)重，以符合人類喜歡的品質(zhì)。該技術(shù)提高了 Imagen 2 生成更高質(zhì)量圖像的能力。
AI 使用提示“花”生成的圖像，美學(xué)分?jǐn)?shù)較低（左）到較高分?jǐn)?shù)（右）
流體式調(diào)理
Imagen 2 基于擴(kuò)散的技術(shù)提供了高度的靈活性，使得控制和調(diào)整圖像的風(fēng)格變得更加容易。通過提供參考風(fēng)格圖像與文本提示相結(jié)合，我們可以調(diào)節(jié) Imagen 2 以生成遵循相同風(fēng)格的新圖像。
可視化顯示 Imagen 2 如何通過在文本提示旁邊使用參考圖像來更輕松地控制輸出樣式。
高級(jí)修圖功能
Imagen 2 還支持“inpainting”和“outpainting”等圖像編輯功能。通過提供參考圖像和圖像蒙版，用戶可以使用稱為修復(fù)的技術(shù)直接在原始圖像中生成新內(nèi)容，或者通過修復(fù)將原始圖像擴(kuò)展到其邊界之外。這項(xiàng)技術(shù)計(jì)劃在新的一年用于谷歌云的 Vertex AI。
Imagen 2 可以通過 inpainting 擴(kuò)圖功能直接在原始圖像中生成新內(nèi)容。
Imagen 2 可以通過 outpainting 將原始圖像擴(kuò)展到其邊界之外。
參考資料：
https://deepmind.google/technologies/imagen-2/
https://techcrunch.com/2023/12/13/google-debuts-imagen-2-with-text-and-logo-generation/