微軟亞洲研究院、清華大學(xué)、北京大學(xué)、利物浦大學(xué)聯(lián)合推出功能強(qiáng)大的定制多語(yǔ)言文本編碼器Glyph-ByT5-v2和功能強(qiáng)大的美觀圖形生成模型Glyph-SDXL-v2，它們可以支持 10 種不同語(yǔ)言的準(zhǔn)確拼寫。考慮到最新的DALLE-3 和Ideogram仍然難以完成多語(yǔ)言視覺文本渲染任務(wù)，該工作是一項(xiàng)重大進(jìn)步。

Glyph-ByT5-v2+Glyph-SDXL-v2效果展示

Glyph-ByT5-v2+Glyph-SDXL-v2方法進(jìn)行多語(yǔ)言視覺文本渲染的結(jié)果。分別在第1行、第2行、第3行、第4行和第5行展示了法語(yǔ)、西班牙語(yǔ)、中文、日語(yǔ)和韓語(yǔ)的視覺文本結(jié)果。

?

競(jìng)品：DALL·E3和Ideogram 1.0生成的多語(yǔ)言結(jié)果的可視化展示，效果不佳

應(yīng)用步驟感知偏好優(yōu)化（SPO）后訓(xùn)練的效果。按順序展示的圖像由以下幾行生成：第一行是Glyph-SDXL生成的圖像，第二行是Glyph-SDXL Albedo生成的圖像，最后一行是Glyph-SDXL Albedo加上SPO生成的圖像。

Glyph-ByT5-v2+Glyph-SDXL-v2如何使用：

• 頁(yè)面布局設(shè)計(jì)

• ?每一塊布局box的Prompt、Color、Font填充

Glyph-ByT5-v2+Glyph-SDXL-v2 demo體驗(yàn)：

??https://huggingface.co/spaces/GlyphByT5/Glyph-SDXL-v2??

https://glyph-byt5-v2.github.io
https://arxiv.org/abs/2406.10208
Glyph-ByT5-v2: A Strong Aesthetic Baseline for Accurate Multilingual Visual Text Render

本文轉(zhuǎn)載自PaperAgent