ICML 2025 丨慕尼黑工業(yè)大學(xué)等基于 SD3 開(kāi)發(fā)衛(wèi)星圖像生成方法，構(gòu)建當(dāng)前最大規(guī)模遙感數(shù)據(jù)集 原創(chuàng)
衛(wèi)星圖像是通過(guò)衛(wèi)星遙感技術(shù)獲取的地球表面影像，它通過(guò)建立「太空視角」將地球信息數(shù)字化，實(shí)現(xiàn)了大范圍檢測(cè)、動(dòng)態(tài)追蹤和數(shù)據(jù)支撐。在人們的日常生活中，無(wú)論是宏觀的環(huán)境治理還是微觀的城市生活都已離不開(kāi)它，比如在林業(yè)監(jiān)測(cè)中，通過(guò)衛(wèi)星圖像可以快速圈定森林分布范圍，計(jì)算不同林種覆蓋比例，檢測(cè)因砍伐、種植、病蟲(chóng)災(zāi)害等導(dǎo)致的森林覆蓋變化等。
然而，衛(wèi)星監(jiān)測(cè)容易受到多重因素的影響，致使其性能和應(yīng)用效果在一定程度上大打折扣，云層覆蓋的干擾影響尤甚。如在云層多發(fā)地區(qū)，受此影響衛(wèi)星監(jiān)測(cè)可能會(huì)中斷數(shù)天甚至數(shù)周，這不僅妨礙了衛(wèi)星的實(shí)時(shí)動(dòng)態(tài)監(jiān)測(cè)，同時(shí)也提出了將衛(wèi)星圖像與氣候數(shù)據(jù)相結(jié)合以提升預(yù)測(cè)準(zhǔn)確性的新要求。人工智能技術(shù)和機(jī)器學(xué)習(xí)算法突飛猛進(jìn)的發(fā)展為解決這一要求提供了契機(jī)，但目前大多數(shù)方法是根據(jù)特定任務(wù)或具體區(qū)域而設(shè)計(jì)，缺乏推廣到全球應(yīng)用的普遍性。
為解決上述問(wèn)題，來(lái)自德國(guó)慕尼黑工業(yè)大學(xué)和瑞士蘇黎世大學(xué)的團(tuán)隊(duì)提出以地理氣候提示為條件，并使用 Stable Diffusion 3（SD3）生成衛(wèi)星圖像的新方法，同時(shí)創(chuàng)建了一個(gè)迄今為止最大、最全面的遙感數(shù)據(jù)集 EcoMapper 。該數(shù)據(jù)集從 Sentinel-2 收集了來(lái)自全球 104,424 個(gè)地點(diǎn)的超 290 萬(wàn)張 RGB 衛(wèi)星圖像數(shù)據(jù)，涵蓋 15 種土地覆蓋類(lèi)型和相應(yīng)氣候記錄，為采用微調(diào)的 SD3 模型進(jìn)行兩種衛(wèi)星圖像生成方法奠定了基礎(chǔ)。通過(guò)將合成圖像生成和氣候與土地覆蓋數(shù)據(jù)相結(jié)合，所提方法推動(dòng)了遙感領(lǐng)域生成式建模技術(shù)的發(fā)展，填補(bǔ)了受持續(xù)云層覆蓋影響地區(qū)的觀測(cè)空白，為全球氣候適應(yīng)和地理空間分析提供了新工具。
研究成果以「EcoMapper: Generative Modeling for Climate-Aware Satellite Imagery」為題，入選 ICML 2025 。
研究亮點(diǎn)：
* 構(gòu)建了包含超 290 萬(wàn)張衛(wèi)星圖像的迄今為止最大、最全面的遙感數(shù)據(jù)集 EcoMapper
* 開(kāi)發(fā)了一個(gè)文本-圖像的生成模型，基于微調(diào)的 Stable Diffusion 3 ，利用包含氣候和土地覆蓋細(xì)節(jié)的文本提示，生成特定區(qū)域的逼真合成圖像
* 開(kāi)發(fā)了一個(gè)利用 ControlNet 的多條件（文本+圖像）模型框架，實(shí)現(xiàn)氣候數(shù)據(jù)映射或生成時(shí)間序列，模擬景觀演變過(guò)程
?
論文地址：
數(shù)據(jù)集下載地址：
更多 AI 前沿論文：
數(shù)據(jù)集：迄今為止最大、最全面遙感數(shù)據(jù)集
EcoMapper 為迄今為止最大、最全面的遙感數(shù)據(jù)集，由 2,904,000 張帶有氣候元數(shù)據(jù)的衛(wèi)星圖像組成，數(shù)據(jù)集從全球 104,424 個(gè)地理點(diǎn)位采樣，涵蓋 15 種不同的土地覆蓋類(lèi)型。如下圖所示：
數(shù)據(jù)集示例
各批次年度觀測(cè)數(shù)據(jù)量及總圖像量（注意：由于土地覆蓋分布的擬合，一些位置丟失）
其中，訓(xùn)練集包含 98,930 個(gè)地理點(diǎn)位，每個(gè)點(diǎn)位觀測(cè)期為 24 個(gè)月。研究人員根據(jù)云量最少的日子，在兩年時(shí)間中針對(duì)每個(gè)點(diǎn)位每月選擇一次觀測(cè)，最終每個(gè)點(diǎn)位得到 24 張圖像的序列。兩年的觀測(cè)期隨機(jī)分布于 2017 年至 2022 年之間。
測(cè)試集包含 5,494 個(gè)地理點(diǎn)位，每個(gè)地點(diǎn)觀測(cè)期為 96 個(gè)月（8 年），時(shí)間跨度從 2017 年至 2024 年，同樣為每月監(jiān)測(cè)一次。
從空間上來(lái)看，每次觀測(cè)的空間覆蓋面積約為 26.21 平方公里，整體數(shù)據(jù)集覆蓋約 2,704,000 平方公里，占到地球陸地總面積的約 2.05% 。這些數(shù)據(jù)確保了評(píng)估中足夠的空間和時(shí)間獨(dú)立性，能夠?qū)δＰ驮诓煌貐^(qū)和看不見(jiàn)的氣候條件下的泛化進(jìn)行穩(wěn)健的評(píng)估。
除此之外，每個(gè)采樣位置都豐富了元數(shù)據(jù)，包括地理位置（經(jīng)緯度）、觀測(cè)日期（年月份）、土地覆蓋類(lèi)型和云覆蓋率，以及來(lái)自 NASA Power 的月平均溫度、太陽(yáng)輻射和總降水量。這些數(shù)據(jù)顯示了對(duì)農(nóng)業(yè)、林業(yè)、土地覆蓋及生物多樣性的益處。
模型架構(gòu)：文本-圖像生成模型和多條件生成模型
本次研究的目標(biāo)是合成以地理和氣候元數(shù)據(jù)為條件的衛(wèi)星圖像，從而實(shí)現(xiàn)對(duì)環(huán)境條件的真實(shí)預(yù)測(cè)。為此，研究人員必須解決兩個(gè)關(guān)鍵任務(wù)：文本到圖像的生成和多條件圖像生成。
研究人員評(píng)估了兩種生成模型將氣候元數(shù)據(jù)整合到衛(wèi)星圖像合成中的能力：
第一個(gè)為 Stable Diffusion 3，這是一種多模態(tài)潛在擴(kuò)散模型，整合了 CLIP 和 T5 文本編碼器，能夠?qū)崿F(xiàn)靈活的提示條件設(shè)定。研究人員使用采集到的數(shù)據(jù)集對(duì) Stable Diffusion 3 進(jìn)行了微調(diào)，使其能依據(jù)地理、氣候和時(shí)間元數(shù)據(jù)的逼真衛(wèi)星圖像。
?
第二個(gè)為 DiffusionSat，這是一種專(zhuān)門(mén)用于衛(wèi)星圖像的基礎(chǔ)模型，基于 Stable Diffusion 2 進(jìn)行了擴(kuò)展，增加了專(zhuān)門(mén)的元數(shù)據(jù)嵌入層用于數(shù)值條件設(shè)定。與一般的擴(kuò)散模型相比，該模型專(zhuān)為遙感任務(wù)設(shè)計(jì)，能夠?qū)﹃P(guān)鍵的空間和時(shí)間屬性進(jìn)行編碼，具備超分辨率、圖像修復(fù)和時(shí)間預(yù)測(cè)等功能。
針對(duì)文本到圖像生成任務(wù)，研究人員對(duì) Stable Diffusion 3 和 DiffusionSat 進(jìn)行了多種配置的對(duì)比測(cè)試，包括微調(diào)和未微調(diào)后的模型，并在不同分辨率下進(jìn)行實(shí)驗(yàn)：
* 基線模型：在 512 x 512 分辨率下對(duì)兩種模型進(jìn)行未微調(diào)評(píng)估。
* 微調(diào)模型（-FT）：在 512 x 512 分辨率下，使用氣候元數(shù)據(jù)對(duì)兩種模型進(jìn)行微調(diào)后評(píng)估。
* 高分辨率 SD3 模型：在 1024 x 1024 分辨率下，使用氣候元數(shù)據(jù)對(duì) SD3 進(jìn)行微調(diào)并測(cè)試，標(biāo)記為 SD3-FT-HR 。
針對(duì)多條件圖像生成任務(wù)，研究人員選用經(jīng)過(guò) LoRA（低秩適應(yīng)）技術(shù)增強(qiáng)的微調(diào) Stable Diffusion 3 模型執(zhí)行多條件圖像生成任務(wù)。該模型在 512 x 512 分辨率下訓(xùn)練，作為生成高質(zhì)量且與上下文相關(guān)圖像的基礎(chǔ)。研究運(yùn)用 ControlNet 技術(shù)構(gòu)建了雙條件機(jī)制：
* 所謂 ControlNet 即通過(guò)將明確的空間控制集成到生成過(guò)程中，增強(qiáng)了擴(kuò)散模型。這種設(shè)計(jì)確保了控制塊對(duì)主塊的初始影響最小，其功能類(lèi)似于跳過(guò)鏈接。
* 衛(wèi)星圖像作為控制信號(hào)：以前幾個(gè)月的衛(wèi)星圖像作為控制信號(hào)，維持生成圖像的空間結(jié)構(gòu)，確保地貌、城市布局和其他地理特征保持不變。如此一來(lái)，模型能融入隨時(shí)間的變化，借此反映現(xiàn)實(shí)世界的環(huán)境變化。
* 氣候提示：借助文本條件機(jī)制，明確生成衛(wèi)星圖像的氣候和大氣條件。
研究通過(guò)將這兩個(gè)調(diào)節(jié)因素相結(jié)合，使模型能夠生成融合氣候變化的真實(shí)衛(wèi)星圖像，同時(shí)保持空間一致性。這種方法還支持時(shí)間序列生成，能夠模擬氣候條件不斷變化下的景觀演變。如下圖所示：
融合 Stable Diffusion 3 和 ControlNet 的框架，實(shí)現(xiàn)了多條件衛(wèi)星圖像生成
在提示結(jié)構(gòu)方面，為有效進(jìn)行衛(wèi)星圖像生成，研究人員設(shè)計(jì)了兩種提示類(lèi)型引導(dǎo)衛(wèi)星圖像生成，即空間提示（Spatial Prompt）和氣候提示（Climate Prompt），前者為用于編碼基本元數(shù)據(jù)，涵蓋土地覆蓋類(lèi)型、位置、日期和云量等信息，確保生成的圖像與地理和時(shí)間背景保持一致；后者在空間提示的基礎(chǔ)上，融入月氣候變量（溫度、降水量和太陽(yáng)輻射），為圖像生成提供更豐富的環(huán)境條件信息。這兩種提示都利用 Stable Diffusion 3 的文本編碼器，空間信息由 CLIP 處理，氣候數(shù)據(jù)由 T5 編碼器處理。
實(shí)驗(yàn)結(jié)果：超越基線模型的生成性能，但仍有提升空間
研究人員設(shè)計(jì)了多維實(shí)驗(yàn)體系，通過(guò)橫向和縱向多重對(duì)比和實(shí)驗(yàn)，驗(yàn)證了所設(shè)計(jì)的生成模型在生成氣候感知衛(wèi)星圖像時(shí)的性能。
首先，研究人員明確了 5 個(gè)已建立的指標(biāo)，包括 FID（Fréchet Inception Distance）、 LPIPS（Learned Perceptual Image Patch Similarity）、 SSIM（Structural Similarity Index）、 PSNR（Peak Signal-to-Noise Ratio）和 CLIP Score 。其中，F(xiàn)ID 和 LPIPS 評(píng)估圖像分布相似度和感知差異，SSIM 和 PSNR 測(cè)量結(jié)構(gòu)一致性和重建質(zhì)量， CLIP Score 評(píng)估文本-圖像對(duì)齊。
在文本到圖像生成方面，研究人員通過(guò)比較 Stable Diffusion 3 和 DiffusionSat 及其微調(diào)版本（SD3-FT 和 DiffusionSat-FT）和 SD3-FT-HR 在 5500 個(gè)地理點(diǎn)位上的表現(xiàn)，驗(yàn)證了所設(shè)計(jì)模型的有效性。
如下圖所示。 SD3 和 DiffusionSat 的基線模型評(píng)估分?jǐn)?shù)最低，但后者表現(xiàn)明顯優(yōu)于前者，這顯示出遙感預(yù)訓(xùn)練的優(yōu)勢(shì)；而所有微調(diào)模型的指標(biāo)均顯著提升，SD3-FT 在 CLIP 、 SSIM 、 PSNR 上的表現(xiàn)更優(yōu)，DiffusionSat-FT 在 FID 和 LPIPS 上更出色。 SD3-FT-HR 的 FID 最低（FID 值越低表示真實(shí)性越高），為 49.48，表明了其生成圖像具有更精細(xì)的細(xì)節(jié)。
文本到圖像生成模型的定量比較
定性結(jié)果分析表明了所設(shè)計(jì)的模型能捕捉農(nóng)田、草原的規(guī)則紋理和山地地形特征，尤其是 SD3-FT-HR 在植被密度變化和高分辨率細(xì)節(jié)上表現(xiàn)更優(yōu)異。
在氣候敏感性分析中，如下圖所示，模型生成的植被密度與氣候變化顯著相關(guān)。研究對(duì)表現(xiàn)出極端天氣條件的樣本進(jìn)行了 SD3-FT 模型的定量壓力測(cè)試，結(jié)果顯示高溫、高輻射條件下，模型生成的圖像 FID 較低（如高輻射 FID 為 107.34），植被相應(yīng)更明顯；低溫、低輻射時(shí)則反之，模擬效果稍差。
SD3-FT 在極端氣候條件下為不同地區(qū)生成的衛(wèi)星圖像
SD3-FT 在極端天氣條件下的性能
在多條件圖像生成任務(wù)中，結(jié)合 ControlNet 的多條件生成在所有指標(biāo)上均優(yōu)于文本到圖像模型，如 SD3 ControlNet 的 FID 為 48.20 。另外，生成圖像和實(shí)況圖像還表現(xiàn)出了很強(qiáng)的空間對(duì)齊，保持了關(guān)鍵的地理特征，同時(shí)結(jié)合了特定氣候的變化。如下圖所示：
SD3 ControlNet 模型的指標(biāo)
不同季節(jié)變化下多條件圖像生成中，實(shí)況圖像、生成圖像和條件圖像的比較
?
在魯棒性測(cè)試中，土地覆蓋類(lèi)型對(duì)模型生成穩(wěn)定性有較高的影響，常見(jiàn)類(lèi)型如草原、稀樹(shù)草原生成穩(wěn)定性高，F(xiàn)ID 較低；復(fù)雜或稀有類(lèi)型如濕地、城市的 FID 則較高，如城市 FID 為 284.65，這是因?yàn)橛?xùn)練數(shù)據(jù)不足所致。另外，模型在 2017 年至 2024 年的測(cè)試集上的表現(xiàn)穩(wěn)定，在 2023 年至 2024 年數(shù)據(jù)集上也未見(jiàn)性能退化， 這證明對(duì)于未見(jiàn)的時(shí)空?qǐng)鼍?，所設(shè)計(jì)的模型依然具有高強(qiáng)度的適應(yīng)性。
總而言之，EcoMapper 引入了一個(gè)生成框架，用于根據(jù)氣候變量模擬衛(wèi)星圖像，目的是對(duì)環(huán)境景觀如何響應(yīng)天氣和長(zhǎng)期氣候變化進(jìn)行建模。這為氣候變化影響可視化、情景探索以及增強(qiáng)整合衛(wèi)星和氣候數(shù)據(jù)的下游模型提供了新機(jī)會(huì)，比如作物產(chǎn)量預(yù)測(cè)、土地利用監(jiān)測(cè)或多云地區(qū)的圖像填補(bǔ)。
機(jī)器學(xué)習(xí)算法加持，打開(kāi)衛(wèi)星圖像生成的新范式
生成式模型在衛(wèi)星圖像生成中的應(yīng)用正通過(guò)深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)突破，其結(jié)合了神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)能力和海量的衛(wèi)星數(shù)據(jù)，從而生成逼真的高分辨率、多模態(tài)遙感影像。除了上述內(nèi)容外，學(xué)研界在此領(lǐng)域的研究早已形成了「接力賽」，通過(guò)不斷創(chuàng)新方式方法，為衛(wèi)星圖像領(lǐng)域的研究鋪就一條堅(jiān)實(shí)的路。
比如文中提到的 DiffusionSat，這是首個(gè)專(zhuān)門(mén)為衛(wèi)星圖像設(shè)計(jì)的大規(guī)模擴(kuò)散模型，支持多光譜輸入、時(shí)間序列生成和超分辨率。其創(chuàng)新地將地理位置等元數(shù)據(jù)作為條件信息，解決衛(wèi)星圖像缺乏文本標(biāo)注的問(wèn)題。相關(guān)研究由斯坦福大學(xué)團(tuán)隊(duì)發(fā)表，題為「DIFFUSIONSAT: A GENERATIVE FOUNDATION MODEL FOR SATELLITE IMAGERY」，收錄于 ICLR 2024 。
論文地址：
??https://arxiv.org/pdf/2312.03606??
除此之外，來(lái)自北京航空航天大學(xué)的團(tuán)隊(duì)發(fā)表的題為「MetaEarth: A Generative Foundation Model for Global-scale Remote Sensing Image Generation」的研究。他們提出了一種名為 MetaEarth 的全球尺度生成模型，通過(guò)分辨率引導(dǎo)的自級(jí)聯(lián)框架，使模型能夠在分階段從低分辨率生成高分辨率的地理圖像，并采用滑動(dòng)窗口與噪聲共享策略實(shí)現(xiàn)了無(wú)邊界拼接。
論文地址：
??https://arxiv.org/pdf/2405.13570??
另外，來(lái)自麻省理工學(xué)院、哥倫比亞大學(xué)、牛津大學(xué)等團(tuán)隊(duì)的研究人員還展示了生成視覺(jué)模型在合成衛(wèi)星圖像用于氣候變化相關(guān)可視化方面的研究進(jìn)展。他們提出了一種稱(chēng)為 Earth Intelligence Engine（EIE）的方法，結(jié)合基于物理的洪水模型投影和衛(wèi)星圖像作為深度生成視覺(jué)模型輸入，通過(guò)評(píng)估生成圖像與洪水輸入的交集來(lái)實(shí)現(xiàn)。結(jié)果表明，該方法在物理一致性和視覺(jué)質(zhì)量上表現(xiàn)出色，優(yōu)于無(wú)物理?xiàng)l件的基線模型，且對(duì)不同遙感數(shù)據(jù)和氣候事件由泛化能力。論文題目為「Generating Physically-Consistent Satellite Imageryfor Climate Visualizations」。
?
論文地址：
??https://arxiv.org/html/2104.04785v5??
毫無(wú)疑問(wèn)，生成式模型正在重塑衛(wèi)星圖像的生成與應(yīng)用范圍，從洪水預(yù)警到全球尺度生成面模型，從多光譜數(shù)據(jù)融合再到時(shí)空動(dòng)態(tài)模擬，其不僅展示先進(jìn)的技術(shù)突破，同時(shí)也展示了巨大的應(yīng)用潛力。相信不久的未來(lái)，隨著擴(kuò)散模型、自級(jí)聯(lián)框架等技術(shù)的進(jìn)一步優(yōu)化，生成模型有望為衛(wèi)星圖像的發(fā)展注入更加強(qiáng)勁的動(dòng)力。
?
參考資料：
1.??https://arxiv.org/pdf/2312.03606???
2.??https://arxiv.org/html/2104.04785v5???
3.??https://arxiv.org/pdf/2405.13570??
