一眼概覽

MusicMagus 提出了一種基于擴散模型的零樣本文本到音樂編輯方法，可在不額外訓練的情況下，通過文本編輯修改音樂的風格、音色和樂器，同時保持其他屬性不變。實驗表明，該方法在風格轉換和音色轉換方面優(yōu)于現(xiàn)有零樣本方法，并在某些任務上超越監(jiān)督學習方法。

核心問題

當前的文本到音樂生成模型已取得長足進展，但音樂創(chuàng)作往往需要反復修改，而如何在保持音樂整體結構的同時，精準編輯特定屬性仍然是個挑戰(zhàn)?，F(xiàn)有方法依賴手工標注數(shù)據(jù)集或特定任務訓練，限制了編輯的靈活性和通用性。因此，本研究的核心問題是：

如何在無需額外訓練的情況下，實現(xiàn)靈活的文本驅動音樂編輯？

技術亮點

1. 無監(jiān)督零樣本編輯：MusicMagus 不依賴成對訓練數(shù)據(jù)，而是利用預訓練擴散模型的潛在表示空間，直接進行文本驅動的音樂編輯。

2. 語義一致性約束：通過向量化的編輯方向和交叉注意力約束，確保編輯后的音樂在保持原有結構的同時，僅修改目標屬性。

3. 兼容現(xiàn)有模型：無需重新訓練，直接集成于現(xiàn)有的文本到音樂擴散模型（如 AudioLDM 2），提升可用性。

方法框架

圖片

MusicMagus 的編輯過程包括以下步驟：

1. 文本變換：通過單詞替換（如“鋼琴”→“吉他”）來定義編輯目標，并計算語義變換向量，以捕捉文本變化的方向。

2. 擴散模型編輯：

? 在潛在空間應用編輯向量，調整擴散模型的語義條件；

? 施加交叉注意力約束，確保非編輯部分保持不變。

3. 音樂重建：利用擴散模型去噪生成新的音樂片段，實現(xiàn)零樣本風格或音色轉換。

實驗結果速覽

圖片

(1) 主觀實驗

在音色轉換任務中（鋼琴 → 風琴、鋼琴 → 中提琴等），MusicMagus 在相關性（REL）、整體質量（OVL）和一致性（CON）方面均優(yōu)于AudioLDM 2 和 Transplayer。

(2) 客觀實驗

MusicMagus 在語義一致性（CLAP 相似度）和旋律一致性（Chroma 相似度）方面均優(yōu)于基線。

實用價值與應用

MusicMagus 適用于多種音樂編輯場景：

? 音樂制作：藝術家可通過文本指令快速調整風格或替換樂器，提升音樂創(chuàng)作效率。

? 影視配樂：可根據(jù)導演需求調整背景音樂風格，而無需重新錄制。

? 游戲音效：允許游戲開發(fā)者通過文本指令靈活調整游戲配樂，增強互動體驗。

此外，該方法還可用于真實音樂編輯，通過DDIM 反演對真實音頻進行修改，但目前仍受模型泛化能力的限制。

開放問題

? 長音頻編輯：當前方法主要針對短音樂片段，未來如何擴展至完整歌曲或長音頻編輯？

? 多樂器混合編輯：目前僅支持單個音色轉換，如何在不影響整體結構的情況下修改多個樂器或風格？

? 更高音質生成：現(xiàn)有擴散模型生成的音樂仍受16kHz 采樣率限制，如何提高音質以滿足專業(yè)需求？