隨著語音助手、會議轉(zhuǎn)寫、實時翻譯等音頻處理應(yīng)用的普及，市場對輕量級、高性能的音頻模型的需求日益增長。傳統(tǒng)的音頻處理模型往往面臨參數(shù)龐大、計算資源消耗高、難以實時處理長音頻等問題。為了解決這些挑戰(zhàn)，LMMs-Lab 團隊推出了一款名為 Aero-1-Audio 的輕量級音頻模型。該模型不僅在參數(shù)規(guī)模上實現(xiàn)了高效性，還在多個音頻處理任務(wù)中表現(xiàn)出色，尤其是在長音頻處理和語音識別方面。

一、項目概述

Aero-1-Audio 是由 LMMs-Lab 開發(fā)的一款緊湊型音頻模型，基于 Qwen-2.5-1.5B 語言模型構(gòu)建，僅包含 1.5 億參數(shù)。盡管參數(shù)規(guī)模較小，但該模型在多個音頻基準(zhǔn)測試中表現(xiàn)出色，甚至超越了許多更大規(guī)模的模型，如 Whisper 和 Qwen-2-Audio。Aero-1-Audio 能夠處理長達 15 分鐘的連續(xù)音頻輸入，無需分割，同時保持上下文連貫性，特別適合長篇語音內(nèi)容的處理。此外，該模型僅用 16 個 H100 GPU 在一天內(nèi)完成訓(xùn)練，使用了約 50 億個 tokens（相當(dāng)于 5 萬小時音頻）的高質(zhì)量過濾數(shù)據(jù)。

二、技術(shù)原理

（一）輕量級設(shè)計與高效性能

Aero-1-Audio 僅包含 1.5 億參數(shù)，規(guī)模較小，但在多個音頻基準(zhǔn)測試中表現(xiàn)出色，超越了更大規(guī)模的模型，如 Whisper 和 Qwen-2-Audio。這種輕量級設(shè)計使得模型在資源受限的環(huán)境中也能高效運行。例如，在移動設(shè)備或嵌入式系統(tǒng)中，Aero-1-Audio 能夠提供快速的語音識別和處理能力，而不會占用過多的內(nèi)存和計算資源。

（二）高效的訓(xùn)練方法

Aero-1-Audio 的訓(xùn)練數(shù)據(jù)量相對較小，僅使用了約 50 億個 tokens（相當(dāng)于 5 萬小時音頻），遠少于其他大型模型。通過高質(zhì)量的過濾數(shù)據(jù)和優(yōu)化的訓(xùn)練策略，模型在一天內(nèi)即可完成訓(xùn)練，僅需 16 個 H100 GPU。這種高效的訓(xùn)練方法使得模型能夠快速適應(yīng)新的音頻數(shù)據(jù)和任務(wù)需求，降低了開發(fā)成本和時間。

（三）動態(tài)批處理與序列打包技術(shù)

Aero-1-Audio 采用了基于 token 長度的動態(tài)批處理策略，通過將樣本分組到預(yù)定義的 token 長度閾值內(nèi)，顯著提高了計算資源利用率。此外，通過序列打包技術(shù)結(jié)合 Liger 內(nèi)核融合，模型的 FLOP 利用率從 0.03 提升至 0.34，進一步提高了訓(xùn)練效率。這種技術(shù)優(yōu)化不僅加快了模型的訓(xùn)練速度，還提高了模型在推理階段的性能，使其能夠更快地處理音頻輸入。

（四）多任務(wù)能力

Aero-1-Audio 在語音識別（ASR）任務(wù)中表現(xiàn)出色，在音頻分析與理解、語音指令跟隨和音頻場景理解等多個維度上展現(xiàn)了強大的能力。例如，在 AMI、LibriSpeech 和 SPGISpeech 數(shù)據(jù)集上，詞錯誤率（WER）最低。此外，該模型還支持多語言處理，能夠識別多種語言的語音內(nèi)容，適用于全球范圍的應(yīng)用場景。

三、核心功能

（一）長音頻處理

Aero-1-Audio 能夠處理長達 15 分鐘的連續(xù)音頻輸入，無需分割，保持上下文連貫性，特別適合長篇語音內(nèi)容的處理。例如，在會議記錄或講座轉(zhuǎn)錄中，模型能夠完整地捕捉整個過程的語音內(nèi)容，生成準(zhǔn)確的文本記錄。這種能力對于需要長時間音頻處理的應(yīng)用場景尤為重要，如播客轉(zhuǎn)錄、法庭記錄等。

（二）語音識別（ASR）

Aero-1-Audio 在語音識別任務(wù)中表現(xiàn)出色，能夠準(zhǔn)確地將語音轉(zhuǎn)換為文字，適用于實時轉(zhuǎn)寫、會議記錄、講座轉(zhuǎn)錄等場景。模型在多個語音識別基準(zhǔn)測試中取得了優(yōu)異的成績，證明了其在不同語言和口音下的魯棒性和準(zhǔn)確性。例如，在嘈雜環(huán)境下的語音識別中，Aero-1-Audio 依然能夠保持較高的識別準(zhǔn)確率。

（三）復(fù)雜音頻分析

Aero-1-Audio 支持對語音、音效、音樂等多種音頻類型的分析，能夠理解音頻中的語義和情感，適用于音頻內(nèi)容的分類和分析。例如，在音樂分析中，模型能夠識別音樂的風(fēng)格、節(jié)奏和情感表達；在語音分析中，能夠檢測說話者的情緒狀態(tài)和意圖。這種多維度的音頻分析能力為音頻內(nèi)容的智能化處理提供了強大的支持。

（四）指令驅(qū)動任務(wù)

Aero-1-Audio 支持指令驅(qū)動的音頻處理任務(wù)，例如根據(jù)指令提取音頻中的特定信息或執(zhí)行特定操作，適用于智能語音助手等應(yīng)用。例如，用戶可以通過語音指令讓模型提取音頻中的關(guān)鍵信息，如會議中的決策要點或講座中的主要觀點。這種指令驅(qū)動的任務(wù)能力使得模型在智能語音助手和自動化處理系統(tǒng)中具有廣泛的應(yīng)用前景。

四、應(yīng)用場景

（一）語音助手

Aero-1-Audio 可以作為脫網(wǎng)語音控制和對話助手的核心模型，提供快速響應(yīng)和準(zhǔn)確的語音識別。例如，在智能家居系統(tǒng)中，用戶可以通過語音指令控制家電設(shè)備，Aero-1-Audio 能夠?qū)崟r識別用戶的指令并執(zhí)行相應(yīng)的操作。這種應(yīng)用不僅提高了用戶的便利性，還增強了語音助手在復(fù)雜環(huán)境下的性能。

（二）實時轉(zhuǎn)寫

在課堂或會議中，Aero-1-Audio 能夠捕捉長時間講解并輸出筆記摘要，幫助用戶實時記錄和整理信息。例如，在國際會議中，模型能夠?qū)崟r將演講者的語音內(nèi)容轉(zhuǎn)寫為文字，并提供多語言的翻譯服務(wù)。這種實時轉(zhuǎn)寫功能對于提高會議效率和信息傳遞的準(zhǔn)確性具有重要意義。

（三）會議紀(jì)要

Aero-1-Audio 可以實時轉(zhuǎn)寫會議音頻，智能提取標(biāo)簽和關(guān)鍵詞，幫助用戶快速整理會議紀(jì)要。例如，模型能夠識別會議中的主要議題、決策和行動計劃，并生成結(jié)構(gòu)化的會議紀(jì)要。這種智能提取和整理功能大大節(jié)省了用戶的時間和精力，提高了會議管理的效率。

（四）歸檔理解

Aero-1-Audio 能夠為錄音庫添加內(nèi)容標(biāo)簽，支持按語義搜索，提升音頻資源的管理和檢索效率。例如，在廣播電臺或播客平臺中，模型可以為大量的音頻內(nèi)容生成詳細的標(biāo)簽和描述，用戶可以通過關(guān)鍵詞搜索快速找到所需的音頻資源。這種音頻歸檔和檢索功能對于音頻內(nèi)容的管理和利用具有重要的價值。

（五）聽力模塊

Aero-1-Audio 賦予智能代理多輪長語音的理解能力，提升其在復(fù)雜對話場景中的表現(xiàn)。例如，在客戶服務(wù)中心，模型能夠?qū)崟r理解客戶的語音咨詢，提供準(zhǔn)確的回答和解決方案。這種多輪對話理解能力使得智能代理能夠更好地服務(wù)于用戶，提高客戶滿意度。

五、快速使用

（一）安裝依賴

在開始之前，確保已安裝Python 和必要的依賴庫?？梢酝ㄟ^以下命令安裝：

pip install transformers@git+https://github.com/huggingface/transformers@v4.51.3-Qwen2.5-Omni-preview
pip install librosa

（二）加載模型

from transformers import AutoProcessor, AutoModelForCausalLM
import torch
import librosa
def load_audio():
  return librosa.load(librosa.ex("libri1"), sr=16000)[0]
processor = AutoProcessor.from_pretrained("lmms-lab/Aero-1-Audio-1.5B", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("lmms-lab/Aero-1-Audio-1.5B", device_map="cuda", torch_dtype="auto", attn_implementatinotallow="flash_attention_2", trust_remote_code=True)
model.eval()

（三）生成轉(zhuǎn)寫

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "audio_url",
                "audio": "placeholder",
            },
            {
                "type": "text",
                "text": "Please transcribe the audio",
            }
        ]
    }
]


audios = [load_audio()]
prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt, audios=audios, sampling_rate=16000, return_tensors="pt")
inputs = {k: v.to("cuda") for k, v in inputs.items()}


outputs = model.generate(**inputs, eos_token_id=151645, max_new_tokens=4096)
cont = outputs[:, inputs["input_ids"].shape[-1]:]
print(processor.batch_decode(cont, skip_special_tokens=True)[0])

通過上述代碼，用戶可以快速加載模型并生成音頻轉(zhuǎn)寫。在實際應(yīng)用中，用戶可以根據(jù)具體的音頻任務(wù)修改`messages`中的內(nèi)容，以生成對應(yīng)的轉(zhuǎn)寫。

（四）在線體驗

為了方便用戶快速體驗Aero-1-Audio 的功能，LMMs-Lab 提供了在線體驗平臺。用戶可以通過以下鏈接訪問在線體驗環(huán)境：

在線體驗地址：??https://huggingface.co/spaces/lmms-lab/Aero-1-Audio-Demo??

在在線體驗平臺上，用戶可以上傳音頻文件并實時查看轉(zhuǎn)寫結(jié)果。平臺還提供了多種語言選項和自定義指令功能，方便用戶探索模型的不同功能和應(yīng)用場景。

六、結(jié)語

Aero-1-Audio 作為一款輕量級但功能強大的音頻模型，在參數(shù)效率和性能之間實現(xiàn)了出色的平衡。特別是在長音頻處理方面的突出表現(xiàn)，為未來音頻模型的發(fā)展提供了新的思路。LMMs-Lab 團隊的這一工作證明，通過高質(zhì)量的數(shù)據(jù)和創(chuàng)新的訓(xùn)練方法，即使是小參數(shù)模型也能在復(fù)雜的音頻任務(wù)中取得卓越的性能。對于需要高效音頻處理解決方案的研究人員和開發(fā)者來說，Aero-1-Audio 是一個值得嘗試的開源模型。

七、項目地址

模型下載：??https://huggingface.co/lmms-lab/Aero-1-Audio??

在線體驗：???https://huggingface.co/spaces/lmms-lab/Aero-1-Audio-Demo??

本文轉(zhuǎn)載自????小兵的AI視界????，作者：AGI小兵