在當(dāng)今數(shù)字化時(shí)代，數(shù)據(jù)無處不在，但傳統(tǒng)的單一模態(tài)數(shù)據(jù)分析方法往往只能捕捉到部分信息，而忽略了跨模態(tài)關(guān)系中隱藏的重要洞察。多模態(tài)數(shù)據(jù)分析（Multi-Modal Data Analytics）應(yīng)運(yùn)而生，它整合了文本、圖像、音頻、視頻等多種數(shù)據(jù)源，為我們提供了一個(gè)更全面、更深入的視角。今天，我們就來深入探討一下多模態(tài)數(shù)據(jù)分析的魅力所在。

一、什么是多模態(tài)數(shù)據(jù)？

多模態(tài)數(shù)據(jù)是指將來自兩個(gè)或多個(gè)不同來源或模態(tài)的信息結(jié)合起來。這可以是文本、圖像、聲音、視頻、數(shù)字?jǐn)?shù)據(jù)以及傳感器數(shù)據(jù)的組合。例如，社交媒體上的帖子可能包含文字和圖片，或者醫(yī)療記錄中可能包含醫(yī)生的筆記、X光片和生命體征測量數(shù)據(jù)，這些都是多模態(tài)數(shù)據(jù)的典型例子。

多模態(tài)數(shù)據(jù)分析的核心在于能夠隱式地建模不同類型數(shù)據(jù)之間的相互依賴關(guān)系。在現(xiàn)代人工智能系統(tǒng)中，這種融合方法能夠提供比單一模態(tài)方法更豐富、更強(qiáng)大的理解能力和預(yù)測能力，尤其在自動(dòng)駕駛、醫(yī)療診斷、推薦系統(tǒng)等領(lǐng)域具有重要意義。

二、多模態(tài)數(shù)據(jù)分析是什么？

多模態(tài)數(shù)據(jù)分析是一套用于探索和解釋包含多種類型表示的數(shù)據(jù)集的分析方法和技術(shù)。它通過特定的分析方法處理文本、圖像、音頻、視頻和數(shù)值數(shù)據(jù)等多種數(shù)據(jù)類型，以發(fā)現(xiàn)模態(tài)之間的隱藏模式或關(guān)系。這種方法能夠提供比單獨(dú)分析不同數(shù)據(jù)源更完整、更準(zhǔn)確的理解。

多模態(tài)數(shù)據(jù)分析的主要挑戰(zhàn)在于設(shè)計(jì)能夠高效融合和對齊多模態(tài)信息的技術(shù)。分析師需要處理各種類型的數(shù)據(jù)、結(jié)構(gòu)、規(guī)模和格式，以揭示數(shù)據(jù)中的意義并識別模式和關(guān)系。近年來，機(jī)器學(xué)習(xí)技術(shù)，尤其是深度學(xué)習(xí)模型的發(fā)展，極大地推動(dòng)了多模態(tài)分析的能力。例如，注意力機(jī)制和Transformer模型能夠?qū)W習(xí)詳細(xì)的跨模態(tài)關(guān)系。

三、數(shù)據(jù)預(yù)處理與表示

要有效地分析多模態(tài)數(shù)據(jù)，首先需要將數(shù)據(jù)轉(zhuǎn)換為兼容的數(shù)值表示形式，同時(shí)保留關(guān)鍵信息并能夠跨模態(tài)進(jìn)行比較。這一步驟對于良好的融合和異構(gòu)數(shù)據(jù)源的分析至關(guān)重要。

四、特征提取

特征提取是將原始數(shù)據(jù)轉(zhuǎn)換為一組有意義的特征的過程。這些特征可以被機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型高效利用，簡化模型的任務(wù)。以下是幾種常見模態(tài)的特征提取方法：

• 文本：將單詞轉(zhuǎn)換為數(shù)字（即向量）。如果詞匯量較小，可以使用TF-IDF；如果需要捕捉語義關(guān)系，則可以使用BERT或OpenAI等嵌入方法。
• 圖像：可以使用預(yù)訓(xùn)練的CNN網(wǎng)絡(luò)（如ResNet或VGG）的激活層。這些算法能夠從圖像的低級邊緣到高級語義概念中捕捉層次化模式。
• 音頻：通過計(jì)算音頻信號的頻譜圖或梅爾頻率倒譜系數(shù)（MFCC）來實(shí)現(xiàn)。這些轉(zhuǎn)換將時(shí)域中的音頻信號轉(zhuǎn)換為頻域，突出顯示最重要的部分。
• 時(shí)間序列：使用傅里葉變換或波長變換將時(shí)間信號轉(zhuǎn)換為頻率成分。這些變換有助于揭示序列數(shù)據(jù)中的模式、周期性和時(shí)間關(guān)系。

每種模態(tài)都有其自身的特性，因此需要針對其特定特性采用特定的技術(shù)。例如，文本處理包括分詞和語義嵌入，圖像分析使用卷積來尋找視覺模式，音頻信號生成頻域表示，時(shí)間信息則通過數(shù)學(xué)方法重新解釋以揭示模式和周期。

五、表示模型

表示模型用于構(gòu)建框架，將多模態(tài)信息編碼到數(shù)學(xué)結(jié)構(gòu)中，從而實(shí)現(xiàn)跨模態(tài)分析和更深入的數(shù)據(jù)理解。常見的方法包括：

• 共享嵌入：為所有模態(tài)創(chuàng)建一個(gè)共同的潛在空間，使得不同類型的可以在同一個(gè)向量空間中直接比較和組合。

• 典型分析：通過統(tǒng)計(jì)測試識別跨模態(tài)的相關(guān)性最高的線性投影，從而實(shí)現(xiàn)跨模態(tài)理解。

• 基于圖的方法：將每種模態(tài)表示為圖結(jié)構(gòu)，并學(xué)習(xí)保持相似性的嵌入。這些方法能夠表示復(fù)雜的關(guān)聯(lián)模式，并允許基于網(wǎng)絡(luò)的多模態(tài)關(guān)系分析。

• 擴(kuò)散圖：多視圖擴(kuò)散結(jié)合了內(nèi)在幾何結(jié)構(gòu)和跨關(guān)系，以在模態(tài)之間進(jìn)行降維。它保留了局部鄰域結(jié)構(gòu)，同時(shí)在高維多模態(tài)數(shù)據(jù)中實(shí)現(xiàn)降維。

這些模型構(gòu)建了一個(gè)統(tǒng)一的結(jié)構(gòu)，使得不同種類的數(shù)據(jù)可以進(jìn)行比較和有意義的組合。目標(biāo)是在模態(tài)之間生成語義等價(jià)性，使系統(tǒng)能夠理解圖像中的狗、單詞“狗”和狗叫聲都指的是同一件事，盡管它們的形式不同。

六、融合技術(shù)

在這一部分，我們將深入探討多模態(tài)數(shù)據(jù)融合的主要方法，包括早期融合、晚期融合和中間融合策略，并探討它們在不同分析場景中的最佳用例。

1. 早期融合策略

早期融合在處理開始之前，將來自不同來源和不同類型的數(shù)據(jù)在特征級別上進(jìn)行組合。這使得算法能夠自然地發(fā)現(xiàn)不同模態(tài)之間的隱藏復(fù)雜關(guān)系。這種方法特別適用于模態(tài)之間共享共同模式和關(guān)系的情況，可以將來自不同來源的特征連接成組合表示。不過，這種方法需要謹(jǐn)慎處理不同數(shù)據(jù)規(guī)模和格式的數(shù)據(jù)，以確保正常運(yùn)行。

2. 晚期融合方法

晚期融合與早期融合相反，它不是將所有數(shù)據(jù)源合并，而是獨(dú)立處理所有模態(tài)，然后在模型做出決策之前將它們組合起來。因此，最終的預(yù)測結(jié)果來自各個(gè)模態(tài)的獨(dú)立輸出。這種方法在模態(tài)為目標(biāo)變量提供額外信息時(shí)效果良好，可以利用現(xiàn)有的單模態(tài)模型，而無需進(jìn)行架構(gòu)上的重大更改。此外，這種方法在測試階段處理缺失模態(tài)值時(shí)具有靈活性。

3. 中間融合方法

中間融合策略根據(jù)預(yù)測任務(wù)的不同，在不同的處理級別上組合模態(tài)。這些算法平衡了早期和晚期融合算法的優(yōu)點(diǎn)，因此模型可以有效地學(xué)習(xí)個(gè)體和跨模態(tài)的交互作用。這些算法能夠適應(yīng)特定的分析需求和數(shù)據(jù)特性，因此在優(yōu)化基于融合的指標(biāo)和計(jì)算約束方面表現(xiàn)出色，這種靈活性使其適合解決復(fù)雜的現(xiàn)實(shí)世界應(yīng)用。

七、樣本端到端工作流程

接下來，我們將通過一個(gè)示例SQL工作流程，構(gòu)建一個(gè)多模態(tài)檢索系統(tǒng)，并在BigQuery中執(zhí)行語義搜索。為了簡化，我們假設(shè)多模態(tài)數(shù)據(jù)僅包含文本和圖像。

第一步：創(chuàng)建對象表

首先，定義一個(gè)外部“對象表”（images_obj），引用云存儲(chǔ)中的非結(jié)構(gòu)化文件。這使得BigQuery可以通過ObjectRef列將文件作為可查詢數(shù)據(jù)進(jìn)行處理。

CREATE OR REPLACE EXTERNAL TABLE dataset.images_obj
WITH CONNECTION `project.region.myconn`
OPTIONS (
 object_metadata = 'SIMPLE',
 uris = ['gs://bucket/images/*']
);

在這里，image_obj表會(huì)自動(dòng)生成一個(gè)ref列，將每一行鏈接到一個(gè)GCS對象。這使得BigQuery能夠管理像圖像和音頻文件這樣的非結(jié)構(gòu)化文件，同時(shí)保留元數(shù)據(jù)和訪問控制。

第二步：在結(jié)構(gòu)化表中引用

接下來，我們將結(jié)構(gòu)化行與ObjectRefs結(jié)合起來，以實(shí)現(xiàn)多模態(tài)集成。我們通過生成屬性并創(chuàng)建一個(gè)ObjectRef結(jié)構(gòu)的數(shù)組作為image_refs，對對象表進(jìn)行分組。

CREATE OR REPLACE TABLE dataset.products AS
SELECT
 id, name, price,
 ARRAY_AGG(
   STRUCT(uri, version, authorizer, details)
 ) AS image_refs
FROM images_obj
GROUP BY id, name, price;

這一步創(chuàng)建了一個(gè)包含結(jié)構(gòu)化字段以及鏈接圖像引用的產(chǎn)品表，使得多模態(tài)嵌入可以在同一行中實(shí)現(xiàn)。

第三步：生成嵌入

現(xiàn)在，我們將使用BigQuery在共享語義空間中生成文本和圖像嵌入。

CREATE TABLE dataset.product_embeds AS
SELECT
id,
  ML.GENERATE_EMBEDDING(
    MODEL`project.region.multimodal_embedding_model`,
    TABLE (
      SELECT
        nameAS uri,
        'text/plain'AS content_type
    )
  ).ml_generate_embedding_result AS text_emb,
  ML.GENERATE_EMBEDDING(
    MODEL`project.region.multimodal_embedding_model`,
    TABLE (
      SELECT
        image_refs[OFFSET(0)].uri AS uri,
        'image/jpeg'AS content_type
      FROM dataset.products
    )
  ).ml_generate_embedding_result AS img_emb
FROM dataset.products;

在這里，我們將為每個(gè)產(chǎn)品生成兩個(gè)嵌入：一個(gè)來自產(chǎn)品名稱，另一個(gè)來自第一張圖像。兩者都使用相同的多模態(tài)嵌入模型，以確保它們共享相同的嵌入空間。這有助于對齊嵌入，并允許無縫的跨模態(tài)相似性比較。

第四步：語義檢索

現(xiàn)在我們有了跨模態(tài)嵌入，使用語義相似性查詢將匹配文本和圖像查詢。

SELECT id, name
FROM dataset.product_embeds
WHERE VECTOR_SEARCH(
    ml_generate_embedding_result,
    (SELECT ml_generate_embedding_result 
     FROM ML.GENERATE_EMBEDDING(
         MODEL`project.region.multimodal_embedding_model`,
         TABLE (
           SELECT"eco?friendly mug"AS uri,
                  'text/plain'AS content_type
         )
     )
    ),
    top_k => 10
)
ORDERBY COSINE_SIM(img_emb, 
         (SELECT ml_generate_embedding_result FROM
             ML.GENERATE_EMBEDDING(
               MODEL`project.region.multimodal_embedding_model`,
               TABLE (
                 SELECT"gs://user/query.jpg"AS uri, 
                        'image/jpeg'AS content_type
               )
             )
         )
      ) DESC;

這個(gè)SQL查詢執(zhí)行了兩階段搜索：首先基于文本的語義搜索篩選候選結(jié)果，然后根據(jù)產(chǎn)品和查詢之間的圖像相似性對結(jié)果進(jìn)行排序。這大大提升了搜索能力，你可以輸入一個(gè)短語和一張圖片，檢索出語義上匹配的產(chǎn)品。

八、多模態(tài)數(shù)據(jù)分析的優(yōu)勢

多模態(tài)數(shù)據(jù)分析通過將多種數(shù)據(jù)類型整合到統(tǒng)一的分析結(jié)構(gòu)中，改變了組織從多樣化數(shù)據(jù)中獲取價(jià)值的方式。這種方法的價(jià)值在于結(jié)合了不同模態(tài)的優(yōu)勢，而單獨(dú)考慮這些模態(tài)時(shí)，它們提供的洞察力遠(yuǎn)不如多模態(tài)分析有效：

• 更深入的洞察：多模態(tài)整合能夠揭示單模態(tài)分析所遺漏的復(fù)雜關(guān)系和相互作用。通過同時(shí)探索不同數(shù)據(jù)類型（文本、圖像、音頻和數(shù)值數(shù)據(jù)）之間的相關(guān)性，它能夠識別隱藏的模式和依賴關(guān)系，從而對被研究的現(xiàn)象形成深刻的理解。
• 更高的性能：多模態(tài)模型比單模態(tài)方法表現(xiàn)出更高的準(zhǔn)確性。這種冗余構(gòu)建了強(qiáng)大的分析系統(tǒng)，即使某個(gè)模態(tài)的數(shù)據(jù)存在噪聲（如缺失條目和不完整的條目），也能產(chǎn)生相似且準(zhǔn)確的結(jié)果。
• 更快的洞察時(shí)間：SQL融合能力提高了原型設(shè)計(jì)和分析工作流程的有效性和速度，因?yàn)樗С謴目焖倏捎玫臄?shù)據(jù)源中快速獲取洞察。這種活動(dòng)為智能自動(dòng)化和用戶體驗(yàn)提供了新的機(jī)會(huì)。
• 可擴(kuò)展性：它利用了SQL和Python框架的原生云能力，使流程能夠最小化重復(fù)問題，同時(shí)加快部署方法。這表明分析解決方案可以適當(dāng)擴(kuò)展，無論級別如何提高。

九、總結(jié)

多模態(tài)數(shù)據(jù)分析是一種革命性的方法，通過整合多種信息源，能夠解鎖無與倫比的洞察力。組織正在采用這些方法，通過全面理解復(fù)雜關(guān)系（這些關(guān)系是單模態(tài)方法無法捕捉的），從而獲得顯著的競爭優(yōu)勢。

然而，成功需要戰(zhàn)略性的投資和適當(dāng)?shù)幕A(chǔ)設(shè)施，以及健全的治理框架。隨著自動(dòng)化工具和云平臺的普及，早期采用者可以在數(shù)據(jù)驅(qū)動(dòng)的經(jīng)濟(jì)領(lǐng)域中獲得持久的優(yōu)勢。多模態(tài)分析正迅速成為處理復(fù)雜數(shù)據(jù)并取得成功的關(guān)鍵所在。

本文轉(zhuǎn)載自??Halo咯咯??    作者：基咯咯