CubicPower 晶智能中心 教學機器人 電機資訊學院教材  多模態人工智慧簡介-1

編著: 夏肇毅

初版: 2026/9/8

1.1 介紹多模態AI發展

多模態人工智慧（Multimodal Artificial Intelligence）是人工智慧由單一資料型態處理走向跨資料型態理解的重要發展方向。傳統人工智慧系統通常針對單一模態資料進行分析，例如自然語言處理模型主要處理文字資料，電腦視覺模型主要處理影像資料，語音辨識模型主要處理聲音訊號。然而，真實世界中的人類認知並非依靠單一感官完成，而是同時整合視覺、聽覺、語言、觸覺以及環境資訊。例如，人類觀看一張照片時，不僅能辨識物件，也能理解圖片中的文字、人物關係、事件背景以及隱含語意。因此，多模態AI的核心目標就是建立能夠同時理解與融合不同資料來源的智慧系統，使人工智慧具備更接近人類認知模式的感知與推理能力。 多模態AI的發展歷程與深度學習技術演進密切相關。早期人工智慧主要依靠人工設計特徵，例如影像中的邊緣、紋理、聲音頻率特徵以及文字規則等，模型通常只能處理固定格式資料。隨著卷積神經網路（CNN）、循環神經網路（RNN）、Transformer等深度學習架構出現，模型開始能夠自動從大量資料中學習高階特徵表示。尤其Transformer架構利用自注意力機制（Self-Attention），能夠捕捉長距離資料關係，使文字、影像與聲音等不同模態資料可以在相同架構下進行建模。 多模態AI的重要突破來自大規模預訓練模型。例如圖文模型透過大量影像與文字描述配對資料進行訓練，使模型學習影像內容與語言概念之間的關聯。模型不再只是辨識「這是一隻狗」，而能理解「一隻狗正在草地上奔跑」等包含事件、關係與情境的描述。其基本概念可以表示為將不同模態輸入映射至共同特徵空間：$\mathbf{z}=f(x)$，其中$x$代表原始資料，例如影像或文字，$f(\cdot)$代表特徵編碼模型，而$\mathbf{z}$則為可供比較與推理的向量表示。 當不同模態資料被轉換至相同語意空間後，系統便能進行跨模態理解。例如使用者輸入文字問題，模型可以搜尋相關影像資訊；或者提供圖片後，模型可以生成文字說明。這種能力突破了傳統AI中「輸入格式固定」的限制，使人工智慧系統能夠處理更加複雜、多樣化的人機互動需求。多模態AI目前已廣泛應用於智慧助理、自動駕駛、醫療影像分析、智慧教育、機器人、人機互動以及內容生成等領域。未來隨著模型規模增加、資料品質提升以及推理能力改善，多模態AI將成為通用人工智慧的重要基礎技術。

1.2 說明不同資料型態

多模態人工智慧的核心基礎在於理解不同資料型態（Modality）的特性，以及如何將這些資料轉換為模型可以理解的數位表示。資料型態主要包括文字（Text）、影像（Image）、聲音（Audio）、影片（Video）、感測器資料（Sensor Data）以及三維空間資訊等。不同模態具有不同的結構與資訊特徵，因此人工智慧系統必須設計適合的方法進行特徵擷取、表示與融合。文字資料通常具有離散符號結構，例如文字由詞語、句子以及段落組成，其主要資訊存在於語意關係與上下文脈絡中。自然語言處理模型會將文字轉換為詞向量（Word Embedding）或語意向量，使模型能夠理解詞語之間的關聯。例如文字序列可以表示為向量矩陣：$X=[x_1,x_2,\dots,x_n]$，其中每個$x_i$代表一個文字單位的向量表示。 影像資料則不同於文字，其資訊存在於像素空間中。影像通常由高度與寬度組成的像素矩陣表示，例如RGB影像可以表示為三維張量：$I\in R^{H\times W\times C}$，其中$H$代表高度、$W$代表寬度、$C$代表色彩通道數。人工智慧模型需要透過卷積神經網路或視覺Transformer等方法，從大量像素中萃取物件、形狀、位置與場景等高階特徵。 聲音資料則具有時間序列特性，主要透過聲波頻率與振幅描述資訊。語音AI系統通常將聲音訊號轉換為頻譜表示，例如梅爾頻率倒譜係數（MFCC）或Mel Spectrogram，再利用深度學習模型分析語音內容、情緒以及環境聲音。影片資料則同時包含影像與時間資訊，不僅需要理解每一個畫面的內容，也需要分析連續事件發生順序，因此影片理解模型通常需要結合空間特徵與時間特徵。 不同模態資料具有互補性。文字能提供抽象概念與描述資訊，影像能提供直觀視覺證據，聲音能提供情緒與環境訊息，影片則提供事件發展過程。例如在智慧監控系統中，單純分析影像可能只能知道有人進入區域，但結合聲音資訊後，可以進一步判斷是否存在異常聲響；加入文字紀錄後，可以理解事件背景。 多模態AI的挑戰在於不同資料型態具有不同尺度、結構與資訊密度。因此模型需要建立有效的方法，使不同模態可以被比較與融合。例如透過Embedding技術將不同資料轉換為共同向量空間，使影像向量與文字向量可以計算相似程度：$sim(x,y)=\frac{x\cdot y}{\vert x\vert\vert y\vert}$。此類方法讓模型能夠建立跨模態關聯，是現代多模態人工智慧的重要基礎。

1.3 探討跨模態學習概念

跨模態學習（Cross-modal Learning）是多模態人工智慧的重要研究方向，其目的在於讓模型學習不同資料型態之間的關聯，使一種模態的資訊可以協助理解另一種模態。傳統機器學習通常假設輸入資料具有相同形式，例如文字模型只接收文字、影像模型只接收影像。然而真實環境中的資訊往往同時存在於多種形式，因此跨模態學習希望建立不同模態之間的共享語意表示。 跨模態學習主要包含三個核心問題：模態表示、模態對齊以及模態融合。首先，在模態表示階段，模型需要將不同資料轉換成數值向量。例如文字透過語言模型轉換成Embedding，影像透過視覺模型轉換成影像Embedding，使不同來源資料具有可比較形式。其次，在模態對齊階段，模型需要學習文字與影像之間的語意關係。例如文字描述「一台紅色汽車停在道路上」必須與包含紅色汽車的影像建立關聯。最後，在模態融合階段，模型需要整合多種資訊形成更完整的理解結果。 跨模態學習的重要方法之一是共同語意空間建立。模型透過大量配對資料，例如圖片與文字描述、影片與字幕、聲音與文字轉錄資料，使不同模態的特徵向量逐漸靠近。其學習目標通常是提高相關資料的相似度，降低無關資料的距離。例如可以利用對比學習建立損失函數：$L=-\log\frac{\exp(sim(z_i,z_j)/\tau)}{\sum_k\exp(sim(z_i,z_k)/\tau)}$，其中$z_i,z_j$代表配對資料向量，$\tau$為溫度參數。 此外，跨模態學習也支援零樣本學習能力。模型不需要針對每個任務重新訓練，而是利用已學習的語意關係完成新任務。例如模型從大量圖文資料中理解「斑馬」概念，即使沒有看過特定分類資料，也可能根據文字描述找到相關影像。這種能力大幅提升人工智慧系統的彈性。 跨模態學習目前廣泛應用於影像搜尋、智慧客服、機器人、多模態Agent以及生成式AI系統。例如使用者輸入一句自然語言，系統可以搜尋符合描述的圖片；使用者提供照片，系統可以回答照片中的內容。未來跨模態學習將朝向更大規模模型、更高階推理以及更接近人類多感官理解能力方向發展。

1.4 分析多模態應用價值

多模態人工智慧的應用價值來自於其能夠整合不同來源資訊，提升人工智慧系統對真實世界的理解能力。單一模態模型雖然在特定任務中具有良好效果，但面對複雜環境時容易受到資訊不足限制。例如文字模型只能理解描述內容，無法直接看到環境；影像模型可以辨識物件，但難以理解抽象語意。因此，多模態AI透過整合文字、影像、聲音與其他資料，使系統具備更完整的認知能力。 在智慧助理領域，多模態AI能讓使用者透過文字、圖片或語音與系統互動。例如使用者拍攝設備照片並詢問故障原因，系統可以結合影像分析與語言推理能力提供解答。這種方式比傳統文字問答更符合人類溝通方式。在醫療領域，多模態AI可以整合醫學影像、病歷文字、檢驗資料以及醫師診斷紀錄，協助疾病分析與臨床決策。 在智慧製造領域，多模態AI可以融合機器視覺、設備感測資料以及維修紀錄，建立智慧工廠分析系統。例如影像模型可以偵測產品缺陷，文字模型可以分析生產紀錄，時間序列模型可以預測設備故障。透過多模態融合，可以提高檢測準確率與維護效率。 在教育領域，多模態AI能提供個人化學習環境。系統可以分析學生文字回答、語音表達、影像互動行為以及學習歷程，建立更完整的學習模型。例如智慧教學助手可以根據學生問題產生文字解釋，也可以提供圖片、動畫或語音說明。 此外，多模態AI也是未來自主Agent的重要基礎。具備視覺、語言與工具操作能力的Agent，可以觀察環境、理解需求、規劃行動並執行任務。例如機器人可以透過攝影機感知環境，透過語言理解使用者指令，再控制機械設備完成工作。 多模態AI的價值不僅在於增加資料來源，更重要的是建立跨模態推理能力，使人工智慧從單純辨識系統進化為具備理解、推理與決策能力的智慧系統。未來隨著資料治理、模型效率以及安全技術提升，多模態人工智慧將成為智慧社會的重要核心技術。