資料融合方式

目前，多模态資料融合主要有三種融合方式：前端融合(early-fusion)或資料水準融合(data-level fusion)、後端融合(late-fusion)或決策水準融合(decision-level fusion)和中間融合(intermediate-fusion)。

前端融合将多個獨立的資料集融合成一個單一的特征向量，然後輸入到機器學習分類器中。由于多模态資料的前端融合往往無法充分利用多個模态資料間的互補性，且前端融合的原始資料通常包含大量的備援資訊。是以，多模态前端融合方法常常與特征提取方法相結合以剔除備援資訊，如主成分分析（PCA）、最大相關最小備援算法（mRMR）、自動解碼器（Autoencoders）等。

後端融合則是将不同模态資料分别訓練好的分類器輸出打分(決策)進行融合。這樣做的好處是，融合模型的錯誤來自不同的分類器，而來自不同分類器的錯誤往往互不相關、互不影響，不會造成錯誤的進一步累加。常見的後端融合方式包括最大值融合(max-fusion)、平均值融合(averaged-fusion)、 貝葉斯規則融合(Bayes’rule based)以及內建學習(ensemble learning)等。其中內建學習作為後端融合方式的典型代表，被廣泛應用于通信、計算機識别、語音識别等研究領域。

中間融合是指将不同的模态資料先轉化為高維特征表達，再于模型的中間層進行融合。以神經網絡為例，中間融合首先利用神經網絡将原始資料轉化成高維 特征表達，然後擷取不同模态資料在高維空間上的共性。中間融合方法的一大優勢是可以靈活的選擇融合的位置。

轉載來源：https://blog.csdn.net/qq_21420941/article/details/102732433

僅作學習使用，如有侵權請私聊，謝謝。