超精準！AI 結合郵件内容與附件的意圖了解與分類！⛵💡 場景 & 背景💡 實作方案💡 總結參考資料

💡 作者：韓信子@ShowMeAI

📘 深度學習實戰系列：https://www.showmeai.tech/tutorials/42

📘 TensorFlow 實戰系列：https://www.showmeai.tech/tutorials/43

📘 本文位址：https://www.showmeai.tech/article-detail/332

📢 聲明：版權所有，轉載請聯系平台與作者并注明出處

📢 收藏ShowMeAI檢視更多精彩内容

對于很多企業而言，電子郵件仍然是主要溝通管道之一，很多正式的内容也要基于郵件傳達，供應商、合作夥伴和公共管理部門也每天會有大量的電子郵件。郵件的資訊提取和處理可能是一項耗時且重複的任務，對擁有大量客戶的企業而言尤其是這樣。

💡 場景 & 背景

有一些場景下，如果我們能借助于AI自動做一些内容和附件等識别，可以極大提高效率，例如以下這些場景：

保險公司的客戶索賠管理。
電信和公用事業企業客戶投訴處理。
銀行處理各種與抵押貸款相關的請求。
旅遊行業公司的預訂相關電子郵件。

如果我們希望盡量智能與自動化地進行電子郵件處理，我們需要完成以下任務：

電子郵件分流。我們希望智能了解郵件，并将其轉到相應的專門業務部門進行處理。在AI的視角我們可以通過電子郵件的意圖分類來嘗試解決這個問題。
資訊提取。根據确定的意圖，提取一些資訊給到下遊流程，例如在CRM系統中記錄客戶案例進行跟蹤。

在本篇文章中，ShowMeAI 将專注于意圖檢測部分，我們将一起看一看如何設計一個AI系統來解決這個任務。

💦 場景 1

假設一家保險公司客戶，想申請理賠與報帳。這個場景下他會填寫保險報帳表，并将其連同藥物收據和銀行 ID 檔案附在電子郵件中。可能的一個電子郵件可能長這樣：

💦 場景 2

假設一家銀行的客戶，搬家并對之前的某項服務費有疑問。如果選擇發送電子郵件來進行申請和處理，郵件可能長這樣：

💡 實作方案

本文會涉及到NLP相關知識，有興趣更系統全面了NLP知識的寶寶，建議閱讀ShowMeAI 整理的自然語言處理相關教程和文章

📘深度學習教程：吳恩達專項課程 · 全套筆記解讀

📘深度學習教程 | 自然語言處理與詞嵌入

📘NLP教程 | 斯坦福CS224n · 課程帶學與全套筆記解讀

📘NLP教程(1) - 詞向量、SVD分解與Word2Vec

📘NLP教程(2) - GloVe及詞向量的訓練與評估

💦 架構初覽

我們前面提到了，在意圖識别場景中，我們經常會視作『多分類問題』來處理，但在我們目前場景下，有可能郵件覆寫多個意圖目的，或者本身意圖之間有重疊，是以我們先将其視為多标簽分類問題。

然而，在許多現實生活場景中，多标簽分類系統可能會遇到一些問題：

電子郵件在大多數情況下是關于一個主要意圖，有時它們具有次要意圖，在極少數情況下還有第三個意圖。
很難找到涵蓋所有多标簽組合的标簽資料。

我們可以試着建構一個融合方案來解決，可以預測主要意圖并檢測剩餘的次要意圖和第三意圖，我們可以設計多輸出神經網絡網絡來實作這一點，如下圖所示。

我們涉及到2類輸入：電子郵件正文和附件，在深度學習場景下，我們都需要對它們做向量化标準。如下圖的架構是一個可行的嘗試方案：我們用transformer類的模型對正文進行編碼和向量化标注，而對于附件，可以用相對簡單的NLP編碼器，比如TF-IDF。

💦 實作細節

① 電子郵件正文：AI了解&處理

整個方案中最重要的輸入是正文資料，我們在深度學習中，需要把非結構化的資料表征為向量化形式，友善模型進行資訊融合和模組化，在自然語言處理NLP領域，我們也有一些典型的向量化嵌入技術可以進行對文本處理。

最『簡單』的處理方法之一是使用 📘TF-iDF + 📘PCA。

對于文本（詞與句）嵌入更現代一些的 NLP 方法，例如 Word2Vec 和 📘Doc2Vec ，它們分别使用淺層神經網絡來學習單詞和文本嵌入。大家可以使用

gensim

工具庫或者

fasttext

工具庫完成文本嵌入，也有很多預訓練的詞嵌入和文本嵌入的模型可以使用。

關于 TF-IDF 和 DocVec 的詳細知識，可以檢視ShowMeAI 的文章 📘基于NLP文檔嵌入技術的基礎文本搜尋引擎建構。

現在最先進的技術是基于 transformer 的預訓練語言模型（例如 📘BERT）來建構『上下文感覺』文本嵌入。我們上面的方案中也是使用最先進的深度學習方法——直接使用 📘HuggingFace的 📘預訓練模型和 📘API 來建構正文文本嵌入。

transformer 系列的模型有很多隐層，我們可以有很多方式擷取文本的向量化表征，比如對最後的隐層做『平均池化』獲得文本嵌入，我們也可以用倒數第二層或倒數第三層（它們在理論上較少依賴于訓練語言模型的文本語料庫）。

對文本做嵌入表示的示例代碼如下：

# 大家可以先指令行執行下列代碼安裝sentence-transformers
# pip install -U sentence-transformers

from sentence_transformers import SentenceTransformer
# 需要編碼的文本内容清單
sentences = ["This is example sentence 1", "This is example sentence 2"]

# 編碼，文本向量化嵌入表征
model = SentenceTransformer('sentence-transformers/all-MiniLM-L6-v2')
embeddings = model.encode(sentences)
print(embeddings)

② 電子郵件附件：AI了解&處理

我們在這個解決方案中，單獨把郵件附件拿出來做處理了。在有些處理方式中，會把附件的内容和正文直接拼接，用上面介紹的方式進行編碼，但這樣處理不夠精細，可能有如下問題而導緻最後模型效果不佳：

附件文本可能非常大，包含許多多餘的内容，這些内容可能會淹沒電子郵件正文中更重要的微妙細節。
對于意圖檢測而言，重要的是文檔的性質或類型，而不是詳細的内容。

基于上述考慮，我們單獨訓練附件分類器來生成附件的密集向量表示。可能我們的附件包含不規則的 PDF 或者圖檔，我們可能要考慮用 OCR 引擎（例如 Tesseract）進行識别和提取部分内容，

假設我們的附件數量為N，DC 是經過訓練的附件分類器。DC對每個附件預測處理輸出一個向量（文檔類型分布機率向量）。由于最終的附件向量表示需要具有固定長度（但是N是不确定的），我們在附件次元上使用最大池化得到統一長度的表征。

以下是為給定電子郵件生成附件向量化表征的代碼示例：

# DC是文檔分類器
distributions = []
for attachment in attachments:
  current_distribution = DC(attachent)
  distributions.append(current_distribution)
np_distributions = np.array(distributions) #次元為(X,N)的附件向量組
attachments_feat_vec = np.max(np_distributions, axis=0) #最大池化

③ 搭建多資料源混合網絡

下面部分使用到了TensorFlow工具庫，ShowMeAI 制作了快捷即查即用的工具速查表手冊，大家可以在下述位置擷取：

TensorFlow速查手冊

在上述核心輸入處理和表征後，我們就可以使用 Tensorflow 建構一個多分支神經網絡了。參考代碼如下：

def build_hybrid_mo_model(bert_input_size, att_features_size, nb_classes):
    emb_input = tf.keras.Input(shape=(bert_input_size,), name="text_embeddings_input")
    att_classif_input = tf.keras.Input(shape=(att_features_size,), name="attachments_repr_input")


    DenseEmb1 = tf.keras.layers.Dense(units=256, activation='relu')(emb_input)
    compressed_embs = tf.keras.layers.Dense(units=32, activation='relu', name="compression_layer")(DenseEmb1)
    combined_features = tf.keras.layers.concatenate([compressed_embs,att_classif_input], axis=1)


    Dense1= tf.keras.layers.Dense(units=128)(combined_features)
    Dense2= tf.keras.layers.Dense(units=128)(Dense1)


    out1 = tf.keras.layers.Dense(units=nb_classes, name="intention_category_output")(Dense2)
    out2 = tf.keras.layers.Dense(units=1, name="information_request_output")(Dense2)


    model = tf.keras.Model(inputs=[emb_input,att_classif_input], outputs=[out1, out2])
    losses = {
        "intention_category_output" : tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
        "information_request_output" : tf.keras.losses.BinaryCrossentropy(from_logits=True)}


    model.compile(optimizer="adam",loss= losses,  metrics=["accuracy"])


    print (model.summary())
    
    return model

建構完模型之後，可以通過

tf.keras.utils.plot_model

列印出模型架構，如下圖所示：

上圖的模型架構，和我們在『架構初覽』闆塊的設計完全一緻*，*它包含更多的細節資訊：

電子郵件正文文本嵌入，次元為768維
附件檔案包含8種類型，向量化表征為8維

模型的輸出部分包含：

7個主要意圖
1個次要意圖

④ 訓練&評估

作為測試，作者在銀行業務相關電子郵件的專有資料集上訓練了模型，具體情況如下：

資料集由 1100 封電子郵件組成，包含 7 個主要意圖，但分布不均。
建構的神經網絡包含 22.7w 個參數（具體細節如上圖，大家也可以通過model.summary()輸出模型資訊）。
以batch size大小為32訓練了 50 個 epoch
實際沒有使用到GPU，在16核的CPU上做的訓練（但大家使用GPU一定有更快的速度）
主要意圖分類任務上達到了 87% 的權重 F1 分數平均值。如果不使用附件，權重 F1 分數平均值降低10%。（可見2部分資訊都非常重要）

💡 總結

參考資料

📘 AI實戰 | 基于NLP文檔嵌入技術的基礎文本搜尋引擎建構：https://showmeai.tech/article-detail/321
📘 TensorFlow 速查手冊：https://www.showmeai.tech/article-detail/109
📘 深度學習教程：吳恩達專項課程 · 全套筆記解讀：https://www.showmeai.tech/tutorials/35
📘 深度學習教程 | 自然語言處理與詞嵌入：https://www.showmeai.tech/article-detail/226
📘 NLP教程 | 斯坦福CS224n · 課程帶學與全套筆記解讀：https://www.showmeai.tech/tutorials/36
📘 NLP教程(1) - 詞向量、SVD分解與Word2Vec：https://www.showmeai.tech/article-detail/230
📘 NLP教程(2) - GloVe及詞向量的訓練與評估：https://www.showmeai.tech/article-detail/232
📘 TF-iDF：https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html
📘 PCA：https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html
📘 Doc2Vec：https://radimrehurek.com/gensim/models/doc2vec.html
📘 BERT：[https://huggingface.co/docs/transformers/model_doc/bert](https://huggingface.co/docs/transformers/model_doc/bert）
📘 HuggingFace：https://huggingface.co/

超精準！AI 結合郵件内容與附件的意圖了解與分類！⛵💡 場景 & 背景💡 實作方案💡 總結參考資料

💡 場景 & 背景

💦 場景 1

💦 場景 2

💡 實作方案

💦 架構初覽

💦 實作細節

① 電子郵件正文：AI了解&處理

② 電子郵件附件：AI了解&處理

③ 搭建多資料源混合網絡

④ 訓練&評估

💡 總結

參考資料

繼續閱讀

簡單文檔分類——樸素貝葉斯算法樸素貝葉斯算法簡單文檔分類執行個體步驟總結樸素貝葉斯分類調用(sklearn)

考證大全 | 證券從業資格考試

敲黑闆！2021年證券從業考試考點預測

2021年銀行從業考試考情介紹,果斷收藏!

證券從業合格證書什麼時候列印？有哪些注意事項？

【幹貨滿滿】初級銀行從業考試《個人理财》重點梳理

2020年經濟師考試，難嗎？

初級銀行從業資格證有什麼用？

MBA提前面試純幹貨分享

MBA值得學麼

吳恩達logistic回歸實作

【人工智能行業大師訪談1】吳恩達采訪 Geoffery Hinton

深度學習模型分析人類複雜疾病的準确性

【趨高機器視覺】機器視覺技術原了解析及解決方案

解碼器用于語義分割：資料依賴的解碼可以實作靈活的特征聚合

cs231n斯坦福基于卷積神經網絡的CV學習筆記（一）KNN和線性分類器/分類器損失/反向傳播一，KNN圖像分類算法二，線性分類器三，線性分類器損失四，反向傳播五，神經網絡

超精準！AI 結合郵件内容與附件的意圖了解與分類！⛵💡 場景 &amp; 背景💡 實作方案💡 總結參考資料

💡 場景 & 背景

💦 場景 1

💦 場景 2

💡 實作方案

💦 架構初覽

💦 實作細節

① 電子郵件正文：AI了解&處理

② 電子郵件附件：AI了解&處理

③ 搭建多資料源混合網絡

④ 訓練&評估

💡 總結

參考資料

繼續閱讀

超精準！AI 結合郵件内容與附件的意圖了解與分類！⛵💡 場景 & 背景💡 實作方案💡 總結參考資料