帶你了解自然語言處理文本生成方向自然語言處理NLG VS NLU結語
自然語言處理
每次有人問：你是搞什麼的？
（對于普通人）我：搞AI的。
（對于程式員）我：搞算法的。
我一般不會說我是做自然語言處理（Natural Language Processing，NLP） 的，因為大部分人并不知道這是個什麼東西。
大部分人提起AI就隻知道他是人工智能，腦子想的都是alpha go打敗李世石或者其他和機器人相關的東西，而實際上機器人這隻是人工智能的一個小分支。
看一下下圖，下圖來自史忠植老師編著的《人工智能》教材，這張圖是展示了和人工智能相關的學科以及人工智能的研究和應用領域。
我目前所做的方向就是那個語言和圖像了解，比較相關的學科是數學。我現在做的東西需要紮實的數學基礎做支撐。
講個自然語言處理裡最簡單的東西：語言模型。語言模型就是根據人類的自然語言不斷學習，去模仿人類說話。比如我們平時用的輸入法，你輸入完一個詞之後他會給你提示你可能需要的下一個詞的内容。
語言模型學習的過程中就像小朋友學說話一樣，不斷獲得句子，不斷學習這個詞下邊最可能接什麼話，就這樣，當我們訓練出一個好用的語言模型的時候，我們就可以讓它幫我們說話。現在很火的語言模型比如GPT-3啊之類的。
NLG VS NLU
自然語言處理有兩個重要的分支：
-
自然語言生成（Natural language generation，NLG）
将文本潛在表示轉化為具體的、自洽的自然語言文本。
-
自然語言了解（Natural language understanding，NLU）
對輸入文本進行消歧歸納，獲得能表達文本中心思想的規範化表示。
通俗來講， 自然語言了解的目标是讓機器能夠更好地了解人類說的話，但是自然語言生成的目标是讓機器能夠像人一樣說話。
自然語言生成的應用非常廣泛，比如對話系統（各種chatbot）、資料增強、故事生成等等。
想起來之前我們做的一個工作，當時是要控制細粒度的情感進行生成。然後我們思考了一下應用前景。
我：是以控制文本生成情緒幹嘛呢？做水軍嗎？
看一下文本生成幾個簡單的例子：
故事生成
第一個例子是故事生成，給模型一段話，模型根據這段話中的故事線關鍵詞進行生成，要求生成的内容是要能符合這些關鍵詞的，并且還要按照關鍵詞給出的順序進行生成。
給定文本： 今天好開心能吃到甜品，感覺自己好幸福。
故事線： 開心→好幸福
給你幾個句子：
-
今天我閨蜜給我熬了粥，我好幸福啊，我很開心。
× 這是不按順序來，這樣的故事生成器是不符合标準的。
-
很開心能遇到你，我感覺自己好幸福。
√ 規定的詞用上了，并且順序是對的，這是個好的故事生成器。
-
打開這個豬心，我們能看到裡面的瓣膜，（聞一下），好腥啊，我服了。
× 這種故事生成器，狗都不用！！！
但是如果我們仔細看了左邊那個圖我們會發現，和我上邊說的不太一樣，因為它：
給定的文本：John needed a computer for his birthday. He worked hard to earn money. John was able to buy his computer. He went to the store and bought a computer. John was happy with his new computer.（約翰過生日需要一台電腦。他努力工作掙錢。約翰買得起他的電腦。他去商店買了一台電腦。約翰對他的新電腦很滿意。）
生成的文本：The man was very happy, because he bought a new computer. He went to the store. He needed a computer. He bought the computer. He installed the computer.
可以看到雖然是使用關鍵詞生成了，但是好像并沒有按照它要求裡寫的一樣按照關鍵詞順序生成。
聊天機器人
右邊是一個對話文本生成的例子，我們可以看到對話内容。
機器人第二句話是要回複上一句，回複的方式千千萬。
- 如果是損友，可以來根煙可以幫她解壓。
- 如果是渣男可以回複“……”或者亂碼表示自己無語不想說話。
- 如果是好朋友應該認真纾解安慰她。