Bert模型學習筆記

From https://www.bilibili.com/video/BV1Ey4y1874y emmm 講實話這個視訊太簡單了，不建議看。

可以看看李沐的視訊：https://www.bilibili.com/video/BV1PL411M7eQ

這篇文章主要是四個部分：

1. bert的整體架構
2. 如何做預訓練 mlm + nsp
3. 如何微調bert(沒看)
4. 代碼解析(沒看)

Bert架構

1. 基礎架構是Transformer



2. bert-base

1. 6 個encoder在一起變成了編碼端
2. 6個decoder在一起變成了解碼端

在Transformer中使用了位置編碼作為輸入，但是在bert中使用的是：

二、如何做預訓練任務

兩種目标函數：