摘要
CMU和google brain聯手推出了bert的改進版xlnet。在這之前也有很多公司對bert進行了優化，包括百度、清華的知識圖譜融合，微軟在預訓練階段的多任務學習等等，但是這些優化并沒有把bert緻命缺點進行改進。xlnet作為bert的更新模型，主要在以下三個方面進行了優化
采用AR模型替代AE模型，解決mask帶來的負面影響
雙流注意力機制
引入transformer-xl
今天我們使用xlnet+BiLSTM實作一個二分類模型。
資料集
資料集如下圖：
模型
模型結構如下：
思路：将xlnet做為嵌入層提取特征，然後傳入BiLSTM，最後使用全連接配接層輸出分類。建立xlnet_lstm模型，代碼如下：
class xlnet_lstm(nn.Module):
def __init__(self, xlnetpath, hidden_dim, output_size, n_layers, bidirectional=True, drop_prob=0.5):
super(xlnet_lstm, self).__init__()
self.output_size = output_size
self.n_layers = n_layers
self.hidden_dim = hidden_dim
self.bidirectional = bidirectional
# xlnet ----------------重點，xlnet模型需要嵌入到自定義模型裡面
self.xlnet = XLNetModel.from_pretrained(xlnetpath)
for param in self.xlnet.parameters():
param.requires_grad = True
# LSTM layers
self.lstm = nn.LSTM(768, hidden_dim, n_layers, batch_first=True, bidirectional=bidirectional)
# dropout layer
self.dropout = nn.Dropout(drop_prob)
# linear and sigmoid layers
if bidirectional:
self.fc = nn.Linear(hidden_dim * 2, output_size)
else:
self.fc = nn.Linear(hidden_dim, output_size)
# self.sig = nn.Sigmoid()
def forward(self, x, hidden):
# 生成xlnet字向量
x = self.xlnet(x)[0] # xlnet 字向量
# lstm_out
# x = x.float()
lstm_out, (hidden_last, cn_last) = self.lstm(x, hidden)
# print(lstm_out.shape) #[batchsize,64,768]
# print(hidden_last.shape) #[4, batchsize, 384]
# print(cn_last.shape) #[4,batchsize, 384]
# 修改 雙向的需要單獨處理
if self.bidirectional:
# 正向最後一層，最後一個時刻
hidden_last_L = hidden_last[-2]#[batchsize, 384]
# 反向最後一層，最後一個時刻
hidden_last_R = hidden_last[-1]#[batchsize, 384]
# 進行拼接
hidden_last_out = torch.cat([hidden_last_L, hidden_last_R], dim=-1) #[batchsize, 768]
else:
hidden_last_out = hidden_last[-1] # [batchsize, 384]
# dropout and fully-connected layer
out = self.dropout(hidden_last_out) #out的shape[batchsize,768]
out = self.fc(out)
return out
def init_hidden(self, batch_size):
weight = next(self.parameters()).data
number = 1
if self.bidirectional:
number = 2
if (USE_CUDA):
hidden = (weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float().cuda(),
weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float().cuda()
)
else:
hidden = (weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float(),
weight.new(self.n_layers * number, batch_size, self.hidden_dim).zero_().float()
)
return hidden
xlnet_lstm需要的參數功6個，參數說明如下：
--xlnetpath：xlnet預訓練模型的路徑
--hidden_dim：隐藏層的數量。
--output_size：分類的個數。
--n_layers：lstm的層數
--bidirectional：是否是雙向lstm
--drop_prob：dropout的參數
定義xlnet的參數，如下：
class ModelConfig:
batch_size = 2
output_size = 2
hidden_dim = 384 # 768/2
n_layers = 2
lr = 2e-5
bidirectional = True # 這裡為True，為雙向LSTM
# training params
epochs = 10
# batch_size=50
print_every = 10
clip = 5 # gradient clipping
use_cuda = USE_CUDA
xlnet_path = 'xlnet-base-chinese' # 預訓練bert路徑
save_path = 'xlnet_bilstm.pth' # 模型儲存路徑
batch_size：batchsize的大小，根據顯存設定。
output_size：輸出的類别個數，本例是2.
hidden_dim：隐藏層的數量。
n_layers：lstm的層數。
bidirectional：是否雙向
print_every：輸出的間隔。
use_cuda：是否使用cuda，預設使用，不用cuda太慢了。
xlnet_path：預訓練模型存放的檔案夾。
save_path：模型儲存的路徑。
下載下傳預訓練模型
本例使用的預訓練模型是xlnet-base-cased，下載下傳位址：
https://huggingface.co/hfl/chinese-xlnet-base/tree/main
将上圖畫框的檔案下載下傳下來，如果下載下傳後的名字和上面顯示的名字不一樣，則要修改回來。
将下載下傳好的檔案放入xlnet-base-chinese檔案夾中。
配置環境
需要下載下傳transformers和sentencepiece，執行指令：
conda install sentencepiece
conda install transformers
訓練、驗證和預測
訓練詳見train_model函數，驗證詳見test_model，單次預測詳見predict函數。
代碼和模型連結：
https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/36194843