如何在pytorch中自己實作softmax運算

本文記錄如何實作softmax運算。

線性回歸模型适用于輸出為連續值的情景

softmax運算使輸出更适合離散值的預測和訓練

softmax用于分類問題：

預備知識：首先我們看看這個關于Tensor的運算：sum()函數

>>X = torch.tensor([1, 2, 3])

tensor([1, 2, 3])

>>X.sum(dim=1, keepdim=True)

tensor([ 6])
           

Sum函數将每一行的所有數相加，keepdim=True表示将總數保留在相應的dim軸，關于dim軸的問題看我這個部落格。點這裡

以及tensor.exp()函數：

>>torch.exp(torch.tensor([0, 2.0]))
tensor([1.0000, 7.3891])
           

它傳回的是tensor([e^0, e^2]), 注意這個的參數tensor必須是浮點數。

這樣我們就可以使用 總數/每個數=占總數的百分比

1+2+3=6 

如 X就變成了tensor([1/6, 2/6, 3/6])

這樣一行的數相加為1，至此實作softmax運算。

我們可以将這個運算封裝成一個方法

def softmax(X):

    X_exp = X.exp()

    partition = X_exp.sum(dim=1, keepdim=True)

    return X_exp / partition  # 這裡使用了numpy的廣播機制

           

現在來使用一下，建立一個tensor

>>X = torch.rand((1, 5))

tensor([[0.0160, 0.7090, 0.3592, 0.2295, 0.9136]])

>>X_prob = softmax(X)

>>X_prob

tensor([[0.1235, 0.2468, 0.1740, 0.1528, 0.3029]])
           

     不用驗算，相加肯定為1

參考：https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.4_softmax-regression