Pytorch筆記——3、Pytorch實作線性回歸

文章目錄

• ​​生成資料集​​
• ​​Pytorch讀取資料​​
• ​​定義模型​​
• ​​初始化模型參數​​
• ​​定義損失函數​​
• ​​定義優化算法​​
• ​​訓練模型​​
• ​​小結​​

在了解了線性回歸的背景知識之後，現在我們可以動手實作它了。盡管強大的深度學習架構可以減少大量重複性工作，但若過于依賴它提供的便利，會導緻我們很難深入了解深度學習是如何工作的。是以，本節将介紹如何隻利用

​

​Tensor​

​和

​

​autograd​

​來實作一個線性回歸的訓練。

import torch
from matplotlib import pyplot as plt
import numpy as np
import random      

生成資料集

n_samples, n_features = 1000, 2
true_w, true_b = [2, -3.4], 4.2

train_features = torch.tensor(np.random.normal(0, 1, (n_samples, n_features)), dtype=torch.float)
train_labels = true_w[0] * train_features[:, 0] + true_w[1] * train_features[:, 1] + true_b      

Pytorch讀取資料

import torch.utils.data as Data

batch_size = 10

# 将訓練資料的特征和标簽組合起來
dataset = Data.TensorDataset(train_features, train_labels)

# 随機讀取小批量資料
data_iter = Data.DataLoader(dataset, batch_size, shuffle=True)      

列印第一個小批量資料樣本：

for X, y in data_iter:
    print(X)
        print(y)
        break
tensor([[-1.5092, -1.8423],
        [-1.8254, -1.2151],
        [-0.9875, -0.2694],
        [ 0.8320,  2.4324],
        [-0.7053,  0.7679],
        [-1.0079,  0.6050],
        [ 0.7001,  0.5371],
        [ 1.2323, -0.3061],
        [-0.9670, -1.1892],
        [ 2.2475,  0.9057]])
tensor([ 7.4456,  4.6806,  3.1410, -2.4062,  0.1785,  0.1271,  3.7740,  7.7054,
         6.3095,  5.6158])      

定義模型

Pytorch提供了大量預定義的層，我們隻需關注使用哪些層來構造模型即可。

首先，導入​

​torch.nn​

​​子產品。實際上，“nn”是neural networks（神經網絡）的縮寫。顧名思義，該子產品定義了大量神經網絡的層。之前我們已經用過了​

​autograd​

​​，而​

​nn​

​​就是利用​

​autograd​

​​來定義模型。​

​nn​

​​的核心資料結構是​

​Module​

​​，它是一個抽象概念，既可以表示神經網絡中的某個層（layer），也可以表示一個包含很多層的神經網絡。在實際使用中，最常見的做法是繼承​

​nn.Module​

​​，撰寫自己的網絡/層。一個​

​nn.Module​

​執行個體應該包含一些層以及傳回輸出的前向傳播（forward）方法。

下面先來看看如何用​

​nn.Module​

​實作一個線性回歸模型：

class LinearNet(nn.Module):
    def __init__(self, n_features):
        super().__init__()
        self.linear = nn.Linear(n_features, 1)

    def forward(self, x):
        return self.linear(x)

net = LinearNet(n_features)
print(net)
LinearNet(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)      

我們也可以用 ​

​nn.Sequential​

​​來更加友善的搭建網絡， ​

​Sequential​

​​ 是一個有序的容器，網絡層将按照在傳入 ​

​Sequential​

​ 的順序依次被添加到計算圖中

# 寫法一
net1 = nn.Sequential(
    nn.Linear(n_features, 1)
)
print(net1)

# 寫法二
net2 = nn.Sequential()
net2.add_module('linear', nn.Linear(n_features, 1))
print(net2)

# 寫法三
from collections import OrderedDict
order_dict = OrderedDict([
    ('linear', nn.Linear(n_features, 1))
])
net3 = nn.Sequential(order_dict)
print(net3)
Sequential(
  (0): Linear(in_features=2, out_features=1, bias=True)
)
Sequential(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)
Sequential(
  (linear): Linear(in_features=2, out_features=1, bias=True)
)      

可以通過 ​

​net.parameters()​

​ 來檢視模型所有的可學習參數，此函數将傳回一個生成器：

for param in net.parameters():
    print(param)
Parameter containing:
tensor([[-0.2759,  0.6097]], requires_grad=True)
Parameter containing:
tensor([-0.5925], requires_grad=True)      

作為一個單層神經網絡，線性回歸輸出層中的神經元和輸入層中各個輸入完全連接配接，是以，線性回歸的輸出層又叫全連接配接層

注意： ​

​torch.nn​

​​ 僅支援輸入一個batch的樣本，不支援單個樣本輸入，如果隻有單個樣本，可以使用 ​

​input.unsqueeze(0)​

​ 來添加一維

初始化模型參數

在使用​

​net​

​​前，我們需要初始化模型參數，如線性回歸模型中的權重和偏差。PyTorch在​

​init​

​​子產品中提供了多種參數初始化方法。這裡的​

​init​

​​是​

​initializer​

​​的縮寫形式。我們通過​

​init.normal_​

​将權重參數每個元素初始化為随機采樣于均值為0、标準差為0.01的正态分布。偏差會初始化為零

from torch.nn import init

init.normal_(net[0].weight, mean=0, std=0.01)
init.constant_(net[0].bias, val=0)  # 也可以直接修改bias的data: net[0].bias.data.fill_(0)      

定義損失函數

PyTorch在​

​nn​

​​子產品中提供了各種損失函數，這些損失函數可看作是一種特殊的層，PyTorch也将這些損失函數實作為​

​nn.Module​

​的子類。我們現在使用它提供的均方誤差損失作為模型的損失函數。

loss = nn.MSELoss()      

定義優化算法

​

​torch.optim​

​​子產品提供了很多常用的優化算法比如SGD、Adam和RMSProp等。下面我們建立一個用于優化​

​net​

​所有參數的優化器執行個體，并指定學習率為0.03的小批量随機梯度下降（SGD）為優化算法。

import torch.optim as optim

optimizer = optim.SGD(net.parameters(), lr=0.03)
optimizer      

SGD (
Parameter Group 0
    dampening: 0
    lr: 0.03
    momentum: 0
    nesterov: False
    weight_decay: 0
)      

我們還可以為不同子網絡設定不同的學習率，這在​

​finetune​

​時經常用到。例：

optimizer2 = optim.SGD([
    # 如果對某個參數不指定學習率，就使用最外層的預設學習率
    {
        'params': net.subnet1.parameters()
    },
    {
        'params': net.subnet2.parameters(),
        'lr': 0.01
    }
 
], lr=0.03)      

有時候我們不想讓學習率固定成一個常數，那如何調整學習率呢？主要有兩種做法。一種是修改​

​optimizer.param_groups​

​中對應的學習率，另一種是更簡單也是較為推薦的做法——建立優化器，由于optimizer十分輕量級，建構開銷很小，故而可以建構新的optimizer。但是後者對于使用動量的優化器（如Adam），會丢失動量等狀态資訊，可能會造成損失函數的收斂出現震蕩等情況。

# 調整學習率為之前的0.1倍
for param_group in optimizer.param_groups:
    param_group['lr'] *= 0.1      

訓練模型

num_epochs = 3
for epoch in range(1, num_epochs + 1):
    for X, y in data_iter:
        output = net(X)
        l = loss(output, y.view(-1, 1))
        # 梯度清零，等價于net.zero_grad()
        optimizer.zero_grad()
        l.backward()
        optimizer.step()
    print('epoch %d, loss: %f' % (epoch, l.item()))      

epoch 1, loss: 10.941267
epoch 2, loss: 2.379056
epoch 3, loss: 0.683022      

dense = net[0]
print(dense.weight)
print(dense.bias)      

Parameter containing:
tensor([[ 1.6598, -2.7395]], requires_grad=True)
Parameter containing:
tensor([3.4061], requires_grad=True)      

小結

• ​

  ​torch.utils.data​

  ​子產品提供了有關資料處理的工具
• ​

  ​torch.nn​

  ​子產品定義了大量神經網絡的層
• ​

  ​torch.nn.init​

  ​子產品定義了各種初始化方法
• ​

  ​torch.optim​

  ​子產品提供了很多常用的優化算法