PyTorch Tutorials 1 PyTorch是什麼?

%matplotlib inline

PyTorch是什麼?

基於Python的科學計算包，服務於如下兩種場景:

• 做爲NumPy的替代品，能夠使用GPU的強大計算能力
• 提供最大的靈活性和高速的深度學習研究平臺

開始

Tensors（張量）

^^^^^^^

Tensors與Numpy中的 ndarrays相似，可是在PyTorch中
Tensors 能夠使用GPU進行計算.

from __future__ import print_function 
import torch

建立一個 5x3 矩陣, 可是未初始化:

x = torch.empty(5, 3)
print(x)

tensor([[0.0000, 0.0000, 0.0000],
        [0.0000, 0.0000, 0.0000],
        [0.0000, 0.0000, 0.0000],
        [0.0000, 0.0000, 0.0000],
        [0.0000, 0.0000, 0.0000]])

建立一個隨機初始化的矩陣:

x = torch.rand(5, 3)
print(x)

tensor([[0.6972, 0.0231, 0.3087],
        [0.2083, 0.6141, 0.6896],
        [0.7228, 0.9715, 0.5304],
        [0.7727, 0.1621, 0.9777],
        [0.6526, 0.6170, 0.2605]])

建立一個0填充的矩陣，數據類型爲long:

x = torch.zeros(5, 3, dtype=torch.long)
print(x)

tensor([[0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0],
        [0, 0, 0]])

建立tensor並使用現有數據初始化:

x = torch.tensor([5.5, 3])
print(x)

tensor([5.5000, 3.0000])

根據現有的張量建立張量。 這些方法將重用輸入張量的屬性，例如， dtype，除非設置新的值進行覆蓋

x = x.new_ones(5, 3, dtype=torch.double)      # new_* 方法來建立對象
print(x)

x = torch.randn_like(x, dtype=torch.float)    # 覆蓋 dtype!
print(x)                                      #  對象的size 是相同的，只是值和類型發生了變化

tensor([[1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.],
        [1., 1., 1.]], dtype=torch.float64)
tensor([[ 0.5691, -2.0126, -0.4064],
        [-0.0863,  0.4692, -1.1209],
        [-1.1177, -0.5764, -0.5363],
        [-0.4390,  0.6688,  0.0889],
        [ 1.3334, -1.1600,  1.8457]])

獲取 size

譯者注：使用size方法與Numpy的shape屬性返回的相同，張量也支持shape屬性，後面會詳細介紹

print(x.size())

torch.Size([5, 3])

Note

``torch.Size`` 返回值是 tuple類型, 因此它支持tuple類型的全部操做.

操做

^^^^^^^^^^

操做有多種語法。

咱們將看一下加法運算。

加法1:

y = torch.rand(5, 3)
print(x + y)

tensor([[ 0.7808, -1.4388,  0.3151],
        [-0.0076,  1.0716, -0.8465],
        [-0.8175,  0.3625, -0.2005],
        [ 0.2435,  0.8512,  0.7142],
        [ 1.4737, -0.8545,  2.4833]])

加法2

print(torch.add(x, y))

tensor([[ 0.7808, -1.4388,  0.3151],
        [-0.0076,  1.0716, -0.8465],
        [-0.8175,  0.3625, -0.2005],
        [ 0.2435,  0.8512,  0.7142],
        [ 1.4737, -0.8545,  2.4833]])

提供輸出tensor做爲參數

result = torch.empty(5, 3)
torch.add(x, y, out=result)
print(result)

tensor([[ 0.7808, -1.4388,  0.3151],
        [-0.0076,  1.0716, -0.8465],
        [-0.8175,  0.3625, -0.2005],
        [ 0.2435,  0.8512,  0.7142],
        [ 1.4737, -0.8545,  2.4833]])

替換

# adds x to y
y.add_(x)
print(y)

tensor([[ 0.7808, -1.4388,  0.3151],
        [-0.0076,  1.0716, -0.8465],
        [-0.8175,  0.3625, -0.2005],
        [ 0.2435,  0.8512,  0.7142],
        [ 1.4737, -0.8545,  2.4833]])

Note

任何 以``_`` 結尾的操做都會用結果替換原變量. 例如: ``x.copy_(y)``, ``x.t_()``, 都會改變 ``x``.

你能夠使用與NumPy索引方式相同的操做來進行對張量的操做

print(x[:, 1])

tensor([-2.0126,  0.4692, -0.5764,  0.6688, -1.1600])

torch.view: 能夠改變張量的維度和大小

譯者注：torch.view 與Numpy的reshape相似

x = torch.randn(4, 4)
y = x.view(16)
z = x.view(-1, 8)  #  size -1 從其餘維度推斷
print(x.size(), y.size(), z.size())

torch.Size([4, 4]) torch.Size([16]) torch.Size([2, 8])

若是你有隻有一個元素的張量，使用.item()來獲得Python數據類型的數值

x = torch.randn(1)
print(x)
print(x.item())

tensor([-0.2368])
-0.23680149018764496

Read later:

100+ Tensor operations, including transposing, indexing, slicing,
mathematical operations, linear algebra, random numbers, etc.,
are described
here <https://pytorch.org/docs/torch>_.

NumPy 轉換

Converting a Torch Tensor to a NumPy array and vice versa is a breeze.

The Torch Tensor and NumPy array will share their underlying memory
locations, and changing one will change the other.

Converting a Torch Tensor to a NumPy Array
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

a = torch.ones(5)
print(a)

tensor([1., 1., 1., 1., 1.])

b = a.numpy()
print(b)

[1. 1. 1. 1. 1.]

See how the numpy array changed in value.

a.add_(1)
print(a)
print(b)

tensor([2., 2., 2., 2., 2.])
[2. 2. 2. 2. 2.]

NumPy Array 轉化成 Torch Tensor

^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

使用from_numpy自動轉化

import numpy as np
a = np.ones(5)
b = torch.from_numpy(a)
np.add(a, 1, out=a)
print(a)
print(b)

[2. 2. 2. 2. 2.]
tensor([2., 2., 2., 2., 2.], dtype=torch.float64)

全部的 Tensor 類型默認都是基於CPU， CharTensor 類型不支持到
NumPy 的轉換.
CUDA 張量
------------

使用.to 方法 能夠將Tensor移動到任何設備中

# is_available 函數判斷是否有cuda能夠使用
# ``torch.device``將張量移動到指定的設備中
if torch.cuda.is_available():
    device = torch.device("cuda")          # a CUDA 設備對象
    y = torch.ones_like(x, device=device)  # 直接從GPU建立張量
    x = x.to(device)                       # 或者直接使用``.to("cuda")``將張量移動到cuda中
    z = x + y
    print(z)
    print(z.to("cpu", torch.double))       # ``.to`` 也會對變量的類型作更改

tensor([0.7632], device='cuda:0')
tensor([0.7632], dtype=torch.float64)