PyTorch 1.7發佈,支持CUDA 十一、Windows分佈式訓練 - 知乎

昨日,PyTorch 團隊發佈 PyTorch 1.7 版本。該版本增添了不少新特性,如支持 CUDA 十一、Windows 分佈式訓練、增長了支持快速傅里葉變換(FFT)的新型 API 等。

機器之心報道,參與:魔王、小舟。git

PyTorch 1.7 版本包含不少新的 API,如支持 NumPy 兼容的 FFT 操做、性能分析工具,以及對基於分佈式數據並行(DDP)和基於遠程過程調用(RPC)的分佈式訓練的重要更新。github

此外,一些特性也更新爲穩定版,包括自定義 C++ 類、內存分析器、經過自定義類張量對象進行擴展、RPC 中的用戶異步函數,以及 torch.distributed 中的許多其餘特性(如 Per-RPC 超時、DDP dynamic bucketing、RRef helper)。api

本次更新的亮點包括:異步

  • CUDA 11 獲得 PyTorch 官方支持;
  • 對 autograd 分析器,更新和添加了 RPC、TorchScript 和堆棧跟蹤(Stack trace)的分析和性能;
  • (測試版)經過 torch.fft 支持 NumPy 兼容的 FFT 操做;
  • (原型版)支持英偉達 A100 GPU 和原生 TF32 格式;
  • (原型版)支持 Windows 系統上的分佈式訓練。
  • torchvision
  • (穩定版)transforms 支持張量輸入、批處理計算、GPU 和 TorchScript
  • (穩定版)JPEG 和 PNG 格式的原生圖像 I/O
  • (測試版)新型視頻讀取器 API
  • torchaudio
  • (穩定版)增長了對語音錄製(wav2letter)、文本轉語音(WaveRNN)和源分離(ConvTasNet)的支持

(注:從 PyTorch 1.6 版本開始,PyTorch 特性分爲 Stable(穩定版)、Beta(測試版)和 Prototype(原型版)。分佈式

新特性函數

PyTorch 1.7 相比以前版本,增長了不少新特性,包括 Python API、C++ API、Autograd、CUDA、量化等多個方面。工具

例如 Python API 增添了多個新的 namespace、operator 以及 API 擴展,CUDA 增長了 TF32 支持等,量化方面增長了新的量化操做、支持 FP16 量化等。性能

PyTorch 1.7 部分新特性,詳情參見 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。

開發者對 PyTorch 1.7 的態度測試

有開發者對 PyTorch 1.7「支持 Windows 上的分佈式訓練」這一新功能表示讚揚:url

以及樂見於「PyTorch 對 CUDA 11 的支持」:

依然有人趁機表白 PyTorch,並列出偏好 PyTorch 的緣由,如報錯易讀、代碼直觀、易於實驗。

固然,版本更迭的路彷佛永無止境。有開發者提出了本身的需求,例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning:

此時距離 PyTorch 1.6 版本發佈僅三個月,不知道 PyTorch 的下一個版本又將帶給咱們哪些驚喜。

參考連接https://pytorch.org/blog/pytorch-1.7-released/

https://github.com/pytorch/pytorch/releases/tag/v1.7.0

https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/

相關文章
相關標籤/搜索