PyTorch 1.7發佈,支持CUDA 十一、Windows分佈式訓練

機器之心報道git

參與:魔王、小舟
昨日,PyTorch 團隊發佈 PyTorch 1.7 版本。該版本增添了不少新特性,如支持 CUDA 十一、Windows 分佈式訓練、增長了支持快速傅里葉變換(FFT)的新型 API 等。


PyTorch 1.7 版本包含不少新的 API,如支持 NumPy 兼容的 FFT 操做、性能分析工具,以及對基於分佈式數據並行(DDP)和基於遠程過程調用(RPC)的分佈式訓練的重要更新。

此外,一些特性也更新爲穩定版,包括自定義 C++ 類、內存分析器、經過自定義類張量對象進行擴展、RPC 中的用戶異步函數,以及 torch.distributed 中的許多其餘特性(如 Per-RPC 超時、DDP dynamic bucketing、RRef helper)。

本次更新的亮點包括:

  • CUDA 11 獲得 PyTorch 官方支持;github

  • 對 autograd 分析器,更新和添加了 RPC、TorchScript 和堆棧跟蹤(Stack trace)的分析和性能;api

  • (測試版)經過 torch.fft 支持 NumPy 兼容的 FFT 操做;微信

  • (原型版)支持英偉達 A100 GPU 和原生 TF32 格式;app

  • (原型版)支持 Windows 系統上的分佈式訓練。異步

  • torchvision分佈式

  • (穩定版)transforms 支持張量輸入、批處理計算、GPU 和 TorchScript
    函數

  • (穩定版)JPEG 和 PNG 格式的原生圖像 I/O工具

  • (測試版)新型視頻讀取器 API性能

  • torchaudio

  • (穩定版)增長了對語音錄製(wav2letter)、文本轉語音(WaveRNN)和源分離(ConvTasNet)的支持


(注:從 PyTorch 1.6 版本開始,PyTorch 特性分爲 Stable(穩定版)、Beta(測試版)和 Prototype(原型版)。

新特性

PyTorch 1.7 相比以前版本,增長了不少新特性,包括 Python API、C++ API、Autograd、CUDA、量化等多個方面。

例如 Python API 增添了多個新的 namespace、operator 以及 API 擴展,CUDA 增長了 TF32 支持等,量化方面增長了新的量化操做、支持 FP16 量化等。

PyTorch 1.7 部分新特性,詳情參見 https://github.com/pytorch/pytorch/releases/tag/v1.7.0。

開發者對 PyTorch 1.7 的態度

有開發者對 PyTorch 1.7「支持 Windows 上的分佈式訓練」這一新功能表示讚揚:


以及樂見於「PyTorch 對 CUDA 11 的支持」:


依然有人趁機表白 PyTorch,並列出偏好 PyTorch 的緣由,如報錯易讀、代碼直觀、易於實驗。


固然,版本更迭的路彷佛永無止境。有開發者提出了本身的需求,例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning:


此時距離 PyTorch 1.6 版本發佈僅三個月,不知道 PyTorch 的下一個版本又將帶給咱們哪些驚喜。

參考連接:
https://pytorch.org/blog/pytorch-1.7-released/
https://github.com/pytorch/pytorch/releases/tag/v1.7.0
https://www.reddit.com/r/MachineLearning/comments/jj4sr7/d_pytorch_17_released_w_cuda_11_new_apis_for_ffts/



推薦閱讀

跨越重重「障礙」,我從 PyTorch 轉換爲了 TensorFlow Lite


點擊「閱讀原文」圖書配套資源

本文分享自微信公衆號 - 相約機器人(xiangyuejiqiren)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索