昨日,PyTorch 團隊發佈 PyTorch 1.7 版本。該版本增添了不少新特性,如支持 CUDA 十一、Windows 分佈式訓練、增長了支持快速傅里葉變換(FFT)的新型 API 等。
機器之心報道,參與:魔王、小舟。git
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
PyTorch 1.7 版本包含不少新的 API,如支持 NumPy 兼容的 FFT 操做、性能分析工具,以及對基於分佈式數據並行(DDP)和基於遠程過程調用(RPC)的分佈式訓練的重要更新。github
此外,一些特性也更新爲穩定版,包括自定義 C++ 類、內存分析器、經過自定義類張量對象進行擴展、RPC 中的用戶異步函數,以及 torch.distributed 中的許多其餘特性(如 Per-RPC 超時、DDP dynamic bucketing、RRef helper)。api
本次更新的亮點包括:異步
- CUDA 11 獲得 PyTorch 官方支持;
- 對 autograd 分析器,更新和添加了 RPC、TorchScript 和堆棧跟蹤(Stack trace)的分析和性能;
- (測試版)經過 torch.fft 支持 NumPy 兼容的 FFT 操做;
- (原型版)支持英偉達 A100 GPU 和原生 TF32 格式;
- (原型版)支持 Windows 系統上的分佈式訓練。
- torchvision
- (穩定版)transforms 支持張量輸入、批處理計算、GPU 和 TorchScript
- (穩定版)JPEG 和 PNG 格式的原生圖像 I/O
- (測試版)新型視頻讀取器 API
- torchaudio
- (穩定版)增長了對語音錄製(wav2letter)、文本轉語音(WaveRNN)和源分離(ConvTasNet)的支持
(注:從 PyTorch 1.6 版本開始,PyTorch 特性分爲 Stable(穩定版)、Beta(測試版)和 Prototype(原型版)。分佈式
新特性函數
PyTorch 1.7 相比以前版本,增長了不少新特性,包括 Python API、C++ API、Autograd、CUDA、量化等多個方面。工具
例如 Python API 增添了多個新的 namespace、operator 以及 API 擴展,CUDA 增長了 TF32 支持等,量化方面增長了新的量化操做、支持 FP16 量化等。性能
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
開發者對 PyTorch 1.7 的態度測試
有開發者對 PyTorch 1.7「支持 Windows 上的分佈式訓練」這一新功能表示讚揚:url
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
以及樂見於「PyTorch 對 CUDA 11 的支持」:
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
依然有人趁機表白 PyTorch,並列出偏好 PyTorch 的緣由,如報錯易讀、代碼直觀、易於實驗。
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
固然,版本更迭的路彷佛永無止境。有開發者提出了本身的需求,例如 fp32 卷積、TensorFlow 有而 PyTorch 沒有的 Semantic Versioning:
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
![](http://static.javashuo.com/static/loading.gif)
此時距離 PyTorch 1.6 版本發佈僅三個月,不知道 PyTorch 的下一個版本又將帶給咱們哪些驚喜。
參考連接:https://pytorch.org/blog/pytorch-1.7-released/