昆昆狂赞！PyTorch 1.9发布获LeCun转发！

矫情吗；* 2022-10-07 11:56 125阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### 明敏 发自 凹非寺 量子位 报道 | 公众号 QbitAI #####

时隔仅3个月，**PyTorch**再次迎来升级——**1.9版本**。

这一次，官方把重头戏放在了**移动端**上。

不仅Mobile Interpreter发布了新版本，而且TorchVision库也支持在手机上使用了，iOS、Android都支持！

![deb52679636741d1ae296da89968ed99.png][]

网友看了都表示：

> 这一次更新中，我对移动端最感兴趣。

![03b534902f5b2a9cf937dee85699c406.png][]

而此次1.9版本集合了自2021年3月1.8版本发布以来，超过3400次GitHub提交。

除了移动设备端方面，还有其他诸多亮点：

*  前端API改进（包括torch.linalg、torch.special和 Complex Autograd）
 *  实现对弹性、容错分布式训练的本地支持
 *  更新PyTorch模型性能分析器

LeCun也在Twitter上站台，称赞PyTorch做的一次比一次好！

![172dcd64e9ef024af0720d4e2877cab5.png][]

## 在手机上用TorchVision库 ##

首先就是PyTorch Mobile最受欢迎的功能之一**Mobile Interpreter**更新了。

最新版本能够将移动设备上的二进制文件大小降低到原来大小的**一半以下**。

比如，在arm64-v8a架构的Android设备中使用MobileNetV2的pt大小，压缩前为17.8MB、压缩后为8.6MB。

而使用新版Mobile Interpreter后，可以把压缩前的文件大小降低到8MB以下，压缩后的大小降低到4MB以下。

与此同时，从1.9版本开始，用户可以在iOS、Android的APP上使用**TorchVision库**了。

在iOS上，它需要和主要的PyTorch库链接在一起使用；在Android上，则可作为gradle依赖项添加。

在demo APP方面，这一次更新了一个新的基于PyTorch Video库的视频APP和一个基于最新torchaudio,、wave2vec模型的语音识别APP。

有了这两个APP后，PyTorch现在可以提供图像、文字、音频和视频在内的**一整套**demo APP。

![bffcffdf75c460996f0d96a114fe7deb.png][]

## 前端API改进 ##

1.9版本中，对torch.linalg、torch.special和Complex Autograd等模块进行了完善。

torch.linalg模块现在可以实现NumPy线性代数模块中的每个函数；

Complex Autograd更新的新功能，可以计算复杂梯度、优化损失函数。

此外，为了帮助调试和编写可重现的程序，PyTorch 1.9增加了一个torch.use\_determinstic\_algorithms选项。

这是为了避免运行中可能会出现的错误，如下所示：

![235d25802f5c90e4122a5e1d70b83754.png][]

## 分布式训练 ##

TorchElastic是PyTorch的一个核心功能，它能够让用户在抢占式实例上运行分布式训练。

![80295b24f64b8e41fa4c4752d6541664.png][]

###### **△**TorchElastic运行原理 ######

新版本中，添加了一个基于c10d::Store的“独立”集合点，能够在本地支持弹性、容错分布式训练。

此外，现在还可在RPC中支持CUDA，并支持对分布式训练进行分析等。

## PyTorch Profiler ##

PyTorch Profiler是用来对PyTorch模型性能分析的一个工具。

通过可视化页面来帮助我们分析具体运行情况。

![36e7d1bb7c7621d89c530241d507d28d.png][]

在1.9版本中，可以在Windows和Mac中支持新的torch.profiler API了。

新的API支持现有分析器功能，可以与CUPTI库集成（仅限Linux），追踪设备上的CUDA内核，并为长期运行项目提供支持，例如：

![14709a10e93b743c7bd9d0a8fdf55a2d.png][]

PyTorch Profiler Tensorboard插件还更新了带有NCCL的分布式训练摘要视图、内存分析视图、从Microsoft VSCode启动时可跳转到源代码等新功能。

更多更新信息请戳：

https://pytorch.org/blog/pytorch-1.9-released/

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![9af9a176feb18e0ba6b0bd4890e9b453.png][]

[deb52679636741d1ae296da89968ed99.png]: /images/20221005/6f7b40eef6ca43d789435d9fbb91ae0b.png
[03b534902f5b2a9cf937dee85699c406.png]: /images/20221005/63e615d60fd446699e80fa34785b341c.png
[172dcd64e9ef024af0720d4e2877cab5.png]: /images/20221005/b278be251b2f4dd39f75544c4e0ba176.png
[bffcffdf75c460996f0d96a114fe7deb.png]: /images/20221005/d322b6db664141b4b2bf06695f1e9910.png
[235d25802f5c90e4122a5e1d70b83754.png]: /images/20221005/85deb887d1b1465c980e4019e73699a6.png
[80295b24f64b8e41fa4c4752d6541664.png]: /images/20221005/9f8645bdc6564c7ab0ecd88791aaf5b9.png
[36e7d1bb7c7621d89c530241d507d28d.png]: /images/20221005/221f1856908c4dca98e9e651d3eebe02.png
[14709a10e93b743c7bd9d0a8fdf55a2d.png]: /images/20221005/8e09d4fc50c544aebe6252eb21f9b19e.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[9af9a176feb18e0ba6b0bd4890e9b453.png]: /images/20221005/dea53606a8334993bf4ab6b0239c824e.png