Facebook今天宣布，微软已经扩大了对社交网络机器学习框架PyTorch的参与，以拥有Windows的PyTorch构建的开发和维护的所有权。目的是使Windows上的体验与Linux等其他平台保持一致。从历史上看，Windows上的PyTorch落后于测试范围，安装经验令人费解并且缺少功能。 PyTorch于2017年1月在Facebook上公开发布，是一个基于Torch的开源机器学习库，Torch是一种科学计算框架和脚本语言，而该语言又基于Lua编程语言。尽管TensorFlow的使用时间略长一些(自2015年11月起)，但PyTorch继续在数据科学和开发人员社区中迅速普及。根据GitHub的2018 Octoverse报告，它声称是去年增长最快的开源项目的头号人物之一，而Facebook最近透露，在2019年，该平台的贡献者数量同比增长了50%以上，几乎达到1200
“根据最新的Stack Overflow开发人员调查，Windows仍然是开发人员社区的主要操作系统(46%的Windows和28%的MacOS)。微软很高兴将其Windows专业知识带到桌面上，并使Windows上的PyTorch发挥出最大的优势。” Facebook和微软在共同撰写的博客文章中写道。 可能预示着事情的发生，微软在今年早些时候发布了预览版，为Windows Subsystem for Linux(WSL)2添加了图形卡计算支持，每月有超过350万活跃开发人员用来在Windows上运行基于Linux的工具。它明确地带来了对AI和机器学习应用程序的支持，从而使PyTorch在Windows生态系统中的各种硬件(包括具有CUDA内核的Nvidia卡)上的培训工作负载成为可能。 Facebook说，它将与微软合作，继续提高Windows的PyTorch版本的质量，主要是通过使测试范围达到标准。微软还将维护相关的二进制文件和库(例如TorchVision，TorchText和TorchAudio)，并支持GitHub上的PyTorch社区以及PyTorch Windows论坛。 “我们将根据社区的反馈和要求继续改善Windows体验。到目前为止，我们收到的来自社区的反馈指向分布式培训支持以及使用pip作为下一步改进的更好的安装体验，” Facebook和Microsoft写道。 在相关新闻中，Facebook还表示，它已将混合精度功能转移到支持Windows的PyTorch核心中。虽然PyTorch默认使用32位浮点(FP32)算术训练，但Facebook指出，对于许多深度学习模型而言，这对于实现完全准确度并不是必不可少的。这种新的混合精度功能是由Nvidia在2017年开发的，它将单精度(FP32)与半精度(例如FP16)格式结合在一起，可管理与FP32相同的精度，并在Nvidia显卡上提供了其他性能优势(例如较短的训练时间和较低的内存需求)。 PyTorch 1.6(最新版本)可以自动将某些图形卡操作从FP32精度转换为混合精度。Facebook声称它在Nvidia V100卡上的速度是FP32的1.5到5.5倍，同时收敛到相同的最终精度。 |
