开发 | PyTorch好助手：PyTorch Hub一键复现各路模型

2019 年 6 月 11 日 AI科技评论

“

无论 ResNet、BERT、GPT、VGG、PGAN，还是 MobileNet，只需一行代码轻松复现！

”

AI 科技评论按：6 月 11 日，Facebook 宣布推出 PyTorch Hub。这是一个简单的 API 和工作流程，包含计算机视觉、自然语言处理领域的诸多经典模型的聚合中心，为机器学习研究的复现提供了基础的构建模块。无论是 ResNet、BERT、GPT、VGG、PGAN，还是 MobileNet 等经典模型，只需输入一行代码，就能实现一键调用。

图灵奖得主 Yann LeCun 强烈推荐

· 关于 PyTorch Hub ·

可复现性是许多研究领域的基本要求，包括基于机器学习技术的研究领域。然而，许多机器学习出版物要么不可复现，要么难以复现。随着研究出版物数量的持续增长，包括目前在 arXiv 上的数万份论文以及历史大会投稿，研究的可复现性比以往重要得多。虽然其中很多出版物都附上了有用的代码以及训练有素的模型，但仍为用户留下了一些需要自行解决的步骤。

所以 PyTorch 团队推出了 PyTorch Hub：一个简单的 API 和工作流程，为机器学习研究的复现提供了基础的构建模块。它由一个经过预先训练的模型存储库组成，专门设计用于协助研究的可复现性并实现新的研究。它还内置了支持 Colab，集成 Papers With Code 网站，目前已有一组预训练模型，包括 Classification、Segmentation、Generative 和 Transformer 等等。

· [所有者] 发布模型 ·

PyTorch Hub 可通过添加一个简单的 hubconf.py 文件，实现将预训练模型 (模型定义和预训练权重) 发布到 GitHub 存储库。这提供了所支持模型的枚举以及运行模型所需的依赖项列表。用户可以在 torchvision，huggingface-bert 和 gan-model-zoo 存储库中找到示例。

最简单的案例：torchvision's hubconf.py：

在 torchvision，模型具有以下属性：

每个模型文件都可以独立正常执行
无需要除 PyTorch 以外的任何包（在 hubconf.py 中：dependencies['torch']）
无需单独模型入口，因为模型一旦创建，即可无缝提取使用

将包依赖最小化，可减少用户导入模型后需要立即进行实验时出现的各类问题。一个更直观的案例是 HuggingFace's BERT 模型，其 hubconf.py 文件如下：

每个模型都需要创建一个模型入口，下面是一个代码段，指定了 bertForMaskedLM 模型入口，并返回预先训练的模型权重。

这些模型入口可以作为复杂模型的包装器，它们可以提供注释文档或其他帮助函数，具有支持下载预训练权重的功能 (例如通过 pretrained=True)，或者具有其他特定功能，如可视化。

有了 hubconf.py，研究者就可以去 PyTorch Hub 的 GitHub 页发送拉取请求。若该模型符合高质量、易复现、最有益的要求，Facebook 官方将会与你合作；若模型质量较低，也有被拒绝发布的可能。但拉取请求一旦被接受，该模型将很快出现在 PyTorch Hub 官方网页上，供所有用户浏览。

· [用户] 流程 ·

PyTorch Hub 允许用户对已发布的模型执行以下操作：

1、查看可用的模型

用户可以使用 torch.hub.list() API 查看存储库内所有可用的模型入口。