牛逼！深度学习又添新框架，来自Facebook 【Pythia】

项目：Pythia

领域：视觉 & 语言

公司：Facebook

GitHub：https://github.com/facebookresearch/pythia

官方文档：https://learnpythia.readthedocs.io/en/latest/

示例：https://colab.research.google.com/drive/1Z9fsh10rFtgWe4uy8nvU4mQmqdokdIRR

简介：Pythia 是一种模块化的即插即用深度学习框架，数据科学家和机器学习开发者能快速构建、复现和构建基准模型。支持视觉和语言领域的多任务处理。

特点：

• 支持分布式训练及多种数据集（包括对多种数据集内置的支持，有 VQA、VizWiz、TextVQA 和 VisualDialog）；

• 支持自定义的损失函数、度量标准、调度和最优化器等；

• 提供了常用的视觉和语言层级模块；

• 内建了很多语料库，包括 VQA、VizWiz、TextVQA 和 VisualDialog

• SoTA 视觉和语言模型的推理实现，包括 LoRRA（VQA 和 TextVQA 的 SoTA）、Pythia 模型（VQA 2018 挑战赛冠军）和 BAN；

• 支持多任务，允许在多个数据集上同时训练；

安装：

1# Clone Pythia repository
2git clone https://github.com/facebookresearch/pythia ~/pythia
3
4# Install dependencies and setup
5cd ~/pythia
6python setup.py develop

使用：

获取数据： 目前支持特征和 ImDB

 1cd ~/pythia;
 2# Create data folder
 3mkdir -p data && cd data;
 4
 5# Download and extract the features
 6wget https://dl.fbaipublicfiles.com/pythia/features/open_images.tar.gz
 7tar xf open_images.tar.gz
 8
 9# Get vocabularies
10wget http://dl.fbaipublicfiles.com/pythia/data/vocab.tar.gz
11tar xf vocab.tar.gz
12
13# Download detectron weights required by some models
14wget http://dl.fbaipublicfiles.com/pythia/data/detectron_weights.tar.gz
15tar xf detectron_weights.tar.gz
16
17# Download and extract ImDB
18mkdir -p imdb && cd imdb
19wget https://dl.fbaipublicfiles.com/pythia/data/imdb/textvqa_0.5.tar.gz
20tar xf textvqa_0.5.tar.gz

训练：

1cd ~/pythia;
2python tools/run.py --tasks vqa --datasets textvqa --model lorra --config **
3configs/vqa/textvqa/lorra.yml

推断：

1cd ~/pythia/data
2mkdir -p models && cd models;
3
4wget https://dl.fbaipublicfiles.com/pythia/pretrained_models/textvqa/lorra_best.pthcd ../..
5
6python tools/run.py --tasks vqa --datasets textvqa --model lorra --config **
7configs/vqa/textvqa/lorra.yml --resume_file data/models/lorra_best.pth **
8--evalai_inference 1 --run_type inference

推荐阅读

有个程序猿很忧桑：一个命令rm -rf/ ，他把整个公司删没了...

10 个可以快速用Python进行数据分析的小技巧

准备了2个月，终于拿到了推荐算法岗的offer

8 个常用的 Python 爬虫技巧，分分钟提高效率！！

最新QS世界大学排名揭榜！清华超越耶鲁、哥大

喜欢就点击“在看”吧！