在我们的社会中,多模态数据的日益流行导致了对机器的需求增加,以全面地理解这些数据。然而,渴望研究此类数据的数据科学家和机器学习工程师面临着从现有教程中融合知识的挑战,这些教程通常单独处理每个模态。根据我们在新加坡政府对多模态城市问题反馈进行分类的经验,我们进行了一个手工教程,以希望将机器学习应用于多模态数据。 2021年,作为新加坡政府国家人工智能战略计划的一部分,新加坡政府技术机构(GovTech)的数据科学和人工智能部门(DSAID)构建了一个反馈分析引擎[1],根据市政问题反馈,该引擎可以预测:

(1)用户反馈的案例类型,以便从反馈中提取相关信息,以及 (2)能最有效地处理这个问题的机构。

该引擎由基于历史数据的深度学习建立的分类模型组成,实现了良好的准确性,可以部署在OneService聊天机器人[2]中。创建这个引擎的最大挑战之一是处理多模态反馈数据,这些数据包括: (1)文本:对问题的描述, (2)地理位置:问题发生的位置,以及 (3) 图片:补充文字描述的图片。

由于通过移动设备捕捉和传输图像的便捷性,多模态数据,尤其是图文并茂的数据在我们的社会中越来越普遍。除了社交媒体,这类数据在私营和公共部门也都在增长。企业和政府开发了更多、更好的应用程序,这些应用允许人们提交内容(例如,投诉、赞美、建议、技术支持请求、求助电话、产品评论),而不仅仅是文本形式,还附带图片,这样接收者就可以更好地了解手头的问题。随着这类数据的增加,对机器整体理解文本和图像以帮助人类做出决定的需求也在增加。这反过来又导致了对数据科学家和机器学习工程师的需求增加,他们知道如何构建可以做到这一点的模型。然而,大多数与此问题相关的现有教程分别处理文本和图像,因为它们传统上来自不同的领域。对于试图解决此类问题的初级数据科学家(甚至一些中级数据科学家)和机器学习工程师来说,融合来自这些不同教程的知识是一个挑战。我们希望通过本教程帮助他们克服这些挑战。

在本教程中,我们教参与者如何使用Transformer[3]对包含文本和图像的多模态数据进行分****类。它的目标受众是对神经网络有一定的了解,并且能够轻松地编写代码。

(1) 文本分类:使用BERT[4]训练文本分类模型 (2) 文本和图像分类(v1):使用BERT和ResNet-50[5]训练文本和图像分类模型 (3) 文本与图像分类(v2):使用Align before Fuse (ALBEF)[6]训练文本与图像分类模型

成为VIP会员查看完整内容
52

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【KDD2022教程】多模态自动机器学习教程,130页ppt
首篇「多模态摘要」综述论文
专知会员服务
79+阅读 · 2021年9月14日
最新《Transformers模型》教程,64页ppt
专知会员服务
165+阅读 · 2020年11月26日
专知会员服务
225+阅读 · 2020年11月24日
300页文本知识提取与推断最新教程
机器学习算法与Python学习
11+阅读 · 2018年8月28日
ML通用指南:文本分类详细教程(上)
论智
19+阅读 · 2018年7月29日
Python NLP 入门教程
大数据技术
17+阅读 · 2017年10月24日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
11+阅读 · 2月23日
Arxiv
24+阅读 · 2021年11月11日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
15+阅读 · 2021年4月8日
Arxiv
15+阅读 · 2020年12月23日
Arxiv
16+阅读 · 2020年11月15日
Arxiv
11+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
19+阅读 · 2019年1月3日
VIP会员
相关VIP内容
【KDD2022教程】多模态自动机器学习教程,130页ppt
首篇「多模态摘要」综述论文
专知会员服务
79+阅读 · 2021年9月14日
最新《Transformers模型》教程,64页ppt
专知会员服务
165+阅读 · 2020年11月26日
专知会员服务
225+阅读 · 2020年11月24日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
相关论文
Arxiv
11+阅读 · 2月23日
Arxiv
24+阅读 · 2021年11月11日
Arxiv
14+阅读 · 2021年9月21日
Arxiv
15+阅读 · 2021年4月8日
Arxiv
15+阅读 · 2020年12月23日
Arxiv
16+阅读 · 2020年11月15日
Arxiv
11+阅读 · 2020年2月5日
A Comprehensive Survey on Graph Neural Networks
Arxiv
19+阅读 · 2019年1月3日
微信扫码咨询专知VIP会员