从量化人类变异对疾病可能性的影响,到预测病毒的免疫逃逸突变,以及设计新的生物治疗蛋白,精确模拟蛋白质序列适应度的能力对广泛的应用至关重要。迄今为止,基于多种序列比对训练的蛋白质序列深度生成模型是解决这些任务的最成功的方法。然而,这些方法的性能取决于是否有足够深入和多样化的可靠训练。因此,由于许多蛋白质家族很难(如果不是不可能的话)对齐,它们的潜在范围受到了限制。基于来自不同家族的大量非对齐蛋白序列的大型语言模型解决了这些问题,并显示出最终弥合性能差距的潜力。我们引入了Tranception,一种新颖的transformer 架构,利用自回归预测和同源序列的检索来实现最先进的适应度预测性能。鉴于其在多个突变体上的显著更高的性能,对浅对齐的鲁棒性和评分索引的能力,我们的方法提供了比现有方法的显著增益范围。为了能够在更广泛的蛋白质家族中进行更严格的模型测试,我们开发了ProteinGym——一套广泛的变异效应复合测定法,与现有基准相比,大大增加了测定法的数量和多样性。

成为VIP会员查看完整内容
14

相关内容

【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
35+阅读 · 2022年7月11日
【ICML2022】基于自适应上下文池化的高效表示学习
专知会员服务
19+阅读 · 2022年7月9日
【ICML2022】Transformer是元强化学习器
专知会员服务
50+阅读 · 2022年6月15日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
专知会员服务
21+阅读 · 2021年7月10日
专知会员服务
79+阅读 · 2021年5月10日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
58+阅读 · 2021年4月21日
深度学习图像检索(CBIR): 十年之大综述
专知会员服务
46+阅读 · 2020年12月5日
专知会员服务
44+阅读 · 2020年3月6日
深度学习预测蛋白质-蛋白质相互作用
机器之心
5+阅读 · 2022年1月15日
【ICML2021】因果匹配领域泛化
专知
10+阅读 · 2021年8月12日
【CVPR2021】跨模态检索的概率嵌入
专知
16+阅读 · 2021年3月2日
深度学习图像检索(CBIR): 十年之大综述
专知
63+阅读 · 2020年12月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
已删除
Arxiv
31+阅读 · 2020年3月23日
Efficiently Embedding Dynamic Knowledge Graphs
Arxiv
14+阅读 · 2019年10月15日
VIP会员
相关VIP内容
【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
35+阅读 · 2022年7月11日
【ICML2022】基于自适应上下文池化的高效表示学习
专知会员服务
19+阅读 · 2022年7月9日
【ICML2022】Transformer是元强化学习器
专知会员服务
50+阅读 · 2022年6月15日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
专知会员服务
21+阅读 · 2021年7月10日
专知会员服务
79+阅读 · 2021年5月10日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
58+阅读 · 2021年4月21日
深度学习图像检索(CBIR): 十年之大综述
专知会员服务
46+阅读 · 2020年12月5日
专知会员服务
44+阅读 · 2020年3月6日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员