VIP内容

自然语言处理中的自注意力模型

目前自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2)Transformer模型的应用:将Transformer模型应用在文本分类、实体名识别等自然语言任务上,并通过针对性的改进来进一步提高性能。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
59
Top