XLNet,是一个广义自回归预训练方法,(1)通过在分解次序的所有排列上最大化期望的可能性,使得学习双向上下文,并且(2)由于其自回归公式克服了伯特的限制。从经验来看,XLNet在20项任务上的表现都优于BERT,而且往往有很大的差距。
没有数据了, 换个别的吧!
参考链接
微信扫码咨询专知VIP会员