NLP预训练

一、要不要预训练 预训练的效果是直接的，需要的资源常常令人望而却步。如果有这样一种预训练方法，它需要算力、数据、人工的资源很少，低到单人单卡原始语料就可以启动。经过无监督的数据处理，完成一次迁移到自己...