编译，王玥近年来，大规模预训练语言模型，PLM，显著提高了各种NLP任务的性能，由BERT和GPT，2开始，自监督预训练范式和监督的微调范式取得了巨大的成功，并刷新了许多自然语言处理领域的最先进成果，如语义相似度、机器阅读理解、常识推理和文本摘要等，此外，这些PLM的规模为中等，即大小低于1B参数，，令模型可以做出广泛且快速的微调与适...。