OpenAI 发布基于无监督预训练的语言理解系统

OpenAI 推出一种结合 Transformer 架构与无监督预训练的可扩展、任务无关语言理解系统，并在多项多样化语言任务上取得 SOTA 结果。该系统的代码已开源发布，旨在证明有监督学习与无监督预训练相结合的有效性，并推动在更大规模数据集上的进一步研究。