OpenAI发布了一个叫GPT-2的语言模型。它做的事情听起来很简单:给它前面的文字,不断预测下一个词。可生成出来的长段文字已经相当像样。

更怪的是,同一套模型还表现出了写文章、简单问答、翻译和摘要的能力。OpenAI训练的最大版本有15亿参数,但因为担心被拿去批量制造假新闻和垃圾内容,这次没有把完整模型一次性公开。

如果只靠预测下一个词,把模型继续做大会变成什么样?这件事现在还真有点难猜。

OpenAI:Better language models and their implications

https://openai.com/index/better-language-models/

GPT-2论文

https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf