OpenAI发布了一个叫GPT-2的语言模型。它做的事情听起来很简单:给它前面的文字,不断预测下一个词。可生成出来的长段文字已经相当像样。
更怪的是,同一套模型还表现出了写文章、简单问答、翻译和摘要的能力。OpenAI训练的最大版本有15亿参数,但因为担心被拿去批量制造假新闻和垃圾内容,这次没有把完整模型一次性公开。
如果只靠预测下一个词,把模型继续做大会变成什么样?这件事现在还真有点难猜。
OpenAI:Better language models and their implications
https://openai.com/index/better-language-models/
GPT-2论文