Mistral发布Mixtral 8x22B,141B总参数、39B激活参数、64K上下文,还是MoE。现在开放模型也开始往越来越大的规模推。

链接:https://mistral.ai/news/mixtral-8x22b/