编辑 | ZeR0

智东西4月17日消息,今日,上海多模态大模型独角兽MiniMax正式推出abab 6.5系列模型,包含abab 6.5和abab 6.5s两个模型。

MiniMax成立于2023年1月,是当前国内估值最高的大模型公司之一。今年3月,MiniMax完成阿里参投的新一轮融资,投后估值超过25亿美元。此前米哈游、腾讯均有投资MiniMax。

在MoE尚未成为行业共识时,MiniMax已经押注MoE路线,今年1月发布其首款基于MoE架构的abab 6,并在过去3个月潜心研发出性能更强的万亿参数MoE模型abab 6.5,在核心能力测试中接近GPT-4、Claude 3 Opus、Gemini 1.5 Pro等顶尖大语言模型。

标注星号的是MiniMax调用API测试得到的结果,其余分数来自对应的技术报告。

abab 6.5和abab 6.5s采用相同的训练技术、数据,支持200k tokens上下文长度。abab 6.5s更高效,1秒能处理近3万字的文本。

MiniMax在200k tokens内进行了业界常用的“大海捞针”测试。在891次测试中,abab 6.5均能正确回答。

MiniMax团队称找到了越来越多加速实现Scaling Laws的途径,包括改进模型架构、重构数据pipeline、训练算法及并行训练策略优化等。今天发布的abab 6.5和abab 6.5s是其加速Scaling Laws过程的阶段性成果。

abab 6.5系列模型会滚动更新到MiniMax旗下的产品中,包括生产力产品海螺AI和MiniMax开放平台上。

友情提示

本站部分转载文章,皆来自互联网,仅供参考及分享,并不用于任何商业用途;版权归原作者所有,如涉及作品内容、版权和其他问题,请与本网联系,我们将在第一时间删除内容!

联系邮箱:1042463605@qq.com