韭研

可能发酵的方向,小米大模型上线,港股金山云大涨。

财联社4月30日讯,据“小米大模型”公众号消息,今天,小米开源首个为推理(Reasoning)而生的大模型「Xiaomi MiMo」,联动预训练到后训练,全面提升推理能力。

在数学推理(AIME 24-25)和 代码竞赛(LiveCodeBench v5)公开测评集上,MiMo 仅用 7B 的参数规模,超越了 OpenAI 的闭源推理模型 o1-mini 和阿里 Qwen 更大规模的开源推理模型 QwQ-32B-Preview。

 强化学习潜力超越经典开源32B模型

随着DeepSeek-R1引发业界强化学习(RL)共创潮,DeepSeek-R1-Distill-7B和Qwen2.5-32B已成为广泛使用的强化学习起步模型。

在相同RL训练数据情况下,MiMo-7B 的数学&代码领域的强化学习潜力显著领先。

image

预训练+后训练,联动提升推理能力

MiMo推理能力的提升,由预训练和后训练阶段中数据和算法等多层面的创新联合驱动,包括:

预训练:核心是让模型见过更多推理模式

数据:着重挖掘富推理语料,并合成约200B tokens推理数据。

训练:进行了三阶段训练,逐步提升训练难度,总训练25T tokens。

image

后训练:核心是高效稳定的强化学习算法和框架

算法:提出 Test Difficulty Driven Reward 来缓解困难算法问题中的奖励稀疏问题,并引入 Easy Data Re-Sampling 策略,以稳定 RL 训练。

框架:设计了Seamless Rollout系统,使得RL训练加速2.29倍,验证加速1.96倍。

image

所有技术细节已经Open,见技术报告:

https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

MiMo-7B全系列已开源

MiMo-7B 已开源4个模型至HuggingFace:https://huggingface.co/XiaomiMiMo

image

About Xiaomi MiMo

MiMo 来自全新成立不久的「小米大模型Core团队」的初步尝试。

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

为什么说小米?

因为当下市场回归科技,任何新的消息都是机会。市场不缺钱,缺的是能花钱的方向。

港股的金山云也是大涨。

 

金山云:

宁波建工,华胜天成,亚康股份,平治信息,美利云。

目明确提出为小米模型提供服务的:

拓尔思,慧博云通

资讯解析

行业:
科技
标的:
小米集团 金山云 宁波建工 华胜天成 亚康股份 平治信息 美利云 拓尔思 慧博云通
标签:
小米 大模型 开源 推理能力 AI 人工智能 小米开源大模型MiMo AI推理能力提升
摘要:
小米开源首个为推理而生的大模型Xiaomi MiMo,在数学推理和代码竞赛中表现优异,超越OpenAI和阿里的大模型。小米大模型Core团队的这一成果可能带动相关科技股的表现。
多方:
小米开源大模型MiMo的推出,展示了小米在AI领域的技术实力,可能会提升市场对小米及其合作伙伴的信心,带动相关股票上涨。
空方:
尽管小米大模型MiMo表现出色,但AI领域的竞争激烈,小米能否持续保持技术领先并实现商业化仍存在不确定性。此外,市场对科技股的热情可能会受到宏观经济和政策环境的影响。