-
小米大模型概念梳理
冰女 / 今天08:05 发布
消息面，JINQ小米大模型团队通过“Xiaomi MiMo”宣布，今天，小米开源首个“为推理而生”的大模型 Xiaomi MiMo，联动预训练到后训练，全面提升推理能力。据介绍，MiMo 是来自全新成立不久的“小米大模型 Core 团队”的初步尝试。
小米全新大模型Core团队发布首个推理大模型MiMo，其中MiMo-7B 的数学&代码领域的强化学习潜力显著领先o10mini。此前小米大模型团队的工作也主要围绕小模型端侧部署展开，而本次全新大模型团队亮相MiMo, 或代表公司在端侧AI领域的投入和决心，伴随端侧模型的发布，软件、硬件、OS、芯片层面的更新和迭代或加速。 据介绍，在数学推理(AIME 24-25)和代码竞(LiveCodeBenchv5)公开测评集上，MiMo以7B的参数规模，超越了OpenAl的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview.小米技术团队表示， MiMo的核心突破在于预训练与后训练阶段的协同优化。在预训练阶段，模型通过挖掘高质量推理语料并合成约2000亿tokens专项数据，采用三阶段渐进训练策略，累计训练量达25万亿tokens.
此前以超级小爱为核心全面升级小爱同学的交互体验，从多模态、记忆能力升级后向个人助理转变的核心功能已搭建完毕，而在家居生态方面类苹果的居家系统自动化任务为AIOT产品提供更好的用户体验。此外我们预计25年小爱同学或拥有与苹果类似的AI搜索、梳理、摘要功能。来自海涵财经
公安备案号 51010802001128号