MiniMind-O Technical Report: An Open Small-Scale Speech-Native Omni Model
MiniMind-O 是一个 0.1B 参数的开源小型 omni 模型,支持文本/语音/图像输入并生成文本及流式语音输出。架构由完整 MiniMind backbone 作为 Thinker 和独立四层 Talker 组成,并集成 frozen 编码器处理音视频特征。论文同时发布 dense 和 MoE 变体的代码、检查点以及 text-to-audio、image-to-text、audio-to-audio 训练数据。在 Thinker-Talker 一致性评测中,dense/MoE 变体平均字符错误率约 0.0897/0.0900,整体声音克隆相似度约 0.5995/0.5937。作者提出小型 omni 模型的三大设计原则:中间层语义桥接、多模态序列格式与高效八-codebook 接口。
INSIGHT对于资源受限场景的多模态服务化具有参考价值:(1) 0.1B 规模即可跑通 Thinker-Talker 双塔的实时语音对话,给社区搜索做语音搜索/语音回答提供了可落地的小模型基线;(2) dense vs MoE 变体在同等训练数据下指标差距 <0.5%,说明 0.1B 规模 MoE 并未带来明显收益,infra 团队选型时不必盲目堆 expert;(3) 完整开源训练 parquet + 检查点 + 八-codebook 设计的稀缺组合,是 infra 同学搭建端到端语音 demo 时少见的 reproducible baseline;(4) 中间层语义桥接 + 流式 talker 的范式可借鉴到自研 ASR/TTS 集成链路。