MiniMax发长文回应“模型无法说出马嘉祺”
时间:2026-07-17 10:58:41 来源:东方网
5月9日,长文MiniMax官微发长文回应M2系列模型无法说出马嘉祺一事,模型马嘉提供了对“嘉祺识别”问题的无法完整排查过程和技术思考。
MiniMax表示,说出其从分词器版本对齐、长文embedding统计分布、模型马嘉语义近邻检索、无法预训练与后训练模型的说出few-shot对比实验、后训练数据频次统计以及对全词表lm_head变化幅度的长文排序扫描等多个维度进行了排查。最终定位到的模型马嘉原因是:“嘉祺”在分词器中被合并为一个独立token,但该token在后训练数据中出现频次极低,无法导致模型在后训练中逐渐遗忘了对该token的说出生成能力。
修复方案方面,长文MiniMax构造了一份覆盖全词表的模型马嘉合成数据,核心思想是无法:通过一个简单的复读任务,为全词表建立一个生成频率的“下限保障”,防止任何token因为完全缺失而退化。此外,MiniMax表示,将token覆盖度作为后训练数据质量的一项常规监控指标,可以在早期发现潜在的稀疏token退化风险,避免类似问题在线上复现。
相关内容
- ·第三届东北书博会5大展馆亮点纷呈
- ·厨艺赛场搭平台 巾帼服务暖人心——县妇联借力厨艺大赛开展惠民宣传活动
- ·5月10日上市公司晚间重要公告一览:汉邦高科子公司签27.83亿GPU合同,复星医药药品获欧美监管批准
- ·玉环明天入夏?真的!
- ·奢侈品牌MIU MIU多款产品被指也有“限购区”,杭州多个街道地址无法下单
- ·山东济南一烧肉店老板因儿子患病停业,退会员费被很多顾客拒绝,还有人继续充值,当事人:希望孩子情况平稳后,把店重新开起来
- ·湖南HPV疫苗接种“免费+惠民”为“她”护航
- ·新股消息 | 琻捷电子通过港交所聆讯 为中国最大的汽车无线传感SoC公司
- ·青岛连云港路小学配套工程,正式开工建设!
- ·沈阳男子为省10元停车费,将车停在空地没熄火!3天3夜烧完一箱油
- ·孙颖莎3比0战胜张本美和,再为中国队扳平大比分,决胜局王曼昱对阵早田希娜
- ·央媒看重庆|老影院变身社区文化空间 激发消费新活力
- ·劳动,最美的篇章——湖北交投襄阳运营公司职工的节日坚守
- ·途经合肥,这一重大工程即将投运!
- ·结束“漂流的噩梦”!“洪迪厄斯”号邮轮人员将乘机各自回国
- ·“榴莲自由”,真的要来了
最新内容
推荐内容
