您的当前位置:首页>科技咨询>资讯详情

月之暗面:很早就验证过长思维链,因成本高不够

发表于:2025-02-17 11:00:04 浏览:23次 发布者: 网易互联网

三言科技 2月17日消息,上个月Kimi 发布的多模态推理模型k1.5,今日月之暗面官方分享了k1.5模型诞生的过程。

月之暗面研究员Flood Sung表示,去年9月12号OpenAI o1发布,长思维链(推理模型背后的关键技术)的有效让他陷入反思。

因为长思维链的有效性其实在一年多前就已经知道了,月之暗面Kimi联合创始人Tim周昕宇很早就验证过,使用很小的模型,训练模型做几十位的加减乘除运算,将细粒度的运算过程合成出来变成很长的思维链数据做监督微调,就可以获得非常好的效果。“我依然记得当时看到那个效果的震撼。”

“我们意识到长上下文的重要性,所以率先考虑把文本搞长,但却对长思维链这件事情不够重视。其实主要还是考虑了成本问题。”他表示,长上下文主要做的是长文本输入,有Prefill预填充,有Mooncake加持,成本速度可控,而长思维链是长文本输出,成本高很多,速度也要慢很多。在这种情况下,把输出搞长就没有成为一个高优选项。

该研究员称还有什么比性能更重要呢?成本和速度有摩尔定律加持,可以不断下降,只要把性能搞上去,剩下的都不是主要问题。“所以,我们得搞长思维链,搞 o1。”

他还提到在实际训练的过程中有了重要的发现:模型会随着训练提升性能也不断增加token数,也就是这是RL训练过程中模型可以自已涌现的,“这个和友商 Deepseek的发现几乎是一样的。”

猜你喜欢

抖音生活服务:一季度处置近4.5万违规商家
抖音生活服务:一季度处置近4.5万违规商家
发表于:2025-05-22 浏览:16 发布者: 网易互联网
饿了么、飞猪加入阿里中国电商事业群
饿了么、飞猪加入阿里中国电商事业群
发表于:2025-06-23 浏览:8 发布者: 网易互联网
东方国信中标头部互联网公司智算中心项目
东方国信中标头部互联网公司智算中心项目
发表于:2025-02-06 浏览:31 发布者: 网易互联网
外媒:Meta正与Scale AI谈判超百亿美元投资
外媒:Meta正与Scale AI谈判超百亿美元投资
发表于:2025-06-09 浏览:15 发布者: 网易科技
视觉周刊|打造上海互联网优质内容创作集聚区
视觉周刊|打造上海互联网优质内容创作集聚区
发表于:2025-07-21 浏览:5 发布者: 网易互联网
2025第八届全球跨境电商节将于6月16日在深圳举
2025第八届全球跨境电商节将于6月16日在深圳举
发表于:2025-03-12 浏览:19 发布者: 网易互联网
苹果或从2027年开始大量出货智能眼镜 AI眼镜万
苹果或从2027年开始大量出货智能眼镜 AI眼镜万
发表于:2025-07-03 浏览:10 发布者: 网易科技
“京东超级18”为百亿顶流助威 18元抢购哪吒热
“京东超级18”为百亿顶流助威 18元抢购哪吒热
发表于:2025-02-17 浏览:23 发布者: 网易互联网
Vibe Agent: Token成本直降90%,会对话就能创造
Vibe Agent: Token成本直降90%,会对话就能创造
发表于:2025-04-02 浏览:18 发布者: 网易互联网
阿里要面子,苹果要里子
阿里要面子,苹果要里子
发表于:2025-02-12 浏览:24 发布者: 网易互联网