您的当前位置:首页>科技咨询>资讯详情

月之暗面:很早就验证过长思维链,因成本高不够

发表于:2025-02-17 11:00:04 浏览:27次 发布者: 网易互联网

三言科技 2月17日消息,上个月Kimi 发布的多模态推理模型k1.5,今日月之暗面官方分享了k1.5模型诞生的过程。

月之暗面研究员Flood Sung表示,去年9月12号OpenAI o1发布,长思维链(推理模型背后的关键技术)的有效让他陷入反思。

因为长思维链的有效性其实在一年多前就已经知道了,月之暗面Kimi联合创始人Tim周昕宇很早就验证过,使用很小的模型,训练模型做几十位的加减乘除运算,将细粒度的运算过程合成出来变成很长的思维链数据做监督微调,就可以获得非常好的效果。“我依然记得当时看到那个效果的震撼。”

“我们意识到长上下文的重要性,所以率先考虑把文本搞长,但却对长思维链这件事情不够重视。其实主要还是考虑了成本问题。”他表示,长上下文主要做的是长文本输入,有Prefill预填充,有Mooncake加持,成本速度可控,而长思维链是长文本输出,成本高很多,速度也要慢很多。在这种情况下,把输出搞长就没有成为一个高优选项。

该研究员称还有什么比性能更重要呢?成本和速度有摩尔定律加持,可以不断下降,只要把性能搞上去,剩下的都不是主要问题。“所以,我们得搞长思维链,搞 o1。”

他还提到在实际训练的过程中有了重要的发现:模型会随着训练提升性能也不断增加token数,也就是这是RL训练过程中模型可以自已涌现的,“这个和友商 Deepseek的发现几乎是一样的。”

猜你喜欢

外媒怒赞新Mac mini:基础版是最具价值产品之一
外媒怒赞新Mac mini:基础版是最具价值产品之一
发表于:2024-11-09 浏览:54 发布者: CNMO
淘宝持续净化营商环境,恶意店群、羊毛党都是重
淘宝持续净化营商环境,恶意店群、羊毛党都是重
发表于:2025-03-11 浏览:23 发布者: 网易互联网
昆仑万维SkyReels团队发布并开源SkyReels-V2 支
昆仑万维SkyReels团队发布并开源SkyReels-V2 支
发表于:2025-04-21 浏览:17 发布者: 网易互联网
重庆掀“跨境电商热”
重庆掀“跨境电商热”
发表于:2024-12-24 浏览:29 发布者: 网易互联网
特朗普坚持征收关税 周一美科技股剧烈震荡
特朗普坚持征收关税 周一美科技股剧烈震荡
发表于:2025-04-08 浏览:17 发布者: 网易IT
美团、京东“二选一”争端持续升级 外卖市场激
美团、京东“二选一”争端持续升级 外卖市场激
发表于:2025-04-22 浏览:17 发布者: 网易互联网
X平台遭网络攻击系乌克兰一手策划?马斯克最新
X平台遭网络攻击系乌克兰一手策划?马斯克最新
发表于:2025-03-11 浏览:19 发布者: 网易互联网
4天入账24.8万,DeepSeek培训热背后
4天入账24.8万,DeepSeek培训热背后
发表于:2025-02-10 浏览:30 发布者: 网易互联网
真招实招,服务新就业群体(大数据观察)
真招实招,服务新就业群体(大数据观察)
发表于:2025-07-09 浏览:7 发布者: 网易互联网
2024亚马逊研究奖获奖名单:张崇杰、魏华等人入
2024亚马逊研究奖获奖名单:张崇杰、魏华等人入
发表于:2024-12-23 浏览:51 发布者: 网易互联网