腾讯姚顺雨团队深夜回应一切:算力不足、模型刷榜、雷霆大思考
智东西 作者 毕伟豪 编辑|李水青 智东西11月21日报道,今天凌晨, 腾讯混元团队 在社交媒体平台Reddit举行了一场AMA活动,与全球开发者 围绕Hy4系列模型展开交流 。 姚顺雨也出现在了评论区 ,只是哪个是他的马甲我们不得而知。 ▲姚顺雨在X预告本次Reddit AMA活动(图源:X) 此次AMA处于一个非常有趣的时间点。 就在昨天,腾讯刚刚 开放旗舰模型Hy4的权重 ,并发布了模型安全评估卡片(System Card)。此前几天,腾讯还推出了主打低成本、高效率的Hy4 flash,接连两款模型的发布,让腾讯混元的技术路线成为社区关注的焦点。 与此同时,AI行业的竞争也在发生变化。近期,第三方 模型评测机构Artificial Analysis 大幅调整评测体系,部分中国模型的评分出现波动。在高端算力获取受限、全球前沿模型持续迭代的背景下, 中国模型如何缩小与顶尖模型的差距 ,也成为开发者关心的问题。 智东西也参与了此次AMA,并向腾讯混元团队提出了问题: 随着先进AI芯片的获取受到越来越多限制,腾讯Hy模型未来能否继续缩小与全球前沿模型的差距? 腾讯混元团队成员回应称:“ 我们正在尽可能充分地利用现有资源,以追赶前沿水平 。” ▲混元团队回答智东西提问(图源:智东西) 除了算力问题,腾讯混元团队还在这场交流中透露了不少新信息。 在模型规模方面,混元团队明确表示, 下一代Hy模型将进一步扩大参数规模 ,同时继续投入大规模强化学习。 对于更小的模型 ,该团队透露,Flash-Lite、面向24GB显存设备的模型等产品正在规划之中。 技术层面,腾讯还首次在此次交流中披露了Hy4的一些 架构选型细节 。团队曾在GQA和MLA两种注意力机制之间反复权衡,最终由于DSA降低了MLA在解码阶段的计算开销,才决定采用MLA架构。 此外,对于 模型评测、安全限制、AI编程生态,以及模型能否实现递归自我改进(RSI) 等问题,腾讯Hy团队也给出了回应。 Hy4是腾讯最新一代旗舰模型,重点强化长程软件工程、工具调用、视觉理解和科研等能力。Hy4 flash则进一步优化推理成本,总参数量为224B,包含64B Engram参数,每Token仅激活12B参数。 根据腾讯披露的数据,在自建日常工作任务评测WorkIndex中, Hy4 flash的单任务成本仅为Hy4的1/20 。在涉及85名内部用户、259项工作任务的盲测中,其 单任务成本约为0.26元 。 不过,Hy4在部分高难度任务上仍与全球顶尖闭源模型存在差距。如何 在有限算力下继续提升模型能力 ,同时兼顾推理成本、产品体验和开源生态,仍是混元团队需要面对的问题。 以下是智东西从此次AMA中整理的重点内容,为了方便阅读,我们做了不改变原意的整理: 完整问答地址: https://www.reddit.com/r/LocalLLaMA/comments/1y15w4a/tencent_hy_team_shunyu_yao_here_ask_us_anything/ 一、用有限算力追赶前沿,下一代模型将大幅扩容,小尺寸模型在路上 (1)智东西提问: 随着先进AI芯片的获取日益受限,腾讯Hy目前面临的最大瓶颈是什么?是算力、训练效率,还是算法?未来Hy系列模型能否继续缩小与全球顶尖模型之间的差距? 腾讯混元:我们正在尽可能充分地利用现有资源,以追赶前沿水平。 (2)网友提问: 未来Hy4.5是否计划将模型参数规模扩大至1.5万亿至2万亿? 腾讯混元: 下一代Hy模型肯定会进一步大幅扩大规模。 (3)网友提问: 你们认为当前Hy系列模型已经接近能力上限了吗?未来更强的模型是否必须增加参数量,还是可以保持现有规模,通过后训练进一步提升能力? 腾讯混元: 我们相信Hy4仍然有很大的提升空间,尤其是在后训练方面。我们正在大力投入大规模强化学习(RL),同时持续改善用户体验和模型安全性。敬请期待后续更新。我们还 计划训练规模更大的模型 。 我们坚信Scaling的重要性,并将继续坚持这一方向 。 (4)网友提问: 字节跳动、Kimi等公司似乎正在向3T甚至5T参数的超大规模模型进军,而腾讯Hy系列仍处于700B左右的规模。为什么选择这样的路线?你们如何看待参数量对模型智能水平的影响?未来是否计划进一步扩展模型规模? 腾讯混元: Hy3和Hy4已经证明, 规模较小但训练扎实的模型往往也能超越更大的模型 。更重要的是,小尺寸模型的成本更低,而且在研发过程中,我们还能学到更多、积累更多经验。 (5)综合多位网友提问: 腾讯未来是否会推出Hy4-mini,以及24B—31B规模的稠密模型?是否有计划推出能够在24GB显存、64GB—128GB内存设备上运行的小尺寸模型?对于100B参数以下、专门面向编程任务
觉得有用?分享给朋友
让更多人看到这篇内容