豆包提出全新稀疏架构 推理成本较MoE最高可降83%
文 / 风致
2025-02-12 12:44:36
来源:亚汇网
【豆包提出全新稀疏架构 推理成本较MoE最高可降83%】 随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期，字节跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍，推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。实验结果表明，训练规模达2000万value的UltraMem模型，在同等计算资源下，可同时实现业界领先的推理速度和模型性能，为构建数十亿规模value或expert开辟了新路径。
更多行情分析及广告投放合作加微信: hollowandy
本文地址: https://www.yahuinews.cn/stock/zhibo/3847564-1.htm，转载请注明出处。
分享到：
【免责声明】本文仅代表作者本人观点，与亚汇网无关，且不构成任何投资建议，仅供参考，并自行承担全部风险与责任。本站部分文章信息来源于自由投稿人或网络转载，出于传递更多信息之目的，如对文章内容有疑议或侵权，请及时与我们联系处理。
