新浪中文网

手机浏览器扫描二维码访问

第1362章 字节豆包UraMem稀疏模型架构推理成本最高可降低83％（第1页）

在人工智能领域，随着模型规模的不断扩大，推理成本和访存效率已成为制约大模型广泛应用的关键瓶颈。传统方法如e（mixture

of

experts）虽然通过稀疏激活机制成功实现了计算和参数的解耦，但在推理场景下，其高昂的访存成本和较慢的速度却成为了不可忽视的问题。近日，字节跳动豆包大模型团队提出的ultramem架构，为这一难题提供了全新的解决方案，并在iclr

2025上得到了认可。本文将深入探讨ultramem的创新之处，以及它如何引领大模型推理的未来。

ultramem：高效推理的新纪元

ultramem是一种将计算和参数解耦的稀疏模型架构，它在保证模型效果的前提下，显着解决了推理时的访存问题。相较于e，ultramem在推理速度上实现了2-6倍的提升，推理成本最高可降低83%。这一突破性的成果，无疑为构建大规模语言模型（llm）提供了有力的支持。

在transformer架构下，模型的性能与其参数数量和计算复杂度密切相关。然而，随着llm规模的不断增大，推理成本急剧增加，速度变慢，成为制约其广泛应用的关键因素。e架构虽然通过稀疏激活机制降低了计算量，但在推理时，较小的batch

size会激活全部专家，导致访存急剧上升，推理延迟大幅增加。而ultramem则通过一系列创新设计，有效解决了这一问题。

ultramem的创新之处

ultramem的创新主要体现在三个方面：优化模型结构、优化va露e检索方式以及隐式扩展稀疏参数。

首先，在模型结构上，ultramem借鉴了pkm（product

key

mery）的设计，但对其进行了改进。pkm的mery

layer只有一层，插在整个transformer的中间层，这对大规模训练并不友好。ultramem则拆分出多个小mery

layer，以固定的间隔分布在transformer

layer中，并增加了skip-layer操作。这使得模型可以并行地执行mery

layer的访存操作和transformer

layer的计算，从而提高了推理效率。

其次，在va露e检索方式上，ultramem采用了更复杂的乘法方法tucker

deposed

query-key

retrieval（tdqkr）。这一方法受启发于tucker

deposition，通过组合乘加行score和列score，提高了va露e检索的复杂度，从而优化了模型效果。

最后，在隐式扩展稀疏参数方面，ultramem提出了implicit

va露e

expansion（ive）方法。该方法通过引入virtual

mery和physical

mery的概念，隐式地扩展了稀疏参数的数量，从而提高了模型的性能。同时，由于ive方法中没有非线性操作，因此可以与physical

mery

table进行融合，生成全新的mery

table，进一步降低了显存和部署成本。

ultramem的实验验证与性能评估

为了验证ultramem的有效性，研究团队在多个尺寸的激活参数上进行了广泛实验。实验结果表明，ultramem在680m和1.6b的激活参数上具有显着的效果优势。随着稀疏参数的增加，ultramem的效果和推理速度均表现出良好的扩展性。

此外，研究团队还进行了消融实验，以探究ultramem各项改进对模型性能的影响。实验结果表明，通过逐渐增加一些技巧和上文提出的结构改进，ultramem能够显着降低c4

validation

loss，同时稀疏参数和计算量几乎不变。

ultramem的应用前景与挑战

ultramem的提出，为开发更高效和可扩展的语言模型提供了一个有希望的方向。它不仅能有效地应用于对延迟要求较高的推理场景（如代码补全），还能在通用场景下展现出显着的速度优势。然而，ultramem的技术演进仍存在若干值得探索的方向。例如，如何高效优化稀疏参数、如何提升稀疏模型推理能力、如何更优地激活稀疏参数等，都是后续研究的重要切入点。

总的来说，ultramem作为一种全新的稀疏模型架构，通过一系列创新设计，成功解决了大模型推理时的访存问题，实现了推理速度和成本的双重突破。它的提出，不仅为构建大规模语言模型提供了有力的支持，也为人工智能领域的未来发展开辟了新的道路。我们期待看到更多像ultramem这样的创新成果不断涌现，共同推动人工智能技术的不断进步。

屈辱的修仙女配躁了  被贵妃配给太监当对食后  重生之我在大清当爹宝  疯批权臣他总装好人  大宋圣天子  柳条胡同我们是悍匪不讲武德  七岁审神领着残破本丸奔花丸  御兽：我让地球神兽重现异界  反清，从抢劫八国联军开始  灾厄国运：开局SSS级隐藏天赋  魔神大人不要再做师尊了  从捡个堕天使老婆开始学斩神  鸣潮：帝皇铠甲，合体！  穿书成了仙门内奸  随母改嫁后，兄长他蓄谋已久  渡劫失败后她在娱乐圈爆火了  女明星美又娇，刑警队长宠折腰  通房假死后，禁欲世子苦寻三年  被赶下山的我，自己建立家族  废土曙光：林羽的救赎征程