由于Mamba作者都是学者，搞不来数千个GPU来训练GPT-4大小的模型，因此实验是通过训练一堆较小的模型（大约125M到1.3B参数）来进行比较的。

原作者带队的 Mamba 2 来了，新架构训练效率大幅提升》。 而要将 Mamba 与 Transformer 混合到一起，常见的方式有两种：层级混合与序列级混合。

把Llama 3蒸馏到Mamba，推理速度最高可提升1.6倍！ 而且性能不减，甚至表现比原始模型还要优异。 这是来自Together AI的新作，通过蒸馏将Transformer和 ...