由于Mamba作者都是学者，搞不来数千个GPU来训练GPT-4大小的模型，因此实验是通过训练一堆较小的模型（大约125M到1.3B参数）来进行比较的。

颠覆Transformer霸权，CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍 ...

把Llama 3蒸馏到Mamba，推理速度最高可提升1.6倍！ 而且性能不减，甚至表现比原始模型还要优异。 这是来自Together AI的新作，通过蒸馏将Transformer和 ...