红板报 on MSN12 小时
把注意力计算丢给CPU，大模型解码吞吐量提高1.76~4.99倍
Zhuoming Chen 投稿量子位 | 公众号 QbitAI CPU+GPU，模型KV缓存压力被缓解了。 来自CMU、华盛顿大学、Meta AI的研究人员提出MagicPIG，通过在CPU上使用LSH（局部敏感哈希）采样技术，有效克服了GPU内存容量限制的问题。 与仅使用GPU的注意力机制相比，MagicPIG在各种情况下提高了1.76~4.99倍的解码吞吐量，并在检索和推理任务中实现了更高的 ...
商业新知 on MSN8 小时
iQOO海外热销背后，“极致质价比”引领中国智造走向全球
出品 | 何玺 排版 | 叶媛 iQOO 13海外大卖! 据iQOO产品经理@戈蓝V日前披露，iQOO 13在海外多个国家销售火爆，成为海内外手机市场的新宠。 iQOO，这个诞生仅5年多的国产手机品牌，不仅在国内拥有庞大的用户群和市占率 ...