介绍
![](https://www.aqwu.net/wp/wp-content/uploads/2024/07/图片-1024x445.png)
MatMul-Free LM 是一种语言模型架构,无需矩阵乘法 (MatMul) 运算。此存储库提供了与 🤗 Transformer 库兼容的 MatMul-Free LM 实现。
缩放定律
![](https://www.aqwu.net/wp/wp-content/uploads/2024/07/图片-1-1024x512.png)
我们评估了缩放定律如何拟合 Transformer++ 和我们的模型中的 370M、1.3B 和 2.7B 参数模型。为了公平地比较,每个操作的处理方式都相同,尽管我们的模型在某些层中使用了更有效的三元权重。有趣的是,与 Transformer++ 相比,我们模型的缩放预测表现出更陡峭的下降,这表明我们的架构在利用额外的计算来提高性能方面更有效。
github: https://github.com/ridgerchu/matmulfreellm
论文:[2406.02528] Scalable MatMul-free Language Modeling (arxiv.org)