当前训练大型语言模型的事实标准是直接使用 Adam 优化器对权重矩阵进行更新。尽管这一做法实现简单，但在计算上往往代价高昂，随着模型规模的扩大，其复杂度迅速增长。此外，该方法对超参数极为敏感，需精细调整以保证训练稳定收敛。