伊利诺伊州，2024年4月1日 —— 机器之心Pro专栏报道了一种由UIUC（伊利诺伊大学香槟分校）联合LMFlow团队提出的新型算法——LISA。该算法旨在显著降低大型机器学习模型的空间消耗，并在速度上实现了比LoRA快50%的突破，同时对深度网络和梯度检查点技术表现出了良好的兼容性。

LISA算法的核心优势在于其独特的权重更新机制，它选择性地更新模型底层和顶层的权重，而每次只更新少数中间的self-attention层。这种方法不仅提高了训练效率，还减少了模型的存储需求，对梯度检查点技术也非常友好，这对于优化大型模型的训练过程具有重要意义。

LMFlow团队已经将LISA算法集成到他们的系统中，并为研究人员和开发者提供了详细的安装和使用指南。这一进展为AI社区带来了新的工具，有助于推动大型模型在各种应用场景中的部署和发展。

主要技术元素：

1. LISA算法：由UIUC联合LMFlow提出，用于降低大模型的空间消耗。

2. 速度快于LoRA：LISA算法在速度上提升了50%。

3. 权重更新机制：更新底层和顶层权重，选择性更新self-attention层。

4. 梯度检查点技术：LISA算法对梯度检查点技术友好。

5. LMFlow集成：LMFlow团队集成了LISA算法，并提供了使用说明。

主要关键字：UIUC，LMFlow，LISA算法，大模型，空间消耗，LoRA，速度提升，权重更新，self-attention层，梯度检查点技术，集成，安装指南，AI社区，机器学习，深度网络。