加利福尼亚，2024年4月 —— 数据管理和仓库提供商Snowflake宣布加入大型语言模型（LLM）的竞争，发布了一款专注于企业级应用的顶级大型语言模型——Snowflake Arctic。该模型在企业任务方面表现出色，如SQL生成、编程和指令遵循，且训练成本远低于其他模型，为企业提供了经济高效的AI解决方案。

Snowflake Arctic模型的特点包括：

1. 高效智能：Arctic在企业任务中的表现可与使用更高计算成本训练的开源模型媲美，为训练设定了新的基线。

2. 开源开放：采用Apache 2.0许可，提供对权重和代码的开放访问，并开源所有数据方案和研究发现。

3. 高性能、低成本：Arctic在保持整体性能竞争力的同时，训练计算成本低于200万美元，使用不到3000个GPU周。

4. 独特架构：采用Dense-MoE混合transformer架构，结合10B的密集transformer模型与128x3.66B的残差MoE MLP，共480B参数和17B活跃参数。

5. 训练效率：通过MoE专家数量的增加、架构与系统的协同设计，以及聚焦企业数据的课程学习，Arctic实现了高训练效率。

6. 推理效率：在小批量交互推理中，Arctic展现出更快的推理速率；在大批量前向传递中，其计算量是其他模型的1/4。

7. 合作优化：与NVIDIA合作，针对NVIDIA NIM微服务进行推理优化，并与vLLM社区合作，实现Arctic的高效推理。

Snowflake的研究团队还表示，Arctic的上下文窗口目前设置为4K，正在研发基于注意力池的滑动窗口实现，以支持无限序列生成，并计划将注意力窗口扩展到32K。

主要技术元素：

1. Snowflake Arctic

2. 企业级应用

3. 高效智能

4. 开源开放

5. 高性能、低成本

6. Dense-MoE混合transformer架构

7. 训练效率

8. 推理效率

9. 合作优化

10. 注意力池的滑动窗口实现

主要关键字：Snowflake, Arctic, LLM, 企业智能, 开源模型, 低成本训练, 高性能, Dense-MoE, transformer架构, 推理效率, NVIDIA, vLLM社区, 注意力池, 滑动窗口, 无限序列生成。