在2024年全球开发者先锋大会的大模型前沿论坛上，上海人工智能实验室领军科学家林达华分享了他对大模型发展的深刻见解。

林达华指出，大模型的上下文长度正在快速增长，这为解锁新的应用场景提供了可能。

随着上下文长度的增加，推理计算的代价也变得高昂，因为上下文本身并不对信息进行压缩，也无法直接捕捉深层的知识和规律。

林达华强调，大规模生产高质量数据是大模型研发机构的核心竞争力。

目前，主流的大模型都建立在Transformer架构的基础上，但产业界和学术界正在不断探索更高效的架构。

随着这些新架构的验证逐渐成功，未来它们将慢慢进入产业界，带来模型架构的新黄金期。

在训练数据方面，林达华提到，高质量的数据对模型的能力和天花板有着重要的正面影响。

他指出，好的数据需要具有多样性，因为单一数据可能对模型性能产生破坏性影响。

此外，多模态融合将成为重要的技术趋势，但技术探索仍在进行中。

多模态模型的训练不仅要考虑语言，还要考虑图像和视频的分辨率，这为架构研究带来了创新空间。

林达华还提到，智能体的发展需要建立在一个坚实的基础模型之上，这个基础模型需要具备强大的指令跟随能力、

理解能力、反思能力和执行能力。在计算环境方面，随着芯片技术进入后摩尔定律时代，算力将通过体量的拓展来实现增长，而能源将成为最终的瓶颈。

最后，林达华表示，随着端侧算力的快速增长，优秀的模型将越来越小型化，能够直接在手机上运行，预示着端侧即将迎来黄金增长期，

云端协同将成为未来的重要趋势。

这些观点为大模型的未来发展提供了清晰的方向，并强调了在数据、架构、多模态、智能体和计算环境等方面的创新和进步的重要性。