目前在工业界的实际应用场景中，有大量不同形态数据存在的场景，对这些数据联合应用与建模驱动业务，是研究界和工业界都异常关心的主题。多模式机器学习 (MMML) 是一个充满活力的多学科研究领域，它通过集成和建模多种交流模式（包括语言、声学和视觉信息）来解决人工智能的一些目标。CMU 11-777 是全球顶校卡内基梅隆开设的AI专项课程，课程以多模态（MMML）为主题，讲解基本数学概念、文本与图像等多种数据形态联合应用&建模的前沿知识与方法，并回顾最近描述 MMML 的最先进的概率模型和计算算法的论文，并讨论当前和即将面临的挑战。通过本课程的学习，大家可以了解到目前前沿研究下对多模态处理的方法。