01 多模态学习导论与基础

理论：

• 多模态研究介绍：探讨多模态学习的核心概念、重要性以及当前面临的主要研究与技术挑战。

• 课程大纲与要求：详细解读课程的整体结构、学习目标、评分标准以及学员的期望。

• 多模态应用场景：展示多模态技术在各个领域的实际应用案例，如情感分析、智能问答、内容生成等。

• 常用数据集概览：介绍多模态研究中常用的公开数据集及其特点。

• 团队项目介绍：说明课程项目的目标、分组方式、时间节点和预期成果。

• 机器学习基础回顾：补充或复习贝叶斯定理、最大似然估计 (ML) 等核心机器学习概念，为后续学习打下基础。

实践：

环境配置；贝叶斯分类器实践；多模态数据集探索；团队项目初步规划

02 神经网络基础与优化

理论：

• 数据表示基础：学习语言（如词向量）、视觉（如像素、特征描述子）和音频（如声谱图）数据的基本表示方法。

• 损失函数：介绍常用的损失函数（如交叉熵损失、均方误差损失）及其在不同任务中的选择。

• 神经网络入门：讲解多层感知机 (MLP)、激活函数等神经网络基本构成单元。

• 梯度与反向传播：深入理解梯度下降法和反向传播算法的原理与计算过程。

• 深度模型优化实践：探讨学习率调整、正则化、Batch Normalization、Dropout 等常见的深度学习模型优化技巧和策略。

实践：

深度学习框架入门；MLP 搭建与训练；优化器与超参数实验；过拟合与欠拟合观察

03 单模态与多模态表示学习

理论：

• 视觉单模态表示 - CNN：学习卷积核、卷积操作的原理，掌握卷积神经网络 (CNN) 的基本架构。

• 高级 CNN 架构：了解残差网络 (ResNet) 和跳跃连接 (Skip Connection) 的设计思想及其解决的问题。

• 语言单模态表示 - RNN/LSTM：学习门控循环单元 (GRU) 和长短期记忆网络 (LSTM) 的内部结构与工作原理。

• 时间反向传播 (BPTT)：理解 BPTT 算法在训练循环神经网络时的应用。

• 多模态自编码器：介绍如何使用自编码器学习数据的多模态表示。

• 联合表示方法 (Joint Representations)：探讨将不同模态信息映射到共享表示空间的基本策略。

实践：

CNN 特征提取；LSTM/GRU 文本分类；词向量初步探索；简单多模态自编码器

04 多模态协同表示与对齐

理论：

• 协同表示方法 - DCCA：学习深度典型相关分析 (Deep Canonical Correlation Analysis, DCCA) 如何学习跨模态的协同表示。

• 协同表示方法 - NMF：了解非负矩阵分解 (Non-negative Matrix Factorization, NMF) 在多模态数据融合中的应用。

• 显式对齐 - DTW：掌握动态时间规整 (Dynamic Time Warping, DTW) 算法原理及其在序列对齐中的应用。

• 隐式对齐 - 注意力机制：深入学习注意力机制 (Attention Mechanism) 的基本原理及其在多模态任务中的重要性。

• 多头注意力 (Multi-Head Attention)：理解多头注意力如何从不同子空间捕获信息。

• 多模态 Transformer：学习如何将 Transformer 架构扩展到多模态数据处理，实现模态间的对齐与融合。

实践：

DTW 算法实现与应用；注意力机制可视化与理解；Transformer Encoder/Decoder 模块探索；简单 NMF 应用

05 大模型初探

理论：

• 大模型基础架构：介绍当前主流大语言模型 (LLM) 的核心架构特点，如 Transformer 的 Encoder-Decoder 结构、Decoder-only 结构等。

• 主流大模型概览：简要介绍几个知名的大模型（如 GPT 系列、BERT 系列、T5 等）及其主要贡献和应用领域。

实践：

Git 与协作工具使用；大模型 API 体验；Prompt Engineering 初探

06 多模态对齐、翻译与图模型

理论：

• 对齐与翻译 - 模块化网络：学习如何通过模块化设计构建灵活的多模态翻译和对齐模型。

• 基于树与堆栈的模型：探讨树形结构和堆栈机制在处理层级化或结构化多模态数据（如场景图、程序代码）中的应用。

• 概率图模型 (PGM) - 动态贝叶斯网络 (DBN)：介绍 DBN 的基本概念及其在建模时序多模态数据中的应用。

• 耦合与因子隐马尔可夫模型 (CHMM/FHMM)：学习 CHMM 和 FHMM 如何处理多个相互依赖的模态序列。

• 判别式图模型 - 条件随机场 (CRF)：掌握 CRF 的原理及其在序列标注和结构化预测任务中的优势。

• 连续与全连接 CRF：了解 CRF 在连续数据和稠密连接场景下的扩展。

实践：

CRF 序列标注实践；PGM 库入门 (pgmpy)；HMM 应用于简单序列

07 深度生成模型与强化学习

理论：

• 深度生成模型 - 变分自编码器 (VAE)：学习 VAE 的原理、目标函数（ELBO）以及如何生成新的数据样本。

• 深度生成模型 - 生成对抗网络 (GAN)：掌握 GAN 的基本思想、生成器与判别器的博弈过程以及常见的训练挑战。

• 强化学习 (RL) 基础 - 马尔可夫决策过程 (MDP)：理解 MDP 的组成要素（状态、动作、奖励、转移概率）。

• Q 学习与深度 Q 学习 (DQN)：学习基于价值的 RL 方法 Q-learning 及其与深度学习结合的 DQN。

• 策略梯度 (Policy Gradients)：了解基于策略的 RL 方法，如 REINFORCE 算法。

• 多模态强化学习应用场景：探讨 RL 在多模态交互、机器人控制、对话系统等领域的应用。

实践：

VAE 实现与样本生成；GAN 概念验证；Q-Learning 实践 (Grid World)；DQN 概念介绍与代码阅读

08 多模态融合、前沿进展与具身智能

理论：

• 融合与协同学习 - 多核学习 (MKL)：介绍 MKL 如何有效地组合来自不同模态或特征源的核函数进行融合。

• 少样本学习 (Few-Shot Learning)：探讨在数据稀疏的多模态场景下，如何利用少样本学习技术提升模型性能。

• 协同学习 (Co-learning/Co-training)：了解协同学习如何利用不同视图或模态的信息相互增强学习效果。

• 多模态最新研究方向：概览当前多模态学习领域的前沿进展，如可解释性、鲁棒性、高效学习等。

• 具身语言理解 (Embodied Language Understanding)：探讨如何将语言理解与物理世界的感知和动作联系起来，实现具身智能。

实践：

少样本学习代码示例；多模态融合策略讨论与实现

09 多模态语言学习、跨模态连接与伦理

理论：

• 多模态启发式语言学习：探讨如何利用环境、视觉等非语言模态信息启发和辅助语言模型的学习。

• 图文连接学习 - 话语分析：学习如何分析文本中的话语结构，并将其与视觉内容进行深层次关联。

• 图文连接学习 - 图文融合：探讨更高级的图像和文本融合技术，以实现更精准的跨模态理解与生成。

• 偏见与公平性：讨论多模态模型中可能存在的偏见来源（数据、算法等）及其社会影响。

• 计算伦理学：介绍在开发和部署多模态 AI 系统时需要考虑的伦理原则和最佳实践，确保技术的负责任发展。

• 课程总结与展望：回顾课程主要内容，展望多模态学习的未来发展趋势。

实践：

多模态模型偏见分析实践；AI 伦理案例研讨；课程回顾与未来学习路径规划