针对于人工智能学生

1.1 线性代数（1 周）

核心知识点：线性空间、子空间、基与秩、正交、投影、线性变换、特征值/特征向量、谱分解、SVD、LU/QR 分解

练习：NumPy 实现 SVD → PCA 可视化；线性回归闭式解与梯度下降对比

资源建议：

• • [知识点] 线性空间与子空间：线性空间（向量加法、数乘）、子空间（列空间、行空间、零空间）、基与维数、线性相关与秩
• • [知识点] 正交结构与投影：内积、范数、Gram–Schmidt 正交化、正交投影、最小二乘法。
• • [知识点] 线性变换与矩阵表示：线性变换、矩阵表示、基变换、相似变换、核与像、条件数。
• • [知识点] 谱分解与矩阵性质：特征值与特征向量、对称矩阵（谱定理）、正定矩阵、二次型。
• • [知识点] 矩阵分解：LU 分解、QR 分解、奇异值分解 (SVD)、Kronecker 与 Hadamard 积。
• • [资源] 教材：《Linear Algebra Done Right》
• • [资源] 视频：3Blue1Brown 线性代数本质系列
• • [资源] 教材：《Linear Algebra and Learning from Data》
• • [资源] 教材：《Numerical Linear Algebra》

1.2 多元微积分（0.5 周）

核心知识点：偏导、梯度、Jacobian、Hessian、链式法则、泰勒展开、凸函数

练习：梯度下降二维可视化，牛顿法对比

资源建议：

• • [知识点] 多元函数与可微结构：多元函数、复合函数、偏导数、可微性、方向导数。
• • [知识点] 梯度、Jacobian 与 Hessian：梯度（最速下降）、Jacobian 矩阵、Hessian 矩阵（局部曲率、鞍点）。
• • [知识点] 多元泰勒展开：一阶与二阶局部逼近（梯度下降与牛顿法基础）。
• • [知识点] 凸函数：定义、一阶/二阶条件、局部极小即全局极小。
• • [知识点] 泛函分析：泛函、Hilbert 空间（核方法基础）。
• • [资源] 视频：多元函数可视化 (Khan Academy)
• • [资源] 教材：《Numerical Optimization》

1.3 概率与贝叶斯（0.5 周）

核心知识点：Kolmogorov 公理、条件概率、贝叶斯定理、随机变量、常见分布、MLE/MAP

练习：贝叶斯更新练习、参数估计模拟

资源建议：

• • [知识点] 概率体系：Kolmogorov 公理、条件概率、全概率公式、贝叶斯公式。
• • [知识点] 随机变量与联合结构：PMF/PDF/CDF、联合分布、边缘分布、条件分布、独立性与条件独立性。
• • [知识点] 期望、方差与协方差：期望、方差、协方差、协方差矩阵。
• • [知识点] 常见分布与参数估计：高斯、伯努利、指数族、最大似然估计 (MLE)、最大后验估计 (MAP)、共轭先验、贝叶斯推断。
• • [资源] 教材：普林斯顿概率论读本
• • [资源] 视频：随机变量概念解析 (Khan Academy)

1.4 信息论与熵（穿插）

核心知识点：熵、交叉熵、KL 散度、互信息

练习：交叉熵在分类损失中的使用与数值对比

资源建议：

• • [知识点] 熵与信息量：香农熵（不确定性度量）、联合熵、条件熵。
• • [知识点] 信息度量与散度：交叉熵（分类损失）、KL 散度（分布差异）、互信息 (I(X;Y))、数据处理不等式。
• • [资源] 文章：通俗理解信息熵、条件熵与信息增益

1.5 最优化理论与正则化（穿插）

核心知识点：凸优化、梯度下降族（SGD/Adam）、二阶方法、正则化（L1/L2）、早停

练习：比较不同优化器、实施 L1/L2 与早停观察泛化

资源建议：

• • [知识点] 优化问题与凸结构：凸优化、拉格朗日乘子法、KKT 条件。
• • [知识点] 基于梯度的一阶优化：梯度下降、动量法、Nesterov 加速梯度 (NAG)。
• • [知识点] 自适应一阶方法：AdaGrad、RMSProp、Adam。
• • [知识点] 二阶与拟牛顿法：Newton 法、BFGS 与 L-BFGS。
• • [知识点] 正则化与泛化：L1 正则化（稀疏性）、L2 正则化（权重衰减）。
• • [资源] 文章：梯度下降算法总结 (ruder.io)
• • [资源] 论文：《Adam: A Method for Stochastic Optimization》

1.6 多元统计分析（穿插）

核心知识点：PCA、LDA、ICA、t-SNE、UMAP

练习：PCA 与 t-SNE 在同数据集上的可视化对比

资源建议：

• • [知识点] 线性降维：主成分分析 (PCA)、线性判别分析 (LDA)、典型相关分析 (CCA)。
• • [知识点] 独立性与信号分离：独立成分分析 (ICA) 及其与 PCA 的区别。
• • [知识点] 非线性降维：t-SNE、UMAP（流形学习）。
• • [资源] 文章：PCA 算法详解
• • [资源] 论文：《Visualizing Data using t-SNE》

阶段项目（数学验收）：

PCA + 线性回归 pipeline（Notebook + 300 字理解总结）

2.1 机器学习基本概念

• • [知识点] 核心定义：监督学习（分类、回归）、无监督学习（聚类、密度估计）。
• • [知识点] 泛化与误差：泛化误差、经验误差、过拟合与欠拟合。
• • [知识点] 评估方法：留出法、k-折交叉验证法、自助法。
• • [知识点] 性能度量：均方误差、错误率/精度、查准率/查全率、ROC-AUC 曲线、F1 分数。
• • [资源] 教材：周志华《机器学习》
• • [资源] 视频：Andrew Ng《Machine Learning》课程

2.2 经典线性模型

• • [知识点] 线性回归：回归误差、均方和误差、最小二乘法（闭式解与梯度下降法）。
• • [知识点] 广义线性模型 (GLM)：线性的含义（对参数空间）。
• • [知识点] 逻辑斯蒂回归：Sigmoid 函数、概率解释、多分类（Softmax 回归）、交叉熵损失。
• • [资源] 教材：《Introduction to Statistical Learning》
• • [资源] 教材：《Pattern Recognition and Machine Learning》

阶段项目（机器学习验收）：

端到端应用（数据预处理→特征工程→模型比较→交叉验证）

3.1 PyTorch 基础与训练流水线

Tensor、Dataset、DataLoader、nn.Module、训练循环、保存/加载

练习：实现训练/验证循环并绘制训练曲线

3.2 神经网络与反向传播

感知机、激活函数、反向传播原理、自动微分

练习：手写小型反向传播实现（2 层）

资源建议：

• • [知识点] 神经元模型：感知机、激活函数（Sigmoid, Tanh, ReLU）及其特性。
• • [知识点] 前馈神经网络：多层感知机 (MLP)、向前传播、通用近似定理。
• • [知识点] 梯度反向传播 (Backpropagation)：参数学习、梯度下降、链式法则、自动微分。
• • [资源] 教材：《Neural Networks and Learning Machines》
• • [资源] 论文：《An Overview of Gradient Descent Optimization Algorithms》

3.3 深度训练实务（重要）

初始化、BatchNorm、Dropout、数据增强、优化器、学习率调度、微调策略、正则化

练习：Ablation 实验（逐项启停训练技巧）

资源建议：

• • [知识点] 数据预处理：数据增广（旋转、翻转、缩放等）、数据归一化。
• • [知识点] 参数初始化：核心原则（避免对称）、随机初始化、预训练初始化。
• • [知识点] 损失函数：回归损失（平方损失）、分类损失（交叉熵）、样本不均衡（Focal Loss）。
• • [知识点] 优化算法：BGD, SGD, Min-Batch GD、SGD+Momentum、Adam。
• • [知识点] 超参技巧：网格/随机搜索、学习率调整策略（衰减式、周期性）、网络层归一化（Batch Norm）。
• • [知识点] 模型微调 (Finetuning)：核心逻辑、微调策略（固定或微调不同层、小学习率）。
• • [知识点] 模型泛化：L1/L2 正则化、早停、随机失活 (Dropout)、标签平滑。
• • [资源] 论文：Batch Norm 原始论文
• • [资源] 论文：Adam 原始论文
• • [资源] 论文：Dropout 原始论文

3.4 卷积神经网络（CNN）

卷积、池化、感受野、经典网络（LeNet、AlexNet、VGG、ResNet、DenseNet）、可视化特征图

练习：在 CIFAR-10 上训练并对比网络架构

资源建议：

• • [知识点] CNN 基础：全连接局限性、局部连接、权值共享、平移不变性。
• • [知识点] CNN 核心组件：卷积层（滤波器、步幅、填充）、激活层 (ReLU)、池化层（Max/Avg Pooling）。
• • [知识点] 感受野 (Receptive Field)：定义、计算、与网络深度的关系。
• • [知识点] 经典 CNN 模型：LeNet-5、AlexNet、VGG、GoogLeNet (Inception)、ResNet (残差连接)、DenseNet (密集连接)。
• • [知识点] CNN 可视化：特征分层特性（浅层提取边缘纹理，深层提取高级语义）。
• • [资源] 论文：LeNet-5 原文
• • [资源] 论文：AlexNet 原文
• • [资源] 论文：ResNet 原文
• • [资源] 教程：PyTorch 微调 ResNet 实战

3.5 RNN/LSTM/Seq2Seq/Attention

时间展开、BPTT、LSTM/GRU、Seq2Seq 与注意力机制、CTC 简介（语音）

练习：字符级语言模型或情感分类微调

资源建议：

• • [知识点] RNN 基础：时间展开与参数共享、序列映射类型 (One-to-Many, Many-to-One 等)。
• • [知识点] 语言模型 (RNN-LM)：链式法则、困惑度 (Perplexity)、训练与生成。
• • [知识点] RNN 结构变体：双向 RNN (Bi-RNN)、深层 (堆叠) RNN。
• • [知识点] RNN 训练：随时间反向传播 (BPTT)、梯度消失与梯度爆炸、梯度裁剪。
• • [知识点] CTC (连接主义时序分类)：原理（引入 blank）、应用（语音识别）。
• • [知识点] 长程依赖与门控结构：长短时记忆网络 (LSTM)（遗忘门、输入门、输出门、细胞状态）、门控循环单元 (GRU)。
• • [资源] 论文：LSTM 原理论文 (Hochreiter & Schmidhuber, 1997)
• • [资源] 文章：Christopher Olah LSTM 直观讲解

3.6 Transformer 与 LLM 入门

Self-Attention、Multi-Head、位置编码、Encoder/Decoder、PEFT（LoRA）与微调流程

练习：Hugging Face 小模型微调 demo

资源建议：

• • [知识点] Seq2Seq 与注意力：Encoder-Decoder 框架、注意力机制 (Bahdanau/Luong)。
• • [资源] 论文：Attention 原理论文 (Bahdanau et al., 2014)

3.7 无监督深度学习 & 生成模型

自编码器、VAE、GAN、Diffusion（基础概念）

练习：去噪自编码器或小型 GAN 复现

资源建议：

• • [知识点] 无监督学习基础：核心任务（特征学习、密度估计、聚类）。
• • [知识点] 自编码器 (Auto-encoder)：基本结构 (Encoder-Decoder)、深度 AE、去噪 AE、卷积 AE。
• • [知识点] AE 特征解纠缠：使嵌入特征不同维度对应独立语义信息。
• • [知识点] AE 应用：生成与压缩、异常检测。
• • [资源] 论文：去噪自编码器论文

阶段性验收 I（深度学习） — 提交要求与评分细则见网站模板

• • 必须提交 Notebook、对比实验、500–800 字报告、模型权重
• • 评估：可复现性（30）、理论理解（20）、实验设计（30）、工程质量（20）
• • 通过条件：总分 ≥ 70 且可复现性项 ≥ 20

4.0 方向选择与学习路径（概览）

• • 方向 A：计算机视觉（图像处理 → 特征 → 检测/分割 → 深度视觉）
• • 方向 B：3D（mesh/voxel/point cloud/NeRF/3DGS）
• • 方向 C：生成式 AI 与 LLM（Transformer、GAN、VAE、Diffusion、LLM 训练/微调/PEFT/RLHF）
• • 方向 D：强化学习（MDP、DP、TD、DQN、PPO、SAC、Actor-Critic）

专项验收（II）提交物：

完整 Repo（代码、数据说明、训练脚本、推理脚本）、报告（800–1200 字）、演示（2 分钟视频/GIF）

评分（满分 100）：

• • 完整性（30）、性能/评估（30）、技术深度（20）、报告与演示（20）
• • 通过门槛 ≥ 75 且完整性项 ≥ 20

/project-name
  /data
  /notebooks
  /src
  requirements.txt
  README.md
  report.pdf
  model.pth