考点权重（基于课件结构与 2022 真题推断）非课件内容

考点路线图 整理导图

第 1 章 · 计算机视觉概述（Lect01）

1.1 人类视觉系统

• 视觉通路：visual field → retina → optic nerve → optic tract → visual cortex
• 83% 的信息来自视觉（11% 听觉，其余嗅觉/触觉/味觉）
• 视觉任务分三层：视觉感知 (sensation) → 视觉知觉 (perception) → 视觉运动协调 (visuomotor coordination)
• 视觉知觉是认知活动，与纯光学过程（如摄影）有本质区别。相机没有知觉能力。

1.2 计算机视觉定义

Computer vision deals with: acquiring, processing & analyzing, understanding, generating or imagining visual data — and providing visual feedback for embodied agents.

1.3 视觉数据获取

还包括 RGB video、RGBD video、全景图像等。

1.4 CV 三层次任务

1.5 视觉与图形学

第 2 章 · 经典视觉 I — 边缘检测（Lect02）

2.1 图像作为函数

• 图像 $f = f(x, y)$：将像素坐标映射到亮度值。
• 图像梯度：$\nabla f = (\frac{\partial f}{\partial x}, \frac{\partial f}{\partial y})$，指向亮度变化最剧烈的方向。
• 实践中用有限差分近似梯度：$\frac{\partial f}{\partial x} \approx f(x+1, y) - f(x, y)$

2.2 滤波器与卷积

• 线性滤波器 $\mathcal{G}$ 满足叠加性：$\mathcal{G}(\alpha f_1 + \beta f_2) = \alpha\mathcal{G}(f_1) + \beta\mathcal{G}(f_2)$
• 线性滤波 = 卷积：$h[n] = (f * g)[n]$
• 卷积定理：$\mathcal{F}(f * g) = \mathcal{F}(f)\mathcal{F}(g)$
• 矩形窗（移动平均）→ $\mathcal{F}$ 在 0 附近集中 → 低通滤波器 → 平滑效果

2.3 高斯滤波器

1D: $g(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{x^2}{2\sigma^2})$，其傅里叶变换仍为高斯 → 低通滤波器。

• $\sigma$ 越大，$\mathcal{F}(g)$ 越尖锐 → 更强平滑 → 更多高频被滤除
• $\sigma \to 0$，$\mathcal{F}(g)=1$ → 无滤波

2.4 Canny 边缘检测全流程

边缘的成因

• 深度不连续 (depth discontinuity)：物体边界处深度突变
• 表面朝向不连续 (surface orientation discontinuity)：法向量突变
• 表面颜色不连续 (surface color discontinuity)：纹理/材质边界
• 光照不连续 (illumination discontinuity)：阴影边界

最优边缘检测的四项准则

Canny 五步法：

1. 高斯平滑：用高斯滤波器卷积，去噪。利用卷积的导数定理：$\frac{\partial}{\partial x}(f * g) = f * \frac{\partial g}{\partial x}$，可一步完成平滑+求导。
2. 计算梯度幅值和方向：幅值 $|\nabla f|$，方向 $\theta = \arctan(f_y/f_x)$
3. 非极大值抑制 (NMS)：沿梯度方向比较相邻像素，只保留局部最大值，将多像素宽的"脊"细化为单像素宽。
4. 滞后阈值化 (Hysteresis Thresholding)：高阈值 $T_{\text{high}}$ 启动边缘，低阈值 $T_{\text{low}}$ 延续边缘。$|g| > T_{\text{high}}$ 保留；$|g| < T_{\text{low}}$ 丢弃。
5. 边缘连接 (Edge Linking)：沿边缘方向检查相邻像素，若梯度方向在同一 bin 且幅值 > $T_{\text{low}}$ 且通过 NMS，则标记为边缘。

2.5 平滑与定位的权衡

更大的 $\sigma$ 带来更强的去噪能力，但同时模糊边缘 → 定位精度下降。需要在不同尺度上检测边缘。

第 3 章 · 经典视觉 II — 直线拟合与角点检测（Lect03）

3.1 卷积 vs 相关

3.2 Padding

• 目的：防止空间尺寸缩小；保留边缘像素信息。
• Zero padding：边界外填 0。
• Replicate padding：复制最近的边界像素。

3.3 im2col + GEMM

实践中卷积通过矩阵乘法高效实现：

1. Kernel flattening：卷积核展平为行向量 ($1 \times K^2$)
2. im2col：将输入的每个滑动窗口展平为列向量 ($K^2 \times N_{\text{out}}$)
3. GEMM：矩阵乘法 $(1 \times K^2) \times (K^2 \times N_{\text{out}}) \to 1 \times N_{\text{out}}$
4. Reshape：恢复为输出特征图尺寸

3.4 直线拟合：最小二乘法与 SVD

直线一般方程 $ax + by + d = 0$，对 $n$ 个点构造矩阵 $A_{n\times 3}$，求解 $\min_{\|h\|=1} \|Ah\|^2$，其中 $h = [a, b, d]^T$。

3.5 RANSAC（随机采样一致性）

核心思想：找到拥有最多内点 (inliers) 的模型。

3.6 Harris 角点检测

角点的关键性质：在角点周围区域，图像梯度有两个或更多主导方向。

核心思想：滑动窗口，观察窗口内亮度变化。

关键点 (Keypoint) 的四项要求

• 显著性 (Saliency)：该点在图像中具有独特、有趣的结构
• 可重复性 (Repeatability)：同一场景的不同图像中，同一点应被独立检测到
• 精确定位 (Accurate Localization)：检测位置与真实位置偏差小
• 数量充足 (Sufficient Quantity)：一张图中能检测到足够多的关键点以支撑后续任务

• Flat 区域：所有方向无变化
• Edge 区域：沿边缘方向无变化
• Corner 区域：所有方向都有显著变化

能量函数

移动 $(u,v)$ 后窗口内平方差之和：

$E(u,v) = \sum_{(x,y)\in N} [I(x+u, y+v) - I(x,y)]^2$

利用一阶泰勒展开 $I(x+u,y+v) - I(x,y) \approx I_x u + I_y v$：

$E(u,v) \approx [u, v] \; M \; \begin{bmatrix}u\\v\end{bmatrix}$

其中 $M = \begin{bmatrix} \sum I_x^2 & \sum I_x I_y \\ \sum I_x I_y & \sum I_y^2 \end{bmatrix}$（或使用高斯加权：$M = \begin{bmatrix} g(I_x^2) & g(I_x I_y) \\ g(I_x I_y) & g(I_y^2) \end{bmatrix}$）

角点响应函数

物理意义：$\det(M) = \lambda_1\lambda_2$ 衡量两个方向变化都大；$\text{tr}(M)^2 = (\lambda_1+\lambda_2)^2$ 惩罚只有一个方向变化大的情况。

等变性

• Harris 角点响应 $\theta$ 对平移和旋转具有等变性 (equivariance)。
• 平移等变性来源：卷积本身是平移等变的。
• 旋转等变性来源：高斯核 $g_\sigma$ 是各向同性的（旋转不变），从而使卷积旋转等变。
• 不具有尺度不变性：放大后角点可能变成边缘。

第 4 章 · 深度学习 I — MLP 基础（Lect04）

4.0 等变性与不变性（续 Lect03）

4.1 经典 CV 流水线及其局限

• SIFT：将每个关键点周围的 $16\times 16$ 区域划分为 $4\times 4$ 网格，每格统计 8 方向梯度直方图 → 128 维向量。
• Bag of Visual Words：对大量描述子聚类得到 K 个"视觉词"，每张图像统计词频直方图 → 固定长度表示 $\mathbf{z} \in \mathbb{R}^K$。

4.2 逻辑回归 → MLP

• Sigmoid：$g(z) = \frac{1}{1+e^{-z}}$，将 $(-\infty, \infty)$ 映射到 $(0,1)$。
• MLE（最大似然估计）：找到使观测数据最可能出现的参数。
• NLL 损失（二分类）：$\mathcal{L}(\theta) = -\sum_{i=1}^n [y^{(i)}\log h_\theta(x^{(i)}) + (1-y^{(i)})\log(1-h_\theta(x^{(i)}))]$

4.3 优化方法

4.4 反向传播与链式法则

计算图中每个节点保存局部梯度，从输出端反向传播上游梯度：

下游梯度 = 上游梯度 × 局部梯度

4.5 激活函数

ReLU 优势：计算简单（仅阈值操作）、缓解梯度消失（正区间梯度=1）、收敛更快、稀疏激活（负输入映射为 0）。

第 5 章 · 深度学习 II — CNN（Lect05）

5.1 为什么需要 CNN？

• MLP 将图像展平为向量 → 对高分辨率图像极其昂贵（参数爆炸）
• 展平操作破坏了图像的局部结构

5.2 卷积层核心特性

5.3 FC vs Conv 参数对比

5.4 Pooling 层

• Max Pooling：取局部最大值。引入对小幅度平移和旋转的不变性。
• Average / Sum Pooling
• $2 \times 2$ pooling: $W_2 = \lceil W_1/2 \rceil$, $H_2 = \lceil H_1/2 \rceil$，参数数 = 0

5.5 CNN 归纳偏置 (Inductive Bias)

稀疏连接 + 参数共享 + 平移等变性 + Pooling 不变性 → CNN 对视觉任务参数效率高、数据效率高。

5.6 数据预处理

• 零中心化：$X = X - \text{mean}$（常用 ImageNet 均值）
• 归一化：$X = X / \text{std}$
• 目的：使不同特征的尺度一致，有助于优化

5.7 权重初始化

Xavier 假设激活函数线性且关于 0 对称；He 考虑了 ReLU 将一半输出置零的效应。

5.8 优化器

第 6 章 · 深度学习 III — 训练技巧与 BN（Lect06）

6.1 学习率与批量大小

• Iteration：一个 batch 的梯度下降步骤。
• Epoch：完整遍历一次训练数据的若干 iteration。
• 经验法则：批量大小增加 $N$ 倍，初始学习率也应大致增加 $N$ 倍。
• 学习率调度：Step decay、Cosine schedule、Linear warmup
• 分类任务学习率通常在 $10^{-6} \sim 10^{-3}$

6.2 SoftMax 分类器与交叉熵损失

SoftMax 函数：$\sigma(\mathbf{z})_i = \frac{\exp(z_i)}{\sum_{j=1}^K \exp(z_j)}$，将 logits 映射到 $(0,1)^K$ 且和为 1。

• 当 $K=2$ 时退化为 Sigmoid。
• 当 $\beta \to \infty$ 时趋近 argmax。

从 KL 散度到交叉熵：

$D_{KL}(P\|Q) = \underbrace{-\sum P(x)\log Q(x)}_{H(P,Q)} - \underbrace{(-\sum P(x)\log P(x))}_{H(P)}$

$P$ 为真实分布时 $H(P)$ 为常数 → 最小化 $D_{KL} \Leftrightarrow$ 最小化交叉熵 $H(P,Q)$。

6.3 Batch Normalization

BN 为何有效？

• 原始假设：减少 Internal Covariate Shift（层输入分布在训练中不断变化）
• 现代理解：平滑损失景观 (smooths loss landscape) → 梯度更具预测性 → 允许更大学习率 → 更快收敛
• 此外：稳定梯度尺度、引入 batch 噪声（轻微正则化效果）

CNN 中的 BN：Conv-BN-ReLU 块

$[(\text{Conv-BN-ReLU})^*N - \text{POOL?}]^*m - (\text{FC-BN-ReLU})^*K - \text{FC-SoftMax}$

注意：最后一层不使用 BN，因为输出层是任务相关的，不应被归一化到单峰高斯分布。

BN 的问题

训练 batch 太小 → $\mu_B, \sigma_B$ 随机性大 → 训练/测试模式偏差大 → 测试性能可能骤降（非常常见的 bug 来源）。

6.4 不同归一化方法对比

第 7 章 · 2D 视觉 I — ResNet 与分割（Lect07）

7.1 深度网络的退化问题

网络过深时，训练误差和测试误差都更高 → 不是过拟合，是优化困难。

7.2 ResNet：残差连接

为什么有效？

• 梯度旁路：skip link 为梯度反向传播提供直接路径，缓解梯度消失。
• 平滑损失景观：残差连接阻止损失景观从近凸变为混沌，促进平坦极小值。

7.3 泛化差距与过拟合

缓解策略：

数据增强原则：变换不能太强（丢失核心信息）也不能太弱（无效果）。标签应在变换下保持不变。

7.4 经典分类骨架

7.5 感受野 (Receptive Field)

堆叠 $3\times 3$ 卷积：1 层 → $3\times 3$；2 层 → $5\times 5$；3 层 → $7\times 7$。小卷积核堆叠可获得大感受野，且参数更少。

7.6 语义分割

定义：逐像素分类问题 (dense labeling / per-pixel classification)。

损失：$\mathcal{L}_{CE} = \text{mean}(-\sum_{x\in\mathcal{X}} P(x)\log Q(x))$，对每个像素求交叉熵后取平均。

预备概念：自编码器 (Auto-Encoder, AE)

FCN（全卷积网络）

编码器-解码器结构：

• 下采样（编码器）：降低分辨率，增大感受野，提取全局上下文
• 瓶颈 (Bottleneck)：需要保存全局上下文和边界空间信息
• 上采样（解码器）：恢复分辨率

上采样方法

• Unpooling / Max Unpooling：记录 pooling 时的位置，反向填充
• 转置卷积 (Transposed Convolution)：可学习的上采样，本质是卷积的逆向操作（矩阵乘法视角）

UNet

7.7 评估指标

• Pixel Accuracy：正确分类像素占比。类别不平衡时有偏。
• IoU：$\frac{\text{Intersection}}{\text{Union}}$，对每类计算。
• mIoU：所有类 IoU 的平均值。

第 8 章 · 2D 视觉 II — 检测与实例分割（Lect08）

8.1 目标检测：单目标

任务：定位 + 分类。输出 2D 边界框 $(x, y, h, w)$，4 自由度。

回归损失：

• L1 loss：$\sum |\Delta|$，鲁棒但对收敛不友好。
• L2 loss：$\sum \Delta^2$，对大误差敏感但收敛好。
• Smooth L1 loss（Fast R-CNN 提出）：结合两者优势，类似 Huber loss。

8.2 多目标检测的演进

滑动窗口法 (Sliding Window)

R-CNN 系列演进

Faster R-CNN 推理流程

1. Backbone 提取特征
2. RPN 生成 ~300 个 proposals
3. 对每个 proposal：RoI Pool → FC → 分类 + bbox 精修
4. 置信度阈值过滤 → NMS 去重

NMS（非极大值抑制）

8.3 两阶段 vs 单阶段检测器

• 两阶段（Faster R-CNN）：RPN + 分类/回归，精度高，速度慢。
• 单阶段（YOLO, SSD, RetinaNet）：直接回归边界框和类别，速度快。

8.4 检测评估指标

• AP (Average Precision)：按置信度降序排列，计算不同召回率下的精度，取 Precision-Recall 曲线下面积。
• mAP：所有类别 AP 的平均（有时还跨 IoU 阈值平均）。
• MS COCO 常用：AP (IoU=0.50:0.95)、AP50 (IoU=0.50)、AP75 (IoU=0.75)。

8.5 实例分割：Mask R-CNN

在 Faster R-CNN 基础上增加一个 mask 分支（FCN），对每个 RoI 预测二值掩码。

RoI Align vs RoI Pool

设计选择

• Class-agnostic mask：每 RoI 预测一个 mask（与 class-specific 效果接近）。
• 解耦 mask 和类别预测：per-pixel sigmoid + binary loss，各类别间无竞争。

Bottom-up 方法：先聚类再分类

第 9 章 · 互动自测（30 题，打分）

第 10 章 · 考前速查表