作者：丁霄汉 著
页数：160
出版社：清华大学出版社
出版日期：2024
ISBN：9787302673187
电子书格式：pdf/epub/txt
网盘下载地址：下载高效卷积神经网络的结构设计与优化
内容简介
“随着深度学习相关技术的发展，特别是卷积神经网络技术的成熟，深度学习已经成为多种计算机视觉任务的常用工具。卷积神经网络模型由于其强大的表征能力，可以作为一种优秀主干模型，但往往以较大的参数量和计算量为代价。
本书从基本架构设计、新式通用组件、模型压缩方法三个方面着手，试图普遍地、一般地提升卷积神经网络的精度和效率。书中介绍的方法与深度学习实践联系紧密：现实生活中的视觉应用一般要求在一定的推理延迟、吞吐量、模型大小和功耗的约束下尽可能追求更高的精度，所以开发者既可以应用一种新的架构，可以用一些新式组件来提升现有架构，亦可以对一个精度更高也更大的模型应用压缩技术使之满足既定的效率约束条件。本书聚焦基础，所提出的“结构重参数化”理论、新式模型结构和模型压缩方法可以广泛用于多种模型和多种任务。
本书可为机器学习和计算机视觉领域的初学者和具备一定基础的工程技术人员及研究人员提供参考。”
作者简介
丁霄汉，工学博士，2022年6月毕业于清华大学软件学院，研究领域为机器学习和计算机视觉的通用模型、基本工具、基础理论。曾获百度奖学金（2019）、 奖学金、英特尔奖学金等。
本书特色
本书获评“清华大学 博士学位论文”，本书从基本架构设计、新式通用组件、模型压缩方法三个方面着手，试图普遍地、一般地提升卷积神经网络的精度和效率。
目录
第1章 绪论
1.1 研究背景与意义
1.2 外研究现状
1.2.1 基本架构设计
1.2.2 新式通用组件
1.2.3 通道剪枝方法
1.2.4 其他模型压缩方法
1.3 研究内容和主要贡献
1.3.1 基本架构设计
1.3.2 新式通用组件
1.3.3 通道剪枝方法
1.4 符号系统
1.5 本书的组织结构
第2章 基于结构重参数化的极简架构
2.1 本章引言
2.2 相关工作
2.2.1 单路架构的训练方法
2.2.2 重参数化
2.2.3 Winograd卷积算法
2.3 结构重参数化
2.4 RepVGG：基于结构重参数化的极简架构
2.4.1 效率分析
2.4.2 架构详细定义
2.5 实验分析
2.5.1 ImageNet分类实验
2.5.2 消融和对比实验
2.5.3 语义分割实验
2.6 本章小结
第3章 非对称卷积模块
3.1 本章引言
3.2 相关工作
3.2.1 非对称卷积
3.2.2 多架构通用的基本组件
3.3 对卷积核内部空间位置的定量分析
3.4 非对称卷积模块
3.4.1 卷积的广义可加性
3.4.2 非对称卷积模块的结构和转换
3.5 实验分析
3.5.1 CIFAR实验
3.5.2 ImageNet实验
3.5.3 消融实验
3.5.4 ACB卷积核的定量分析
3.6 本章小结
第4章 重参数化大卷积核模块
4.1 本章引言
4.2 相关工作
4.2.1 单层大感受野模型
4.2.2 模型放大技术
4.3 应用大卷积核的五条准则
4.4 RepLKB：一种大卷积核组件
4.5 实验分析
4.5.1 RepLKNet上增大卷积核尺寸的实验
4.5.2 ImageNet图像分类
4.5.3 语义分割
4.5.4 目标检测
4.6 讨论
4.6.1 有效感受野
4.6.2 形状偏好
4.7 本章小结
第5章 用于通道剪枝的向心随机梯度下降算法
5.1 本章引言
5.2 相关工作
5.3 向心随机梯度下降
5.3.1 通道剪枝的符号表示
5.3.2 C-SGD 新规则
5.3.3 C-SGD的直观解释
5.3.4 C-SGD的高效实现
5.3.5 C-SGD训练后的剪枝重构
5.3.6 用C-SGD解决受约束剪枝问题
5.4 宽度浓缩：一种基于C-SGD的训练方法论
5.5 实验分析
5.5.1 CIFAR-10剪枝实验
5.5.2 ImageNet剪枝实验
5.5.3 语义分割和目标检测
5.5.4 聚类方法研究
5.5.5 趋同与归零冗余模式的对比
5.5.6 C-SGD与其他剪枝方法的严格对比
5.5.7 冗余训练与常规训练的对比
5.5.8 “全局瘦身”和“局部裁剪”的对比
5.5.9 宽度浓缩
5.6 关于C-SGD效率的讨论
5.7 本章小结
第6章 基于结构变换的高精度通道剪枝方法
6.1 本章引言
6.2 相关工作
6.3 ResRep
6.3.1 Rep：卷积重参数化
6.3.2 Res：梯度重置
6.3.3 Res和Rep的有机结合
6.4 实验分析
6.4.1 ImageNet和CIFAR-10剪枝实验
6.4.2 基线和变体对比实验
6.4.3 Res和Rep的消融实验
6.5 本章小结
第7章 总结与展望
7.1 工作总结
7.2 未来工作展望
参考文献
在学期间完成的相关学术成果
致谢
1.1 研究背景与意义
1.2 外研究现状
1.2.1 基本架构设计
1.2.2 新式通用组件
1.2.3 通道剪枝方法
1.2.4 其他模型压缩方法
1.3 研究内容和主要贡献
1.3.1 基本架构设计
1.3.2 新式通用组件
1.3.3 通道剪枝方法
1.4 符号系统
1.5 本书的组织结构
第2章 基于结构重参数化的极简架构
2.1 本章引言
2.2 相关工作
2.2.1 单路架构的训练方法
2.2.2 重参数化
2.2.3 Winograd卷积算法
2.3 结构重参数化
2.4 RepVGG：基于结构重参数化的极简架构
2.4.1 效率分析
2.4.2 架构详细定义
2.5 实验分析
2.5.1 ImageNet分类实验
2.5.2 消融和对比实验
2.5.3 语义分割实验
2.6 本章小结
第3章 非对称卷积模块
3.1 本章引言
3.2 相关工作
3.2.1 非对称卷积
3.2.2 多架构通用的基本组件
3.3 对卷积核内部空间位置的定量分析
3.4 非对称卷积模块
3.4.1 卷积的广义可加性
3.4.2 非对称卷积模块的结构和转换
3.5 实验分析
3.5.1 CIFAR实验
3.5.2 ImageNet实验
3.5.3 消融实验
3.5.4 ACB卷积核的定量分析
3.6 本章小结
第4章 重参数化大卷积核模块
4.1 本章引言
4.2 相关工作
4.2.1 单层大感受野模型
4.2.2 模型放大技术
4.3 应用大卷积核的五条准则
4.4 RepLKB：一种大卷积核组件
4.5 实验分析
4.5.1 RepLKNet上增大卷积核尺寸的实验
4.5.2 ImageNet图像分类
4.5.3 语义分割
4.5.4 目标检测
4.6 讨论
4.6.1 有效感受野
4.6.2 形状偏好
4.7 本章小结
第5章 用于通道剪枝的向心随机梯度下降算法
5.1 本章引言
5.2 相关工作
5.3 向心随机梯度下降
5.3.1 通道剪枝的符号表示
5.3.2 C-SGD 新规则
5.3.3 C-SGD的直观解释
5.3.4 C-SGD的高效实现
5.3.5 C-SGD训练后的剪枝重构
5.3.6 用C-SGD解决受约束剪枝问题
5.4 宽度浓缩：一种基于C-SGD的训练方法论
5.5 实验分析
5.5.1 CIFAR-10剪枝实验
5.5.2 ImageNet剪枝实验
5.5.3 语义分割和目标检测
5.5.4 聚类方法研究
5.5.5 趋同与归零冗余模式的对比
5.5.6 C-SGD与其他剪枝方法的严格对比
5.5.7 冗余训练与常规训练的对比
5.5.8 “全局瘦身”和“局部裁剪”的对比
5.5.9 宽度浓缩
5.6 关于C-SGD效率的讨论
5.7 本章小结
第6章 基于结构变换的高精度通道剪枝方法
6.1 本章引言
6.2 相关工作
6.3 ResRep
6.3.1 Rep：卷积重参数化
6.3.2 Res：梯度重置
6.3.3 Res和Rep的有机结合
6.4 实验分析
6.4.1 ImageNet和CIFAR-10剪枝实验
6.4.2 基线和变体对比实验
6.4.3 Res和Rep的消融实验
6.5 本章小结
第7章 总结与展望
7.1 工作总结
7.2 未来工作展望
参考文献
在学期间完成的相关学术成果
致谢
