體系完整、通俗易懂，系統講述卷積神經網絡基本原理

詳細闡述前向傳播、反向傳播、優化算法

系統介紹卷積神經網絡和自編碼器的常用算法

詳盡分析算法實例應用

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據。自2006年深度學習概念被提出以來，其以極高的發展速度在各行各業得到了廣泛的應用。基于深度學習的新技術、新算法不斷涌現。本書以深度學習中卷積神經網絡算法原理為基礎，對最近幾年提出的卷積神經網絡進行系統介紹。

本書力求體系完整、通俗易懂，書中系統地講述了卷積神經網絡的基本原理，從前向傳播、反向傳播、優化算法等方面詳細闡述。同時對卷積神經網絡和自編碼器的常用算法進行介紹。針對算法實例應用進行分析。

本書資料搜集工作：袁國亮搜集整理第6章，呂朦搜集整理第4章、第8章，劉文洲搜集整理第5章，鄭旭、萬溪洲、郭釗搜集整理第2章、第3章、第7章、第8章。

本書在內容上注重精選、結合實際、突出應用。主要面向人工智能及相關專業的高年級本科生及研究生，也可做為從事深度學習的軟件工程師的參考書目。

由于編者水平有限，加之時間倉促，書中難免存在不當和謬誤之處，懇請有關專家和廣大讀者不吝賜教。

編 者

2019年1月

第1章 緒論 1
1.1 深度學習 1
1.1.1 概述 1
1.1.2 基本思想 2
1.1.3 基本分類 2
1.2 卷積神經網絡技術的發展與應用 4
1.2.1 卷積神經網絡的發展 4
1.2.2 卷積神經網絡的應用 5
1.3 自編碼器的發展及其應用 5
1.3.1 自編碼器的發展 5
1.3.2 自編碼器的應用 5
第2章 相關數學基礎知識 7
2.1 矩陣 7
2.1.1 基本概念 7
2.1.2 矩陣運算 8
2.2 范數 11
2.2.1 范數的定義 11
2.2.2 范數的分類及性質 11
2.3 卷積運算 13
2.3.1 定義 13
2.3.2 多維數組的卷積 14
2.4 激活函數 15
2.4.1 線性激活函數 15
2.4.2 非線性激活函數 16
2.5 信息熵 24
2.5.1 定義 24
2.5.2 條件熵 25
2.5.3 相對熵 26
2.5.4 交叉熵 26
習題 27
第3章 神經網絡 28
3.1 人工神經網絡 28
3.1.1 人工神經元模型 28
3.1.2 人工神經網絡結構 29
3.2 BP神經網絡 30
3.2.1 原理 30
3.2.2 網絡結構 31
3.2.3 BP神經算法原理 32
3.2.4 信號傳遞過程的實現 34
3.2.5 算法分析 35
習題 36
第4章 卷積神經網絡 37
4.1 原理 37
4.1.1 動機 37
4.1.2 卷積神經網絡特點 37
4.2 LeNet-5 38
4.2.1 網絡總體結構 38
4.2.2 分層結構 39
4.3 反向傳播 43
4.3.1 全連接的反向過程 43
4.3.2 卷積的反向過程 43
4.3.3 池化的反向過程 46
4.3.4 輸出層反向傳播 47
4.3.5 權值更新 48
習題 49
第5章 卷積神經網絡擴展機制 50
5.1 注意力機制 50
5.1.1 注意機制的分類 50
5.1.2 深度學習中的注意機制 51
5.2 卷積變體 53
5.2.1 組卷積 53
5.2.2 深度可分離卷積 55
5.2.3 膨脹卷積 56
5.2.4 全卷積網絡 57
習題 59
第6章 自編碼器網絡 60
6.1 相關概念 60
6.1.1 稀疏性 60
6.1.2 稀疏編碼 60
6.2 自編碼器概述 61
6.3 自編碼器原理 62
6.4 自編碼器的拓展網絡 65
6.4.1 稀疏自編碼 65
6.4.2 棧式自編碼 67
6.4.3 去噪自編碼 69
6.4.4 壓縮自編碼 70
6.5 自編碼器的編程實現 72
習題 72
第7章 卷積神經網絡的優化 73
7.1 正則化與歸一化 73
7.1.1 概念 73
7.1.2 參數范數懲罰 74
7.1.3 Dropout 75
7.1.4 歸一化 77
7.2 基于梯度的優化方法 78
7.2.1 基本算法 79
7.2.2 自適應學習率算法 84
習題 87
第8章 卷積神經網絡的典型結構 88
8.1 概述 88
8.2 AlexNet網絡 88
8.2.1 AlexNet基本框架 88
8.2.2 AlexNet數據處理 89
8.3 GoogLenet網絡 93
8.3.1 背景 93
8.3.2 Inception V1 93
8.3.3 Inception V2與V3 94
8.3.4 Inception V4 95
8.3.5 Xception 96
8.4 ResNet網絡結構 97
8.4.1 ResNet網絡 97
8.4.2 ResNeXt 98
8.5 ShuffleNet網絡結構 100
8.5.1 網絡簡介 100
8.5.2 模型結構 100
8.5.3 ShuffleNet V2 102
8.6 DenseNet網絡結構 102
8.6.1 Dense block 103
8.6.2 整體結構 103
8.7 數據集介紹 104
8.7.1 圖像分類數據集 104
8.7.2 語義分割數據集 109
第9章 卷積神經網絡的壓縮 112
9.1 核的稀疏化 112
9.2 剪枝 113
9.2.1 剪枝的概念 113
9.2.2 剪枝的類型 113
9.3 模型量化 114
9.3.1 量化轉換 114
9.3.2 向量化 115
9.4 模型蒸餾 116
參考文獻 119
附錄 125
BP神經網絡實現人臉識別程序 125
自編碼器程序 129
AlexNet程序 130
GoogLeNet程序 133
ResNeXt程序 136
DenseNet程序 141

1. 庭院風骨—樹、灌、籬 [創意房主 著]
2. Python語言程序設計教程 [郭其標 房宜汕]
3. 微積分（經管類）教程篇（下冊） [曹海軍 王海棠 周玲麗]
4. 微積分（經管類）教程篇（上冊） [曹海軍 王海棠 周玲麗]
5. 微積分（經管類）導學篇（上冊） [王海棠 曹海軍 周玲麗]
6. 網站前端技術案例教程（HTML+CSS+JavaScript）（第二版） [黃華升]
7. 線性代數 [主編 史昱 陳鳳欣]
8. 電力電子技術課程學習及實驗指導 [主編 陳榮]
9. 成長對話：青春的榜樣 [主編　施端銀　黃武剛　應巨林]
10. 人工智能應用基礎 [主編 楊纓 李佳]
11. 中華水文化（慕課版）（第二版） [畢雪燕 楊華軻 羅玲誼 等編著]
12. 電路與電子技術Ⅱ——電路分析基礎 [主編 陳曉 金哲]
13. 飛機維修專業英語——飛機系統（第二版） [趙迎春]
14. 英語大爆炸：跟趣味情景劇學口語（微課版） [秦然　編著]
15. 機械工程制圖任務跟蹤訓練 [主編 王瑞清 趙金考 周彥云 ]
16. 機械工程制圖 [主編 覃國萍 劉百順 禹晨]
17. 平面設計與制作項目化教程 [主編　李晨]
18. 后期影像剪輯技術 [主編　郭建偉]
19. 人工智能概論（第二版） [主編　任云暉　丁紅　徐迎春 ]
20. 信息時代美育之道 [主編　劉宏宇　黎婭]
21. 數字媒體交互設計項目式教程（微課版） [主編　蘇陸]
22. 動畫運動規律項目實例解析（微課版） [孫珊珊　袁維坤]
23. 自然語言處理 [主編　馮建周]
24. 新媒體內容創作實務（微課版） [主編　覃思源]
25. 人工智能基礎 [主編 余平 張春陽]
26. 人工智能導論 [主編 王飛 潘立武]
27. Amazing！兒童英語自然拼讀分級教材（全8冊） [王玲　編著]
28. Spark大數據處理技術 [主編　劉仁山　周洪翠　莊新妍]
29. 毫無PS痕跡—你的第一本Photoshop書（第二版） [趙鵬 著]
30. 電視新聞制作（活頁式） [主編 王曉翠 劉傳琳]