人體行為識別是計算機視覺與模式識別領域中的一項重要研究課題。在智能監(jiān)控領域，行為識別技術可以幫助監(jiān)控系統(tǒng)自動識別和分析異常行為，提高監(jiān)控效率和準確性；在智能交通領域，該技術可以識別和分析交通參與者的行為，為交通管理提供有力支持；在健康監(jiān)測領域，該技術可以實時監(jiān)測和分析人的行為模式，為個性化健康監(jiān)護服務提供數(shù)據(jù)支持；此外，該技術還在虛擬現(xiàn)實、人機交互、環(huán)境控制和監(jiān)測等多個領域中發(fā)揮著重要作用。隨著智能監(jiān)控、智能交通、健康監(jiān)測等應用場景的不斷發(fā)展，如何有效地識別人類行為，已經(jīng)成為學術界與工業(yè)界共同關注的焦點。在深度學習技術迅猛發(fā)展的背景下，基于深度學習的行為識別方法顯示出了強大的潛力和廣泛的應用前景。

本書從傳統(tǒng)的手工特征到現(xiàn)代的深度學習特征，從行為數(shù)據(jù)集的選擇到算法的設計與優(yōu)化，綜述了人體行為識別領域的技術演進與發(fā)展趨勢，并介紹了幾種基于深度學習的人體行為識別算法。

本書主要研究內(nèi)容包括：

（1）基于動作分解的行為識別。針對人體行為時間尺度的魯棒性問題，分析了動作與視頻幀相似性之間的關系，介紹了通過動作分解將視頻分解為多個視頻子段的方法，并提出了視頻子段中代表幀采樣的數(shù)據(jù)模型，給出了代表幀的卷積特征學習過程及特征融合方法。然后介紹了基于LSTM網(wǎng)絡的行為時序特征學習過程，最后結合實驗分析了所提算法的有效性。

（2）基于運動顯著性的行為識別。針對現(xiàn)在圖像采樣方法不能聚焦行為運動問題，介紹了視頻中運動顯著性檢測算法，并給出了多個運動顯著區(qū)域合成方法。然后提出了基于運動顯著區(qū)域的圖像塊采樣方法。最后在行為識別數(shù)據(jù)集上對所提算法進行實驗驗證。

（3）基于多模態(tài)特征的行為識別。研究了運動邊界卷積特征和梯度邊界卷積特征的提取方法。然后介紹了幾種多模態(tài)特征的融合方法，最后通過實驗驗證了運動邊界卷積特征和梯度邊界卷積特征的有效性，并比較了幾種多模態(tài)特征融合方法對人體識別率的影響。

（4）基于實時全局運動補償?shù)男袨樽R別。針對傳統(tǒng)實時行為識別算法中沒有區(qū)分運動矢量中的全局運動信息和人體行為信息的問題，提出了基于運動矢量的實時全局運動參數(shù)估計方法，然后參照估計的全局運動參數(shù)進行運動補償。最后通過實驗證明了基于全局運動補償?shù)男袨樽R別算法能夠滿足行為識別的實時性要求，在識別性能方面較MF和EMV-CNN算法有明顯提升。

（5）基于局部最大池化特征時空向量的行為識別。為了有效解決視頻理解中的一個重要問題：如何構建一個視頻表示（其中包含整個視頻上的CNN特征），我們提出了局部最大池化特征時空向量（ST-VLMPF）的超向量編碼方法，用于人體行為的局部深度特征編碼。特征分配通過相似性和時空信息在兩個層級上完成。對于每個分配，我們構建了一個特定的編碼，專注于深度特征的性質(zhì)，旨在捕獲網(wǎng)絡最高神經(jīng)元激活的最高特征響應。ST-VLMPF明顯比一些廣泛使用且強大的編碼方法（改進的Fisher向量和局部聚合描述符向量）擁有更可靠的視頻表示，同時保持了較低的計算復雜度。

（6）基于姿態(tài)運動表示的行為識別。不少行為識別方法依賴于two-stream結構獨立處理外觀和運動信息。我們將這兩個模態(tài)信息流融合起來為行為識別提供豐富的信息。該方法引入新方法以編碼一些語義關鍵點的運動，我們使用人體關節(jié)作為這些關鍵點，并將姿態(tài)運動表示稱為PoTion。具體來說，我們首先基于目前效果最好的人體姿態(tài)估計器在每一幀中提取人體關節(jié)的熱圖，再通過時間聚合這些概率圖來獲得PoTion表示。這是通過根據(jù)視頻剪輯中幀的相對時間“著色”每個概率圖并對它們進行求和來實現(xiàn)的。這種針對整個視頻剪輯的固定大小表示適合使用淺卷積神經(jīng)網(wǎng)絡對行為進行分類。

（7）基于動態(tài)運動表示的行為識別。在許多最近的研究工作中，研究人員使用外觀和運動信息作為獨立的輸入來推斷給出視頻中正在發(fā)生的行為。我們提出了人體行為的最新表示方法，同時從外觀和運動信息中獲益，以實現(xiàn)更好的動作識別性能。我們從姿勢估計器開始，從每一幀中提取身體關節(jié)的位置和熱圖，使用動態(tài)編碼器從這些身體關節(jié)熱圖中生成固定大小的表示。實驗結果表明，使用動態(tài)運動表示訓練卷積神經(jīng)網(wǎng)絡優(yōu)于目前最好的行為識別模型。

（8）基于運動增強RGB流的人體行為識別。雖然將光流與RGB信息結合可以提高行為識別性能，但準確計算光流的時間成本很高，增加了行為識別的延遲。這限制了在需要低延遲的實際應用中使用two-stream方法。我們給出了兩種學習方法來訓練一個標準的3D CNN，它在RGB幀上運行，模擬了運動流，因此避免了在測試階段進行光流計算。首先，將基于特征的損失最小化并與Flow流進行比較，所提深度神經(jīng)網(wǎng)絡以高保真度再現(xiàn)了運動流信息。其次，為了有效利用外觀和運動信息，我們通過特征損失和標準的交叉熵損失的線性組合進行訓練，用于行為識別。

本書研究內(nèi)容是機器學習、深度學習與計算機視覺等交叉學科知識在人體行為識別領域的具體應用，既適合本領域的研究者了解前沿，也適合人工智能相關專業(yè)的本科生、研究生作為學習參考資料。本書由作者獨撰，全書約19萬字。本書的編寫得到了湖北省高等學校優(yōu)秀中青年科技創(chuàng)新團隊計劃項目“行為識別技術研究及開發(fā)”（編號：T201923）、荊門市科學技術研究與開發(fā)計劃重點項目“基于視覺引導的焊機伺服系統(tǒng)關鍵技術研發(fā)”（編號：2021ZDYF024）、荊門市重大科技計劃項目“基于人工智能和邊緣計算融合的自動化生產(chǎn)線關鍵技術研究與應用”（編號：2022ZDYF019）和荊楚理工學院智聯(lián)網(wǎng)應用創(chuàng)新研究中心的資助。在此一并表示感謝！

由于作者水平有限，加工時間倉促，書中難免存在疏漏與不妥之處，懇請讀者批評指正。

第1章 緒論 1
1.1 研究背景 1
1.2 國內(nèi)外研究現(xiàn)狀 3
1.2.1 手工特征 5
1.2.2 深度特征 11
1.2.3 行為識別數(shù)據(jù)集 16
1.3 存在的問題 19
1.4 行為識別研究內(nèi)容 20
第2章 基于動作分解的行為識別 22
2.1 引言 22
2.2 基于動作分解的行為識別框架 23
2.2.1 動作分解與代表幀采樣 23
2.2.2 CNN特征學習與融合 25
2.2.3 動作時序建模 27
2.3 實驗及結果分析 28
2.3.1 實驗數(shù)據(jù)集及設置 28
2.3.2 算法參數(shù)分析 29
2.3.3 采樣策略比較 30
2.3.4 與前沿算法比較 31
2.4 本章小結 32
第3章 基于運動顯著性的行為識別 33
3.1 引言 33
3.2 H-FCN算法及其改進 36
3.2.1 全卷積網(wǎng)絡模型 36
3.2.2 H-FCN算法 37
3.2.3 H-FCN算法改進 38
3.3 基于運動顯著性的圖像塊采樣 39
3.4 實驗及結果分析 40
3.4.1 實驗數(shù)據(jù)集及設置 40
3.4.2 改進的H-FCN算法分析 41
3.4.3 圖像塊采樣方法比較 42
3.5 本章小結 43
第4章 基于多模態(tài)特征的行為識別 44
4.1 引言 44
4.2 運動邊界CNN特征 46
4.3 梯度邊界CNN特征 47
4.4 多模態(tài)特征融合 49
4.5 實驗結果及分析 50
4.5.1 實驗數(shù)據(jù)集及設置 50
4.5.2 多模態(tài)特征比較 51
4.5.3 多模態(tài)特征融合評估 53
4.6 本章小結 56
第5章 基于實時全局運動補償?shù)男袨樽R別 57
5.1 引言 57
5.2 實時全局運動補償算法 59
5.2.1 全局運動參數(shù)模型 59
5.2.2 全局運動估計 60
5.2.3 全局運動補償 63
5.3 實驗及結果分析 64
5.3.1 實驗數(shù)據(jù)集及設置 64
5.3.2 CGME算法評估 64
5.3.3 與前沿算法比較 66
5.4 本章小結 68
第6章 基于局部最大池化特征時空向量的行為識別 69
6.1 引言 69
6.2 特征編碼相關工作 71
6.3 ST-VLMPF編碼方法 72
6.4 局部深度特征提取 74
6.5 ST-VLMPF算法有效性驗證 76
6.5.1 實驗數(shù)據(jù)集 76
6.5.2 實驗設置 76
6.5.3 參數(shù)調(diào)優(yōu) 77
6.5.4 與其他編碼方法比較 79
6.5.5 融合策略 81
6.5.6 與前沿算法比較 82
6.6 本章小結 83
第7章 基于姿態(tài)運動表示的行為識別 84
7.1 引言 84
7.2 與本章相關的研究現(xiàn)狀 86
7.3 PoTion編碼表示 87
7.3.1 提取人體關節(jié)熱圖 87
7.3.2 時序依賴的熱圖著色 88
7.3.3 著色熱圖融合 89
7.4 基于PoTion編碼表示運行CNN 90
7.4.1 網(wǎng)絡結構 90
7.4.2 網(wǎng)絡實現(xiàn)細節(jié) 91
7.5 PoTion表示的實驗分析 92
7.5.1 數(shù)據(jù)集與評價標準 92
7.5.2 PoTion編碼表示參數(shù)實驗 92
7.5.3 CNN參數(shù)實驗 93
7.5.4 姿態(tài)估計算法的影響 95
7.5.5 PoTion與前沿算法比較 95
7.6 本章小結 99
第8章 基于動態(tài)運動表示的行為識別 100
8.1 引言 100
8.2 相關研究工作 101
8.3 動態(tài)運動表示（DynaMotion） 103
8.3.1 肢體關節(jié)提取與熱圖 103
8.3.2 仿射魯棒的運動編碼 104
8.3.3 外觀與動態(tài)信息聚合 105
8.4 DynaMotion實現(xiàn)細節(jié) 105
8.4.1 動態(tài)編碼 105
8.4.2 網(wǎng)絡結構 106
8.5 消融實驗 107
8.5.1 數(shù)據(jù)集 107
8.5.2 姿態(tài)編碼 107
8.5.3 動態(tài)運動CNN 108
8.5.4 DynaMotion的影響 109
8.5.5 與前沿算法比較 110
8.6 本章小結 111
第9章 基于運動增強RGB流的人體行為識別 112
9.1 引言 112
9.2 相關研究工作 114
9.3 學習替代光流 116
9.3.1 MERS算法 116
9.3.2 MARS算法 117
9.4 實驗設置 118
9.4.1 數(shù)據(jù)集與評價方法 118
9.4.2 算法實現(xiàn)細節(jié) 118
9.5 實驗結果討論 119
9.5.1 運動光流 119
9.5.2 行為識別準確率 121
9.5.3 α對識別準確率的影響 122
9.5.4 運動對識別準確率的影響 123
9.5.5 與前沿算法比較 124
9.6 本章小結 126
第10章 人體行為識別的進一步研究 127
10.1 已取得的研究成果 127
10.2 人體行為識別待研究的問題 129
參考文獻 130

1. 零基礎玩轉(zhuǎn)國產(chǎn)大模型DeepSeek [徐永冰 張帥 編著]
2. 網(wǎng)絡工程師5天修煉（適配第6版考綱） [主編　朱小平 施游]
3. 信息系統(tǒng)項目管理師考試32小時通關（適用第4版考綱） [薛大龍]
4. 信息系統(tǒng)管理工程師考試32小時通關（適配第2版考綱） [薛大龍　劉偉]
5. 土木工程材料檢測實訓 [洪曉江 達則曉麗 錢波]
6. 科技信息檢索與論文寫作實用教程 [李振華]
7. 傳統(tǒng)山水畫論解讀與實踐 [陳鈉 著]
8. Python數(shù)據(jù)庫編程 [主編 殷樹友 邢 翀]
9. 計算機基礎實訓指導 [主編 袁春萍 朱妮]
10. 嵌入式人工智能技術應用（數(shù)字教材） [主編 胡娜 楊國勇 晏廷榮]
11. Vienna整流器技術 [桂存兵 著]
12. 變頻器與伺服應用 [陳剛 葉云飛]
13. 物聯(lián)網(wǎng)工程設計與實踐 [湯琳 李敏]
14. 爐邊夜話——深入淺出話AI [汪建　著]
15. 電商運營與管理 [鐘肖英 陳瀟]
16. Java面向?qū)ο蟪绦蛟O計 [主編 姜春磊 陳虹潔]
17. 信息技術基礎（Windows 10+WPS Office）（微課版） [主編　石利平　田輝平　謝盛嘉]
18. 人工智能應用 [主編　陳　萍　劉培培　陳孟軍]
19. 大學生職業(yè)發(fā)展與就業(yè)指導 [主編　劉志堅]
20. 高級辦公應用項目教程 [主編 屈晶 趙成麗]
21. 微信小程序開發(fā)項目實戰(zhàn)（微課版） [主編 黃龍泉 郭峰 朱倩]
22. 企業(yè)檔案工作實戰(zhàn)寶典百問百答 [華俊 盧秀英 邵甜甜 著]
23. 計算機網(wǎng)絡原理及應用 [主編 唐繼勇 葉坤 孫夢娜]
24. 大學生創(chuàng)業(yè)基礎 [主編 王麗莉 王 楊]
25. 船舶輔機 [主編 王連海 于洋 姜淑翠]
26. 大學生就業(yè)指導 [主編 王麗莉 董宴廷]
27. 系統(tǒng)架構設計師章節(jié)習題與考點特訓 [主編 薛大龍 鄒月平]
28. 高校學生工作探索與實踐 [郭亮 著]
29. 大學生情商管理 [方雄 著]
30. 2023年長沙市會展業(yè)發(fā)展報告 [主編 周棟良]