體系結構合理：基礎篇和實戰篇相結合，理論夠用，突出實踐應用。

內容安排全面：兼顧崗位要求、職業技能競賽和1+X證書知識范圍。

配套資源豐富：配套微課、課件、習題答案等，方便讀者學習使用。

進入21世紀以來，云計算、大數據、人工智能等新興信息技術飛速發展，快速融入人類社會的各個領域，對社會的發展起到了重要的促進作用。新時代的到來、新興技術的興起，對從事信息技術行業的技術人員和高職信息技術人才培養是一個新的挑戰，各級各類學校都在大力倡導和推進新興信息技術在教育教學中的普及和深入應用。從學習者角度，高職電子信息類、計算機類專業的學生和社會上從事信息技術相關工作的人員渴望了解和學習大數據知識和技術，因此需要一本既可以把大數據相關概念介紹清楚，又能教會大數據分析與處理全棧技術的書籍�；�于此需求，我們編寫了本書。

本書分為基礎篇和實戰篇。基礎篇主要闡述大數據基本知識和基本技術：項目1闡述大數據概念、大數據來源、大數據價值、大數據影響和大數據安全；項目2主要介紹大數據基本技術；項目3介紹大數據平臺架構、大數據平臺采用的技術；項目4介紹大數據采集、預處理和存儲技術；項目5介紹關系型數據庫、新型數據庫NoSQL和NoSQL產品；項目6介紹大數據分析方法和分析技術；項目7介紹大數據可視化技術。實戰篇以企業案例為主線，介紹環境和平臺搭建真實場景、大數據分析處理過程的技術實現：項目8介紹大數據分析與處理基本環境搭建，包括虛擬系統的搭建、Linux主機配置；項目9介紹大數據平臺搭建，包括Hadoop平臺搭建、離線大數據分析平臺搭建和實時大數據分析平臺搭建；項目10介紹基于Maven項目的開發環境搭建、案例的離線基礎數據分析與統計、案例的離線基礎數據過濾與處理、實時數據分析與處理技術實現。實戰篇內容兼顧企業崗位要求、職業技能競賽和1+X證書知識范圍，具有很強的實用價值。

本書由李麗萍、周永福、吳明宇任主編，王蘭豐、魏育華、李任鶴任副主編，王建華任主審，楊一冬、孫夢琳、李景華、邢雅丹和李依桐參與編寫。李麗萍負責全書統稿工作。本書編寫人員均為高職計算機類專業大數據技術相關課程一線教師，多次參加企業1+X證書技術培訓，指導學生參加職業技能競賽并多次獲獎，積累了豐富的大數據技術教學經驗。

在本書編寫過程中，編者參閱并引用了部分論文、專著和文獻資料，在此對其作者表示感謝。本書實戰篇大數據分析案例由廣州泰迪智能科技股份有限公司提供，在此深表謝意。由于編者水平有限，書中難免存在疏漏和不足之處，懇請讀者批評指正。

編者

2022年6月

基礎篇
項目1 大數據概述 2
任務1 大數據概念 2
任務2 大數據來源 6
任務3 大數據價值及大數據影響 9
任務4 大數據應用與大數據安全 14
項目拓展 20
思考與練習 20
項目2 大數據技術 21
任務1 大數據技術概述 21
任務2 Hadoop概述 27
項目拓展 32
思考與練習 32
項目3 大數據處理平臺 33
任務1 大數據處理平臺架構 33
任務2 離線大數據處理平臺Hadoop 36
任務3 大數據綜合處理平臺Spark 41
項目拓展 45
思考與練習 45
項目4 大數據采集與存儲 46
任務1 數據采集 46
任務2 數據預處理 50
任務3 大數據存儲 55
任務4 分布式文件系統 59
項目拓展 64
思考與練習 64
項目5 新型數據庫 65
任務1 關系型數據庫 65
任務2 NoSQL 69
任務3 NoSQL的類型與產品 74
項目拓展 81
思考與練習 82
項目6 大數據分析與處理 83
任務1 大數據分析方法 83
任務2 大數據分析技術 86
項目拓展 93
思考與練習 93
項目7 數據可視化 94
任務1 數據可視化概念 94
任務2 數據可視化方法 101
任務3 數據可視化應用 108
項目拓展 116
思考與練習 116
實戰篇
項目8 大數據分析基礎環境搭建 118
任務1 虛擬系統的搭建 118
任務2 Linux主機的配置 130
項目拓展 145
思考與練習 145
項目9 大數據平臺搭建 146
任務1 Hadoop平臺的兩種搭建方式 146
任務2 Hadoop平臺下離線大數據分析
平臺的搭建方式 176
任務3 Hadoop平臺下實時大數據分析
平臺的搭建方式 189
項目拓展 198
思考與練習 198
項目10 大數據分析案例技術實戰 199
任務1 法律服務大數據分析與探索 199
任務2 基于Maven的項目開發環境搭建 203
任務3 離線基礎數據分析與統計 209
任務4 離線基礎數據的過濾與統計 220
任務5 離線數據的處理 225
任務6 實時數據分析與處理 229
項目拓展 235
思考與練習 235
參考文獻 236

1. 零基礎玩轉國產大模型DeepSeek [徐永冰 張帥 編著]
2. 網絡工程師5天修煉（適配第6版考綱） [主編　朱小平 施游]
3. 信息系統項目管理師考試32小時通關（適用第4版考綱） [薛大龍]
4. 信息系統管理工程師考試32小時通關（適配第2版考綱） [薛大龍　劉偉]
5. 土木工程材料檢測實訓 [洪曉江 達則曉麗 錢波]
6. 科技信息檢索與論文寫作實用教程 [李振華]
7. 傳統山水畫論解讀與實踐 [陳鈉 著]
8. Python數據庫編程 [主編 殷樹友 邢 翀]
9. 計算機基礎實訓指導 [主編 袁春萍 朱妮]
10. 嵌入式人工智能技術應用（數字教材） [主編 胡娜 楊國勇 晏廷榮]
11. Vienna整流器技術 [桂存兵 著]
12. 變頻器與伺服應用 [陳剛 葉云飛]
13. 物聯網工程設計與實踐 [湯琳 李敏]
14. 爐邊夜話——深入淺出話AI [汪建　著]
15. 電商運營與管理 [鐘肖英 陳瀟]
16. Java面向對象程序設計 [主編 姜春磊 陳虹潔]
17. 信息技術基礎（Windows 10+WPS Office）（微課版） [主編　石利平　田輝平　謝盛嘉]
18. 人工智能應用 [主編　陳　萍　劉培培　陳孟軍]
19. 大學生職業發展與就業指導 [主編　劉志堅]
20. 高級辦公應用項目教程 [主編 屈晶 趙成麗]
21. 微信小程序開發項目實戰（微課版） [主編 黃龍泉 郭峰 朱倩]
22. 企業檔案工作實戰寶典百問百答 [華俊 盧秀英 邵甜甜 著]
23. 計算機網絡原理及應用 [主編 唐繼勇 葉坤 孫夢娜]
24. 大學生創業基礎 [主編 王麗莉 王 楊]
25. 船舶輔機 [主編 王連海 于洋 姜淑翠]
26. 大學生就業指導 [主編 王麗莉 董宴廷]
27. 系統架構設計師章節習題與考點特訓 [主編 薛大龍 鄒月平]
28. 高校學生工作探索與實踐 [郭亮 著]
29. 大學生情商管理 [方雄 著]
30. 2023年長沙市會展業發展報告 [主編 周棟良]