數據分析基礎技術 — 阿裡雲大數據分析師 ACA 認證培訓教程

大數據分析涉及數據存儲、數據處理、統計分析、數據可視化等技術問題。本書通過Hadoop和阿裡雲的MaxCompute架構介紹了大數據的數據存儲、數據處理的原理。因為Hadoop等大數據存儲和處理平臺大多基於Linux操作系統，所以本書也介紹了Linux操作系統的基本使用方法。另外，本書還介紹了關系型數據庫的重要原理、SQL語言及數據倉庫的概念。統計學是數據分析的基礎理論，本書概括了常用的統計學理論。數據可視化也是數據分析的重要工具，本書介紹了常用的圖表、可視化的原則及可視化的工具。本書適合作為阿裡雲大數據分析師ACA認證考試的學習教材，也可作為學校或培訓機構大數據分析等相關課程的教材，還可供大數據從業者和愛好者閱讀參考。

趙強，加拿大約克大學舒立克商學院MBA特聘教授，阿里雲MVP，加拿大ARC數據創新集團創始人，杭州決明數據科技有限公司創始人。曾擔任多家國際企業數字化轉型戰略顧問。在近20年大數據行業應用領域的工作經驗中，服務過的政府機關與500強企業包括加拿大安大略省工作場所安全保險研究院、醫藥連鎖企業ShoppersDrugMart、全球第19大銀行多倫多道明銀行、加拿大第2大零售企業Sobeys、電信運營商Telus、百聯集團等

2016年，因為個人的事回到杭州，並參加了當年阿裡雲的雲棲大會，經朋友介紹，有幸結識了當時阿裡雲大學的幾位負責人。得知阿裡雲希望在大數據、雲計算與大數據應用的教育培訓方面做出一些努力，目的是讓更多中國企業能夠利用大數據提高經營的效率。其間暢談了關於數據分析方面的個人體會，阿裡雲大學的負責人雲驤，邀請我回杭州，幫助阿裡雲建立ACA、ACP大數據分析師的人才認證標準，並開發相關的課件和書籍。彼時，中國的大數據正方興未艾，整個社會對大數據人才十分渴求，政府也將大數據與人工智能列為國家級戰略，培養大數據分析人才利國利民。因此，在2016年年底，我欣然回國創立了杭州決明數據科技有限公司，開始幫助阿裡雲大學開發大數據分析師的培訓內容。 在發達國家，數據分析在行業里的應用已經發展了幾十年，大規模的數據分析運用到決策領域，甚至可以追溯到第二次世界大戰中美軍的反法西斯戰爭。大數據工程師與大數據分析師在成熟的市場中早已是兩條不同的職業路線，但由於接觸大數據的概念時間不長，基於對工程技術的迷戀，中國市場簡單地認為大數據分析技術就是一種基於大數據的工程技術，加上政府、大學和大部分企業固執地認為技術能夠為企業帶來深度的變革，對於數據分析在企業決策中的作用並沒有準確的認知。由於數據分析主要用於企業的決策，而並不是去實現某項特殊功能，當來自不同行業的各種企業面臨不同的挑戰與問題時，企業需要研究的決策內容也五花八門，即使企業面臨的問題可能是類似的，數據分析的應用也並沒有一種標準的技術或手段能夠給出統一的解決方案。因此，大數據分析師不是僅僅掌握一兩種工程師們更偏好的編程技術就可以勝任的，這與大家更為接受和理解的大數據工程師的技能要求不盡相同。由於企業需要不時地解決各種各樣層出不窮的問題並做出精準決策，這就要求大數據分析師在面對復雜而不確定的情況時，能夠利用數據分析做出最佳判斷。除要有精湛的編程技術和關於大數據的知識外，大數據分析師還必須具備邏輯化、結構化與科學化的分析思考能力，而這種分析思考能力對思維方式和行業經驗要求較高。阿裡雲的大數據分析師培訓體系是國內最早將大數據分析師的職業能力清晰定義的。 有了從事大數據分析師職業20多年的經驗，我知道許多人對大數據分析師的工作不甚瞭解。尤其可惜的是，有IT背景的工程師們，基於對技術的熱愛，簡單地認為數據分析就是編程和算法的集合。這樣的認知顯然是錯誤的，對於中國高速發展的經濟和市場所急需的大數據應用型人才的培養沒有任何幫助。同時，也正是由於需要將編程與算法技術應用到業務場景中，大數據分析師的工作高度依賴於經驗，許多具備一定編程基礎的大學生進入職場之後，短時間內無法勝任大數據分析師的工作。從傳統的經濟模式走向數字經濟模式，依賴經驗的數字分析應用技能更需要培訓與學習。如果能有書告訴希望從事數據分析職業的有志人士，什麽是大數據分析師需要的最重要的技能，那麽就變得非常有意義。於是，我撰寫了《數據分析基礎技術——阿裡雲大數據分析師ACA認證培訓教程》《數據分析實用技術——阿裡雲大數據分析師ACP認證培訓教程》，希望能幫助讀者瞭解大數據分析師職業，提升數據分析能力，並能夠發現問題、解決問題。 由於來自各行各業的企業都需要大數據分析師，因此這兩本書的問世是為了幫助已經在大學學習了相關行業知識的大學生，提高對大數據分析師職業技能的認知，以便進入企業後可以從事大數據分析師的工作，幫助企業做好科學決策。無論所學的專業背景是商業管理、天文物理、生物化學、航空航天、建築設計、健康醫療、工業工程，還是人文社會學科，大學生只要希望從事本行業的數據分析工作，都能從這兩本書開始學習，為未來的工作打下扎實的基礎。 作者 2021年6月