目錄

第１章分析和數據科學 1
第2章廣告和促銷 11
第3章偏好與選擇 25
第4章購物籃分析 33
第5章經濟數據分析 44
第6章運營管理 56
第7章文本分析 71
第8章情緒分析 93
第9章體育分析 129
第10章空間數據分析 148
第11章品牌和定價 167
第12章大數據的小遊戲 200
附錄A數據科學的方法 203
A.1數據庫和數據準備 204
A.2經典統計與貝葉斯統計 206
A.3回歸與分類 208
A.4機器學習 212
A.5互聯網和社交網絡分析 213
A.6推薦繫統 215
A.7產品定位 216
A.8市場細分 218
A.9選址 219
A.10金融數據科學 220
附錄B測量 222
附錄C個案分析 232
C.1回到我們的“搖頭娃娃”個案 232
C.2DriveTime 公司的轎車銷售 233
C.3鑽石價更高 237
C.4威斯康星Dells 度假中心 240
C.5個人電腦選擇研究 244
附錄D代碼和實用程序 248

譯者序

大數據與商務智能
大數據（Big Data）是 2012 年開始炒作起來的一個新“詞彙”。記得當時我有個在硅谷從事 IT 投資工作的朋友到紐約參加投資商會，她說，上一年度的會議，所有的話題都是社交網絡（彼時 Facebook 如日中天），現在呢，人人說的都是大數據。
任何行業大致都差不多，隔上一段時間，總會有個新東西出來炒作一下，無論是911 後的容災繫統、dot com，還是社交網絡、大數據，到今天的“雲”。這也是社會進步的一種方式吧。
在大數據這個概念出來之後，我曾經不止一次被問到大數據的問題。比方之前有一次被問到大數據的問題時，一開始我完全不知道對方問的是什麼，幾個回合下來，纔了解到對方的問題完全是商務智能 Business Intelligence方面的； 還有一次和一些從業IT 技術十幾二十年的同行聊天，有人說，大數據把人忽悠得雲裡霧裡，弄不清楚到底是什麼東西。於是，許多人就很簡單地把所有數據相關的東西，統統都說成是大數據，因此，商務智能也是大數據。
我們知道，傳統的數據，多是指結構化的數據，如早期的dBase、FoxPro，到現在普遍使用的關繫型數據庫 SQL Server、Oracle或者DB2，存儲的都是結構化的數據。這些數據都可以用兩維的行和列的表格形式表現出來。隨著互聯網技術的飛速發展，出現了很多非結構化的數據，比如音像數碼文件、博客文章、網站搜索索引、社交網絡的留言，對這些數據的收集和使用，是我所認知的“大數據”技術。人們對“大數據”有各種各樣的定義，其中有一個定義是“大數據是不能用傳統的數據庫工具管理的所有數據—— big data is any data that can’t be managed using conventional database tools”。我頗以為然。在當前的自然數據中，結構化的數據還不足兩成，絕大部分的數據，都是非結構化的數據。
商務智能（Business Intelligence，BI）和商務分析（Business Analytics）卻不是一個新興的概念。根據相關資料的記述，商務智能這個詞彙早在 1988 年就出現了，到了20世紀90年代，關繫型數據開始被廣泛使用後，SQL查詢語言報表成為了常規，這便是早的商務智能實例。商務智能在過去的這些年裡發展迅速，如我們後來熟知的數據倉庫（data warehouse）、數據集市（data mart）、建造數據倉庫的抽取-轉換-加載（ETL）技術、在線分析處理（OLTP）、數據可視化（data visualization）、信息中心化（dashboard）等，都可看作是商務智能的組成部分。
收集到了數據後，需要進行商務分析，回答商務問題，進行數據驅動的商務決策。按照商務問題的種類，數據分析劃分為三種類型：種是描述分析（descriptive analytics），從歷史數據中，總結過去的商務行為都發生了什麼事情，是什麼時候、什麼原因，怎樣發生的；第二種是預測分析（predictive analytics），是通過數據分析預測將來的商務行為中可能會發生什麼樣的事情；後一種是規範分析（prescriptive analytics），是基於描述分析和預測分析的結果來推薦的未來的商務行為。有些數據科學家還提出，在描述分析和預測分析中間，應該加入一種新的分析類型—診斷分析（diagnostic analytics），通過對歷史數據的分析創建模型，為預測分析打下基礎。
對原始數據進行上述各種分析的過程，就是我們熟知的數據挖掘（data mining）。習慣上，我們把數據挖掘的過程分為四大類：分類（classes），類聚（clusters），關聯（associations），序列模式 （sequential patterns）。在本書中，與這四種過程相關的技術，會使用經典統計（classical statistics）、貝葉斯方法（Bayesian Statistics）、回歸（regression）、分類（classification）、機器學習（machine leaning），等等。
那麼大數據和商務智能之間是否有關聯呢？美國的一些數據科學家是這樣說的，商務智能是幫你找到你想要知道的問題的答案，大數據是幫你發現那些你不知道要問的問題。這個答案也是蠻可愛的。商務智能分析的數據是結構化數據，大數據技術則需要分析所有的結構化，連同非結構化的數據。商務智能和大數據對數據的存儲方式和對數據的分析手段的要求是不同的。但無論大數據也好，商務智能也好，數據存在的目的就是讓我們通過分析，得到盡可能好的分析且結果為相關的商務服務。從這點上看，大數據和商務智能都有一個共同的目標，這大概就是大數據和商務智能常常被合二為一的原因吧。現在，有諸多數據專家致力於開發商務智能應用於大數據的數據分析技術，希望這一技術能早日成熟。
有人問過我，如果沒有任何統計學基礎，數學的根底也很有限，可以學習商務分析嗎？誠如本書的作者米勒教授在前言中所說，在這本書裡可以了解到，數據分析可以在哪些不同商務領域中解決什麼樣的問題。認識到哪些問題可以從現有的數據中找到答案，是利用商務智能的起點。如果你從事數據分析工作，或者是程序員，則可以通過本書的案例，認知到如何一步一步地分析問題、解決問題、找出問題的答案所在。
本書的所有案例都是在R語言環境下實現的。R語言初是為生物統計開發的一個開源軟件。記得多年之前，我在紐約大學上生物統計的課程時，次接觸到R語言。當時我們的教授是這樣描述R語言的：R環境不依賴計算機操作繫統，你可以在UNIX、Linux、Windows 或者 Macintosh 甚至OS X 繫統下使用；R語言很容易學習，即使沒有任何編程基礎的人，也可以掌握；在R環境下可以很輕松地進行數據分析，並繪制出可供圖書出版級別的數據可視化圖表。因為R語言的這些優勢，R的用戶不斷開發出各種增強功能的軟件包，現在R語言已經被廣泛用於經濟計量、財經分析和商務智能等各個領域。
本書的作者米勒先生是美國西北大學的教授，他酷愛運動和電影。書中的案例包含了非常多的美國文化。例如在每個章節的開頭，都以一段美國電影對白開始，如果了解這些電影，或者了解這段對白出現的場景，便會知道這段對白跟這個章節所講述的內容之間的契合。在“文本分析”和“情緒分析”的章節，原始的數據都是非結構化的文本數據，需要先格式化處理，並使用“語料庫”的技術進行分析，因為英文這種語言的特性，會讓我們的讀者很難理解將文本數據格式化所采用的方式。
非常感謝“煉數成金dataguru.cn”社區的創始人黃志洪先生，在我翻譯本書的過程中給予我諸多的建議和幫助。感謝“煉數成金”社區的何翠儀小姐、張曉儀小姐和吳仕燦先生的校閱。非常感謝我的家人，支持我在過去的這段日子僅因我個人的興趣而花費的大量時間。感謝我的父母從小對我嚴謹的治學態度的培養，他們一向是我進步的榜樣。也感謝我身邊一直鼓勵我的所有朋友。
作為這本書的譯者，我盡力對書中的一些美國文化的背景做了一些注釋。能使讀者們程度地從這本譯著中獲益，是我的初衷。

陳宇紅
2016年1月於紐約

前言

“托托，我覺得我們已經不在堪薩斯城了哦。”
——陶樂思?高爾（茱蒂?格蘭特飾演），美國電影《綠野仙蹤》（The Wizard of Oz 1939）

數據和算法統治了當下。歡迎您來到這個嶄新的商務世界，一個必須通過強大的分析能力和信息的交流，纔能取得稍縱即逝的競爭優勢的、快節奏的、數據密集的開源環境。
現有的許多論述預測分析或數據科學的書籍，談論的是戰略和管理；還有一部分著眼於方法和模型；其餘的著重於信息技術和代碼。本書少有的試圖將上述三者結合起來，深受建模人員、程序員和商務經理的喜愛。
我們已經意識到了通過分析的手段來獲得競爭優勢的重要性。我們為研究人員和分析師提供一個現成的資源和建模技術參考指南；我們為程序員展示如何編寫解決實際商務問題的基本代碼；我們將模型運行的結果轉化成管理人員可以理解的文字和圖片；我們解釋數據和模型的含義。
隨著數據采集和儲存數量的快速增長，隨著各種可用於分析的數據的增長，隨著每日數據的更新頻率及需要分析的數據的增長，相較往日，數據分析變得至為重要。要獲取競爭優勢，就意味著必須實施新的信息管理和分析繫統。這也同樣意味著要改變經營的方式。
數據科學這個領域擁有巨大的文獻資料，來自於諸多的學科和應用程序。相關的開源代碼也在迅速增長。事實上，這是對我們撰寫一本全面的預測分析和數據科學指南書籍的挑戰。
我們著眼於真實的案例和真實的數據。我們提供一繫列範例：在本書中的每一章，將針對一個特定的商務問題作出分析並附上應用程序。我們提供有意義的解決方案。通過對建模技術和編程工具的實際演示，把抽像化的概念轉化為具體的例子，讓完全可以成功運行的案例程序易於理解。
我們的目標是對預測分析和數據科學做一個概述，讓大多數的讀者能夠讀懂。本書沒有很多數學理論，統計人員和建模人員可以從參考文獻獲取詳細的推導方法。我們這裡僅僅使用簡單的文字和可視化的數據來顯示商務問題的解決方案。
看過了這本書的主題之後，可能會有人想知道我到底是經典統計的擁護者還是貝葉斯陣營的。在美國明尼蘇達大學統計學院時，我創立一個對經典統計及貝葉斯理論都予以尊重的觀點。無論是采用經驗貝葉斯方法，還是從經典統計學習的方法入手，都會存在一個結合機器學習和經典統計學的領域，這個觀點我深以為然。當涉及建模和推理這樣的問題時，我是一個實用主義者。我希望大家能夠理解我所做的工作，以及我所表達的不確定性。
在世界各地成千上萬的專家的幫助下，讓我們能夠出版這本書。他們對開源環境貢獻了時間和想法。開源環境的增長及易於發展的特點，確保了已開發出的解決方案將會成為未來許多年的中心所在。阿拉丁神燈裡面的精靈已經跳出油燈獲得自由，在帷幕的