數據挖掘(Data Mining),是指從數據中發現知識的過程(Knowledge Discovery
in Databases,KDD)。狹義的數據挖掘一般指從大量的、不完全的、有噪聲的、模糊
的、隨機的實際應用數據中,提取隱含其中的、人們事先不知道的、但又是潛在有用
知識的過程。自從計算機發明之後,科學家們先後提出了許多優秀的數據挖掘算法。
2006年12月,在數據挖掘領域的權威學術會議the IEEE International Conference on
Data Mining(ICDM)上,科學家們評選出了該領域的十大經典算法:C4.5、K-Means、
SVM、Apriori、EM、PageRank、 AdaBoost、kNN、Naive Bayes和CART。這是數據
挖掘學科的一個重要裡程碑,從此數據挖掘在理論研究和實際應用兩方面均進入飛速
發展時期,並得到廣泛關注。
在實際生產活動中,許多問題都可以用數據挖掘方法來建模,從而提升運營效率。
例如,某企業在其移動終端應用(App)上售賣各種商品,它希望向不同的客戶群體
精準推送差異化的產品和服務,從而提升銷售業績。在這個案例中,如何將千萬量級
的客戶劃分為不同的客戶群體,可以由數據挖掘中的聚類分析算法來完成;針對某個
客戶群體,如何判斷某個產品是否是他們感興趣的,可以由數據挖掘中的分類分析算
法來完成;如何發現某個客戶群體感興趣的各種產品之間的關聯性,應該把哪些產品
打包為套餐,可以由數據挖掘中的關聯分析算法來完成;如何發現某個客戶群體的興
趣愛好的長期趨勢,可以由數據挖掘中的回歸算法來完成;如何綜合考慮公司的KPI
指標、營銷政策和App頁面限制等條件,制訂終的落地營銷方案,可以基於數據
挖掘中的ROC曲線建立數學模型求得解來解決。
當前,許多企業正面臨前所未有的競爭壓力。以運營商企業為例,從政策層面看,
國家提出了“提速降費”的戰略指示:一方面要提高網絡連接速度、提供更好的服務,
這意味著公司成本的提高;另一方面要降低資費標準,這意味著單個產品收入的下降,
運營商該如何化解這對矛盾?從運營商內部數據統計看,傳統的語音和短信、彩信業務收入占比正不斷下降,傳統的利潤點已經風光不再;流量收入目前已占據主要位置
並保持上漲趨勢,但單純的流量經營又將面臨“管道化”壓力;未來的利潤增長點要
讓位於被稱為“第三條曲線”的數字化服務。運營商該如何經營這一新鮮事物?從外
部環境看,互聯網和電子商務企業借助其在各方面的優勢,已經對運營商形成了巨大
的壓力,特別是在數字化服務營銷領域,傳統運營商企業已經不再具備優勢,又該如
何應對互聯網企業的全面競爭?
隨著移動互聯網和物聯網時代的來臨,人和萬事萬物被廣泛地聯繫在一起。人
們在聯繫的過程產生了大量的數據,例如用戶基礎信息、網頁瀏覽記錄、歷史消費記
錄、視頻監控影像,等等。據此,以Google 為首的互聯網公司提出了“大數據”(Big
Data)的概念,並聲稱人類已經脫離了信息時代(Information
Time,IT),進入了大
數據時代(Data Time,DT)。顯然,海量數據包含了非常豐富的淺層次信息和深層
次知識。對於同一競爭領域的企業,誰能獲取量的數據,展開精準的數據挖掘
與建模分析,並加以精細化的落地實施,誰便能在行業競爭中取得優勢。對於運營商
企業而言,其具備的一個顯著優勢便是手握海量數據資源。如果能運用先進的數據挖
掘技術找出客戶的行為規律,從傳統的經驗式、粗放式、“一刀切”式的運營決策向
數據化、精細化、個性化的運營決策轉型,運營商將迎來新的騰飛。上述運營模式轉
型的目標,便是所謂的“智慧運營”。
目前,人類對大數據尚沒有統一的、公認的定義,但幾乎所有學者和企業都認同
大數據具備四大特征(四大挑戰):體量巨大(Volume )、類型繁多(Variety )、價
值密度低(Value )、需要實時處理(Velocity )。這其中重要的一點是類型繁多,
即過去人類的數據儲備以結構化數據為主,而未來將以非結構化數據為主。回到之前
提到的App 營銷案例,企業基於用戶的基礎信息、歷史消費信息、簡單的網絡行為
信息等結構化數據展開挖掘建模,被認為是傳統的“基於數據挖掘的智慧運營”。隨
著時代的發展,企業還掌握了用戶觀看在線視頻的內容數據、在營業網點接受營業員
推薦的表情信息和語言交流數據、用戶在客服熱線中的語音咨詢數據等。這些數據被
統稱為非結構化數據,隨著語音識別、人臉識別、語義識別等新技術的發展成熟,對
非結構化數據的分析挖掘已成為可能,並將獲得廣闊的商業應用空間。基於非結構化
數據的挖掘建模又被稱為“基於人工智能的智慧運營”。考慮當前大部分企業的實際
運營現狀,本書將主要圍繞“基於數據挖掘的智慧運營”展開討論,“基於人工智能
的智慧運營”將在後續書籍中展開討論。
本書共分為九章:第1 章大數據、數據挖掘與智慧運營綜述,講述數據挖掘的基
本概念和發展史、大數據的時代特征、當前結構化數據挖掘進展、非結構化數據挖掘