了得網計算機/網絡_命令行中的數據科學

編輯推薦

大數據時代，數據科學研究與分析日益重要。本書獨樹一幟，教你利用靈活的命令行工具成為高效多產的數據科學家。

為此，作者開發了數據科學工具箱，一個包含80多個命令行工具的安裝簡單的虛擬環境，能在Windows、OS X和Linux操作繫統上運行。你將學會如何結合使用這些小而強大的命令行工具，快速地獲取、清洗、探索和建模數據。

通過閱讀本書，你會明白為什麼命令行是一種靈活、可伸縮、易擴展的技術。即使你已經能夠使用Python或R得心應手地處理數據，利用命令行也將大大改進你的數據科學工作流。

通過本書你將學會：

從網站、API、數據庫和電子表格中獲取數據

對純文本、CSV、HTML/XML和JSON格式數據進行清洗

探索數據，計算描述性統計信息，進行可視化呈現

管理數據科學工作流

使用單行命令和已有的Python或R代碼創建可重用的命令行工具

實現數據密集管道的並行化和分布化

使用降維、聚類、回歸和分類算法對數據進行建模

內容簡介

本書集實用性和先進性於一身，為數據分析人員使用命令行這個靈活的工具提供了重要參考。作者講解了眾多實用的命令行工具，以及如何使用它們高效地獲取、清洗、探索和建模數據。無論你使用Windows、OS X，還是Linux，都可以安裝包含80多個命令行工具的“數據科學工具箱”，迅速建立自己的數據分析環境。無論你是否已經習慣於使用Python或R語言，都能夠通過本書體會到使用命令行的快捷、靈活與伸縮自如。

作者簡介

Jeroen Janssens

愛思唯爾（*的科技及醫學出版公司）首席數據科學家，曾是紐約YPlan公司高級數據科學家。專門從事機器學習、異常檢測和數據可視化。在荷蘭馬斯特裡赫特大學獲得人工智能碩士學位，在荷蘭蒂爾堡大學獲得機器學*學位。他熱衷於創建數據科學的開源工具，個人網站是。

王曉偉（譯）

畢業於國防科學技術大學，獲計算機科學與技術專業博士學位。研究興趣為海量數據管理與挖掘。

劉峰（譯）

百度LBS位置大數據部資深研發工程師，新加坡南洋理工大學計算機工程繫博士，研究領域包括機器學習、神經網絡、數據挖掘等。2010年加入百度，主要從事大數據分析和挖掘方面的工作，近年來專注於網絡定位、智能交通等LBS大數據的挖掘和機器學習應用。

前言
第1章簡介
1.1概述
1.2數據科學就是OSEMN
1.2.1數據獲取
1.2.2數據清洗
1.2.3數據探索
1.2.4數據建模
1.2.5數據解釋
1.3插入的幾章
1.4什麼是命令行
1.5為什麼用命令行做數據科學工作
1.5.1命令行的靈活性
1.5.2命令行可增強

前言

第1章簡介

1.1概述

1.2數據科學就是OSEMN

1.2.1數據獲取

1.2.2數據清洗

1.2.3數據探索

1.2.4數據建模

1.2.5數據解釋

1.3插入的幾章

1.4什麼是命令行

1.5為什麼用命令行做數據科學工作

1.5.1命令行的靈活性

1.5.2命令行可增強

1.5.3命令行可擴展

1.5.4命令行可擴充

1.5.5命令行無處不在

1.6一個現實用例

1.7延伸閱讀

第2章入門指南

2.1概述

2.2設置數據科學工具箱

2.2.1步驟1：下載和安裝VirtualBox

2.2.2步驟2：下載和安裝Vagrant

2.2.3步驟3：下載並啟動數據科學工具箱

2.2.4步驟4：登錄（Linux 和Mac OS X）

2.2.5步驟4：登錄（微軟Windows）

2.2.6步驟5：關閉或重啟

2.3必要的概念和工具

2.3.1環境

2.3.2運行命令行工具

2.3.3五類命令行工具

2.3.4命令行工具的組合

2.3.5輸入和輸出重定向

2.3.6處理文件

2.3.7尋求幫助

2.4延伸閱讀

第3章數據獲取

3.1概述

3.2將本地文件復制到數據科學工具箱

3.2.1本地數據科學工具箱

3.2.2遠程數據科學工具箱

3.3解壓縮文件

3.4微軟Excel 電子表格的轉換

3.5查詢關繫數據庫

3.6從互聯網下載

3.7調用Web API

3.8延伸閱讀

第4章創建可重用的命令行工具

4.1概述

4.2將單行轉變為shell 腳本

4.2.1步驟1：復制和粘貼

4.2.2步驟2：添加執行權限

4.2.3步驟3：定義shebang

4.2.4步驟4：刪除固定的輸入

4.2.5步驟5：參數化

4.2.6步驟6：擴展PATH

4.3用Python 和R 創建命令行工具

4.3.1移植shell 腳本

4.3.2處理來自標準輸入的流數據

4.4延伸閱讀

第5章數據清洗

5.1概述

5.2純文本的常見清洗操作

5.2.1行過濾

5.2.2值提取

5.2.3值替換和刪除

5.3處理CSV

5.3.1主體、頭部和列

5.3.2對CSV 執行SQL 查詢

5.4處理HTML/XML 和JSON

5.5CSV 的常見清洗操作

5.5.1列的提取和重排序

5.5.2行過濾

5.5.3列合並

5.5.4多個CSV 文件的合並

5.6延伸閱讀

第6章管理數據工作流

6.1概述

6.2Drake 簡介

6.3Drake 的安裝

6.4獲取古騰堡計劃中下載多的電子書

6.5所有工作流都從單個步驟開始

6.6具體情況具體對待

6.7重新構建具體目標

6.8討論

6.9延伸閱讀

第7章數據探索

7.1概述

7.2檢查數據及其屬性

7.2.1確定有無數據頭

7.2.2檢查所有數據

7.2.3特征名稱和數據類型

7.2.4標識、連續變量和因子

7.3計算描述性統計信息

7.3.1使用csvstat

7.3.2在命令行中通過Rio 使用R

7.4生成可視化圖形

7.4.1介紹Gunplot 和feedgnuplot

7.4.2介紹ggplot2

7.4.3直方圖

7.4.4條形圖

7.4.5密度圖

7.4.6箱線圖

7.4.7散點圖

7.4.8折線圖

7.4.9總結

7.5延伸閱讀

第8章並行管道

8.1概述

8.2串行處理

8.2.1對數字進行遍歷

8.2.2對行進行遍歷

8.2.3對文件進行遍歷

8.3並行處理

8.3.1GNU Parallel 介紹

8.3.2指定輸入

8.3.3控制並發任務的個數

8.3.4記錄日志和輸出

8.3.5創建並行工具

8.4分布式處理

8.4.1獲得運行中的AWS EC2 實例列表

8.4.2在遠程機器上運行命令

8.4.3在遠程機器間分發本地數據

8.4.4在遠程機器上處理文件

8.5討論

8.6延伸閱讀

第9章數據建模

9.1概述

9.2更多的酒，來吧！

9.3用Tapkee 降維

9.3.1介紹Tapkee

9.3.2安裝Tapkee

9.3.3線性和非線性映射

9.4用Weka 聚類

9.4.1介紹Weka

9.4.2在命令行裡改進Weka

9.4.3在CSV 和ARFF 格式之間轉換

9.4.4比較三種聚類算法

9.5通過SciKit-Learn Laboratory 進行回歸

9.5.1準備數據

9.5.2運行實驗

9.5.3解析結果

9.6用BigML 分類

9.6.1生成均衡的訓練和測試數據集

9.6.2調用API

9.6.3檢查結果

9.6.4小結

9.7延伸閱讀

第10章總結

10.1讓我們回顧一下

10.2三條建議

10.2.1有耐心

10.2.2有所創新

10.2.3肯於實踐

10.3接下來做什麼

10.3.1API

10.3.2shell 編程

10.3.3Python、R 和SQL

10.3.4數據解釋

10.4聯繫方式

附錄A命令行工具列表

附錄B參考文獻

作者介紹

封面介紹

媒體評論

“命令行體現了Unix‘簡單工具’的理念，即每個工具完成一項工作，然後巧妙地連接在一起。Jeroen很專業地討論了怎樣將這個理念引入數據科學工作，展示了為什麼命令行不僅能夠進行簡單的文件輸入/輸出，還是數據操作、探索，甚至建模的利器。”

——Chris H. Wiggins

《紐約時報》首席數據科學家，哥倫比亞大學應用物理學與應用數學繫副教授

“這本書講解了如何將常見的數據科學任務集成到一個連貫的工作流，涵蓋了分解問題和組合方案的策略。”

——John D. Cook

知名應用數學、統計及軟件開發咨詢顧問

書摘插畫

商品搜索

商品分类

【醫學】

【各大出版社】