數(shù)據(jù)專(zhuān)家必知必會(huì)的 7 款 Python 工具

如果你有志于做一個(gè)數(shù)據(jù)專(zhuān)家，你就應(yīng)該保持一顆好奇心，總是不斷探索，學(xué)習(xí)，問(wèn)各種問(wèn)題。在線(xiàn)入門(mén)教程和視頻教程能幫你走出第一步，但是最好的方式就是通過(guò)熟悉各種已經(jīng)在生產(chǎn)環(huán)境中使用的工具而為成為一個(gè)真正的數(shù)據(jù)專(zhuān)家做好充分準(zhǔn)備。

我咨詢(xún)了我們真正的數(shù)據(jù)專(zhuān)家，收集整理了他們認(rèn)為所有數(shù)據(jù)專(zhuān)家都應(yīng)該會(huì)的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 課程注重讓學(xué)生們花大量的時(shí)間沉浸在這些技術(shù)里。當(dāng)你找第一份工作的時(shí)候，你曾經(jīng)投入的時(shí)間而獲得的對(duì)工具的深入理解將會(huì)使你有更大的優(yōu)勢(shì)。下面就了解它們一下吧：

IPython

IPython 是一個(gè)在多種編程語(yǔ)言之間進(jìn)行交互計(jì)算的命令行 shell，最開(kāi)始是用 python 開(kāi)發(fā)的，提供增強(qiáng)的內(nèi)省，富媒體，擴(kuò)展的 shell 語(yǔ)法，tab 補(bǔ)全，豐富的歷史等功能。IPython 提供了如下特性:

更強(qiáng)的交互 shell(基于 Qt 的終端)

一個(gè)基于瀏覽器的記事本，支持代碼，純文本，數(shù)學(xué)公式，內(nèi)置圖表和其他富媒體

支持交互數(shù)據(jù)可視化和圖形界面工具

靈活，可嵌入解釋器加載到任意一個(gè)自有工程里

簡(jiǎn)單易用，用于并行計(jì)算的高性能工具

由數(shù)據(jù)分析總監(jiān)，Galvanize 專(zhuān)家 Nir Kaldero 提供。

GraphLab Greate

GraphLab Greate 是一個(gè) Python 庫(kù)，由 C++ 引擎支持，可以快速構(gòu)建大型高性能數(shù)據(jù)產(chǎn)品。

這有一些關(guān)于 GraphLab Greate 的特點(diǎn)：

可以在您的計(jì)算機(jī)上以交互的速度分析以 T 為計(jì)量單位的數(shù)據(jù)量。

在單一平臺(tái)上可以分析表格數(shù)據(jù)、曲線(xiàn)、文字、圖像。

最新的機(jī)器學(xué)習(xí)算法包括深度學(xué)習(xí)，進(jìn)化樹(shù)和 factorization machines 理論。

可以用 Hadoop Yarn 或者 EC2 聚類(lèi)在你的筆記本或者分布系統(tǒng)上運(yùn)行同樣的代碼。

借助于靈活的 API 函數(shù)專(zhuān)注于任務(wù)或者機(jī)器學(xué)習(xí)。

在云上用預(yù)測(cè)服務(wù)便捷地配置數(shù)據(jù)產(chǎn)品。

為探索和產(chǎn)品監(jiān)測(cè)創(chuàng)建可視化的數(shù)據(jù)。

由 Galvanize 數(shù)據(jù)科學(xué)家 Benjamin Skrainka 提供。

Pandas

pandas 是一個(gè)開(kāi)源的軟件，它具有 BSD 的開(kāi)源許可，為 Python 編程語(yǔ)言提供高性能，易用數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)分析工具。在數(shù)據(jù)改動(dòng)和數(shù)據(jù)預(yù)處理方面，Python 早已名聲顯赫，但是在數(shù)據(jù)分析與建模方面，Python 是個(gè)短板。Pands 軟件就填補(bǔ)了這個(gè)空白，能讓你用 Python 方便地進(jìn)行你所有數(shù)據(jù)的處理，而不用轉(zhuǎn)而選擇更主流的專(zhuān)業(yè)語(yǔ)言，例如 R 語(yǔ)言。

整合了勁爆的 IPyton 工具包和其他的庫(kù)，它在 Python 中進(jìn)行數(shù)據(jù)分析的開(kāi)發(fā)環(huán)境在處理性能，速度，和兼容方面都性能卓越。Pands 不會(huì)執(zhí)行重要的建模函數(shù)超出線(xiàn)性回歸和面板回歸;對(duì)于這些，參考 statsmodel 統(tǒng)計(jì)建模工具和 scikit-learn 庫(kù)。為了把 Python 打造成頂級(jí)的統(tǒng)計(jì)建模分析環(huán)境，我們需要進(jìn)一步努力，但是我們已經(jīng)奮斗在這條路上了。

由 Galvanize 專(zhuān)家，數(shù)據(jù)科學(xué)家 Nir Kaldero 提供。

PuLP

線(xiàn)性編程是一種優(yōu)化，其中一個(gè)對(duì)象函數(shù)被最大程度地限制了。PuLP 是一個(gè)用 Python 編寫(xiě)的線(xiàn)性編程模型。它能產(chǎn)生線(xiàn)性文件，能調(diào)用高度優(yōu)化的求解器，GLPK，COIN CLP/CBC，CPLEX，和GUROBI，來(lái)求解這些線(xiàn)性問(wèn)題。

由 Galvanize 數(shù)據(jù)科學(xué)家 Isaac Laughlin 提供

Matplotlib

matplotlib 是基于 Python 的 2D(數(shù)據(jù))繪圖庫(kù)，它產(chǎn)生(輸出)出版級(jí)質(zhì)量的圖表，用于各種打印紙質(zhì)的原件格式和跨平臺(tái)的交互式環(huán)境。matplotlib 既可以用在 python 腳本, python 和 ipython 的 shell 界面 (ala MATLAB? 或 Mathematica?)，web 應(yīng)用服務(wù)器，和6類(lèi) GUI 工具箱。

matplotlib 嘗試使容易事情變得更容易，使困難事情變?yōu)榭赡?。你只需要少量幾行代碼，就可以生成圖表，直方圖，能量光譜(power spectra)，柱狀圖，errorcharts，散點(diǎn)圖(scatterplots)等,。

為簡(jiǎn)化數(shù)據(jù)繪圖，pyplot 提供一個(gè)類(lèi) MATLAB 的接口界面，尤其是它與 IPython 共同使用時(shí)。對(duì)于高級(jí)用戶(hù)，你可以完全定制包括線(xiàn)型，字體屬性，坐標(biāo)屬性等，借助面向?qū)ο蠼涌诮缑?，或?xiàng) MATLAB 用戶(hù)提供類(lèi)似(MATLAB)的界面。

Galvanize 公司的首席科學(xué)官 Mike Tamir 供稿。

Scikit-Learn

Scikit-Learn 是一個(gè)簡(jiǎn)單有效地?cái)?shù)據(jù)挖掘和數(shù)據(jù)分析工具(庫(kù))。關(guān)于最值得一提的是，它人人可用，重復(fù)用于多種語(yǔ)境。它基于 NumPy，SciPy 和 mathplotlib 等構(gòu)建。Scikit 采用開(kāi)源的 BSD 授權(quán)協(xié)議，同時(shí)也可用于商業(yè)。Scikit-Learn 具備如下特性:

分類(lèi)(Classification) – 識(shí)別鑒定一個(gè)對(duì)象屬于哪一類(lèi)別

回歸(Regression) – 預(yù)測(cè)對(duì)象關(guān)聯(lián)的連續(xù)值屬性

聚類(lèi)(Clustering) – 類(lèi)似對(duì)象自動(dòng)分組集合

降維(Dimensionality Reduction) – 減少需要考慮的隨機(jī)變量數(shù)量

模型選擇(Model Selection) –比較、驗(yàn)證和選擇參數(shù)和模型

預(yù)處理(Preprocessing) – 特征提取和規(guī)范化

Galvanize 公司數(shù)據(jù)科學(xué)講師，Isaac Laughlin提供

Spark

Spark 由一個(gè)驅(qū)動(dòng)程序構(gòu)成，它運(yùn)行用戶(hù)的 main 函數(shù)并在聚類(lèi)上執(zhí)行多個(gè)并行操作。Spark 最吸引人的地方在于它提供的彈性分布數(shù)據(jù)集(RDD)，那是一個(gè)按照聚類(lèi)的節(jié)點(diǎn)進(jìn)行分區(qū)的元素的集合，它可以在并行計(jì)算中使用。RDDs 可以從一個(gè) Hadoop 文件系統(tǒng)中的文件(或者其他的 Hadoop 支持的文件系統(tǒng)的文件)來(lái)創(chuàng)建，或者是驅(qū)動(dòng)程序中其他的已經(jīng)存在的標(biāo)量數(shù)據(jù)集合，把它進(jìn)行變換。用戶(hù)也許想要 Spark 在內(nèi)存中永久保存 RDD，來(lái)通過(guò)并行操作有效地對(duì) RDD 進(jìn)行復(fù)用。最終，RDDs 無(wú)法從節(jié)點(diǎn)中自動(dòng)復(fù)原。

Spark 中第二個(gè)吸引人的地方在并行操作中變量的共享。默認(rèn)情況下，當(dāng) Spark 在并行情況下運(yùn)行一個(gè)函數(shù)作為一組不同節(jié)點(diǎn)上的任務(wù)時(shí)，它把每一個(gè)函數(shù)中用到的變量拷貝一份送到每一任務(wù)。有時(shí)，一個(gè)變量需要被許多任務(wù)和驅(qū)動(dòng)程序共享。Spark 支持兩種方式的共享變量：廣播變量，它可以用來(lái)在所有的節(jié)點(diǎn)上緩存數(shù)據(jù)。另一種方式是累加器，這是一種只能用作執(zhí)行加法的變量，例如在計(jì)數(shù)器中和加法運(yùn)算中。

由 Galvanize 數(shù)據(jù)科學(xué)家 Benjamin Skrainka 提供。

如果您想對(duì)數(shù)據(jù)科學(xué)進(jìn)行更深入了解，請(qǐng)點(diǎn)擊進(jìn)入我們的項(xiàng)目 our data science giveaway 來(lái)獲取關(guān)于數(shù)據(jù)研討會(huì)的入場(chǎng)券：諸如 PyData Seattle 和 Data Science Summit，或者獲得 Python 資源的優(yōu)惠，像： Effective Python 和 Data Science from Scratch?！疚恼聛?lái)源于網(wǎng)絡(luò)】