獨家 | 2種資料科學程式設計中的思維模式，了解一下（附代碼）

資料科學的完整流程一般包含以下幾個組成部分：

 ●  資料收集

 ●  資料清洗

 ●  資料探索和可視化

 ●  統計或預測模組化

雖然這些組成部分有助于我們了解資料科學的不同階段，但對于程式設計工作流并無助益。

通常而言，在同一個檔案中覆寫完整的流程将會導緻Jupyter Notebook、腳本變成一團亂麻。此外，大多數的資料科學問題都要求我們在資料收集、資料清洗、資料探索、資料可視化和統計／預測模組化中切換。

但是還存在更好的方法來組織我們的代碼！在這篇部落格中，我将介紹大多數人在做資料科學程式設計工作的時候切換的兩套思維模式：原型思維模式和生産流思維模式。

原型思維模式強調	生産流思維模式強調
某部分代碼的疊代速度	整體工作流程的疊代速度
更少的抽象 （直接修改代碼和資料類型）	更多的抽象 （修改參數）
代碼更松散 （子產品化程度低）	代碼更結構化 （子產品化程度高）
幫助人們更了解代碼和資料	幫助電腦更自動地運作代碼

我個人使用JupyteLab來進行整個流程的操作（包括寫原型代碼和生産流代碼）。我建議至少使用JupyteLab來寫原型代碼：

JupyteLab：

http://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html

借貸俱樂部資料

為了更好地了解原型和生産流兩種思維模式，我們來處理一些真實的資料。我們将使用個人對個人的借貸網站——借貸俱樂部上面的借貸資料。跟銀行不同，借貸俱樂部自身并不借錢，而是為貸款人提供一個市場以貸款給因不同的原因（比如維修、婚禮）需要借款的個人。

借貸俱樂部網站：

https://www.dataquest.io/blog/programming-best-practices-for-data-science/www.lendingclub.com

我們可以使用這個資料來建立一個模型，判斷一個給定的貸款申請是否會成功。這篇部落格中，我們不會深入到建立機器學習模型工作流。

借貸俱樂部提供關于成功的貸款（被借貸俱樂部和聯合貸款人通過的貸款）和失敗的貸款（被借貸俱樂部和聯合貸款人拒絕的貸款，款項并沒有轉手）的詳盡曆史資料。打開他們的資料下載下傳頁，選擇2007-2011年，并下載下傳資料：

資料下載下傳頁：

https://www.lendingclub.com/info/download-data.action

原型思維模式

在原型思維模式中，我們比較關心快速疊代，并嘗試了解資料中包含的特征和事實。建立一個Jupyter Notebook，并增加一個Cell來解釋：

 ●  你為了更好地了解借貸俱樂部而做的所有調查

 ●  有關你下載下傳的資料集的所有資訊

首先，讓我們将csv檔案讀入pandas：

import pandas as pd

loans_2007 = pd.read_csv('LoanStats3a.csv')

loans_2007.head(2)

我們得到兩部分輸出，首先是一條警告資訊：

/home/srinify/anaconda3/envs/dq2/lib/python3.6/site-packages/IPython/core/interactiveshell.py:2785: DtypeWarning: Columns (0,1,2,3,4,7,13,18,24,25,27,28,29,30,31,32,34,36,37,38,39,40,41,42,43,44,46,47,49,50,51,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,121,123,124,125,126,127,128,129,130,131,132,133,134,135,136,142,143,144) have mixed types. Specify dtype option on import or set low_memory=False.

interactivity=interactivity, compiler=compiler, result=result)

然後是資料框的前5行，這裡我們就不展示了（太長了）。

警告資訊讓我們了解到如果我們在使用pandas.read_csv()的時候将low_memory參數設為False的話，資料框裡的每一列的類型将會被更好地記錄。

第二個輸出的問題就更大了，因為資料框記錄資料的方式存在着問題。JupyterLab有一個内建的終端，是以我們可以打開終端并使用bash指令head來檢視原始檔案的頭兩行資料。

head -2 LoanStats3a.csv

原始的csv檔案第二行包含了我們所期望的列名，看起來像是第一行資料導緻了資料框的格式問題：

Notes offered by Prospectus

https://www.lendingclub.com/info/prospectus.action

增加一個Cell來說明你的觀察，并增加一個code cell來處理觀察到的問題。

loans_2007 = pd.read_csv('LoanStats3a.csv', skiprows=1, low_memory=False)

在借貸俱樂部下載下傳頁檢視資料字典以了解哪些列沒有包含對特征有用的資訊。Desc和url列很明顯就沒有太大的用處。

loans_2007 = loans_2007.drop(['desc', 'url'],axis=1)

然後就是将超過一半以上都缺失值的列去掉，使用一個cell來探索哪一列符合這個标準，再使用另一個cell來删除這些列。

loans_2007.isnull().sum()/len(loans_2007)

loans_2007 = loans_2007.dropna(thresh=half_count, axis=1)

因為我們使用Jupyter Notebook來記錄我們的想法和代碼，是以實際上我們是依賴于環境（通過IPython核心）來記錄狀态的變化。這讓我們能夠自由地移動cell，重複運作同一段代碼，等等。

通常而言，原型思維模式專注于：

 ●  可了解性

 ●  使用Markdown cell來記錄我們的觀察和假設

 ●  使用一小段代碼來進行真實的邏輯操作

 ●  使用大量的可視化和計數

 ●  抽象最小化

 ●  大部分的代碼都不在函數中（更為面向對象）

我們會花時間來探索資料并且寫下我們采取哪些步驟來清洗資料，然後就切換到工作流模式，并且将代碼寫得更強壯一些。

生産流模式

在生産流模式，我們會專注于寫代碼來統一處理更多的情況。比如，我們想要可以清洗來自借貸俱樂部的所有資料集的代碼，那麼最好的辦法就是概括我們的代碼，并且将它轉化為資料管道。資料管道是采用函數式程式設計

的原則來設計的，資料在函數中被修改，并在不同的函數之間傳遞：

函數式程式設計教程：

https://www.dataquest.io/blog/introduction-functional-programming-python/

這裡是資料管道的第一個版本，使用一個單獨的函數來封裝資料清洗代碼。

def import_clean(file_list):

frames = []

for file in file_list:

loans = pd.read_csv(file, skiprows=1, low_memory=False)

loans = loans.drop(['desc', 'url'], axis=1)

half_count = len(loans)/2

loans = loans.dropna(thresh=half_count, axis=1)

loans = loans.drop_duplicates()

# Drop first group of features

loans = loans.drop(["funded_amnt", "funded_amnt_inv", "grade", "sub_grade", "emp_title", "issue_d"], axis=1)

# Drop second group of features

loans = loans.drop(["zip_code", "out_prncp", "out_prncp_inv", "total_pymnt", "total_pymnt_inv", "total_rec_prncp"], axis=1)

# Drop third group of features

loans = loans.drop(["total_rec_int", "total_rec_late_fee", "recoveries", "collection_recovery_fee", "last_pymnt_d", "last_pymnt_amnt"], axis=1)

frames.append(loans)

return frames

frames = import_clean(['LoanStats3a.csv'])

在上面的代碼中，我們将之前的代碼抽象為一個函數。函數的輸入是一個檔案名的清單，輸出是一個資料框的清單。

普遍來說，生産流思維模式專注于：

 ●  适合的抽象程度

 ●  代碼應該被泛化以比對的類似的資料源

 ●  代碼不應該太過泛化以至于難以了解

 ●  管道穩定性

 ●  可依賴程度應該和代碼運作的頻率相比對（每天？每周？每月？）

在不同的思維模式中切換

假設我們在運作函數處理所有來自借貸俱樂部的資料集的時候報錯了，部分潛在的原因如下：

 ●  不同的檔案當中列名存在差異

 ●  超過50%缺失值的列存在差異

 ●  資料框讀入檔案時，列的類型存在差異

在這種情況下，我們就要切換回原型模式并且探索更多。如果我們确定我們的資料管道需要更為彈性化并且能夠處理資料特定的變體時，我們可以将我們的探索和管道的邏輯再結合到一起。

以下是我們調整函數以适應不同的删除門檻值的示例：

def import_clean(file_list, threshold=0.5):

threshold_count = len(loans)*threshold

frames = import_clean(['LoanStats3a.csv'], threshold=0.7)

預設值是0.5，如果需要的話，我們也可以改為0.7。

這是一些将管道改得更為彈性的方式，按推薦程度降序排列：

 ●  使用可選參數、位置參數和必需參數

 ●  在函數中使用if / then語句以及使用布爾輸入值作為函數的輸入

 ●  使用新的資料結構（字典，清單等）來表示特定資料集的自定義操作

這個管道可以擴充到資料科學工作流程的所有階段。這是一些僞代碼，可以總攬它的結構。

## Code

def visualize(df_list):

# Find the most important features and generate pairwise scatter plots

# Display visualizations and write to file.

plt.savefig("scatter_plots.png")

def combine(df_list):

# Combine dataframes and generate train and test sets

# Drop features all dataframes don't share

# Return both train and test dataframes

return train,test

def train(train_df):

# Train model

return model

def validate(train_df, test-df):

# K-fold cross validation

# Return metrics dictionary

return metrics_dict

frames = import_clean(['LoanStats3a.csv', 'LoanStats2012.csv'], threshold=0.7)

visualize(frames)

train_df, test_df = combine(frames)

model = train(train_df)

metrics = test(train_df, test_df)

print(metrics)

下一步

如果你對加深了解和練習感興趣的話，我推薦：

 ●  了解如何将你的管道轉化為作為一個子產品或者從指令行中單獨運作的腳本：

https://docs.python.org/3/library/main.html

 ●  了解如何使用Luigi來建構更複雜的、能夠在雲上面運作的管道

https://marcobonzanini.com/2015/10/24/building-data-pipelines-with-python-and-luigi/

 ●  了解更多有關資料工程的資訊：

https://www.dataquest.io/blog/tag/data-engineering/

原文釋出時間為：2018-10-11

本文作者：Srini Kadamati

本文來自雲栖社群合作夥伴“

資料派THU

”，了解相關資訊可以關注“

”。