一、案例場景
字段login_place，一共267725行記錄,随機15條記錄如下：
後續資料分析工作需要用到地理次元進行分析，是以需要把login_place字段進行拆分成：國家、省份、地區。
二、初步方案
第三方中文分詞庫：jieba，可以對文本進行拆分。使用參考資料：jieba庫的使用。
初步方案：
- 用jieba.cut()将文本拆分為單詞清單list_word;
- 分支判斷list_word長度，指派國家、城市、地區。
代碼：（抽取1000條記錄，看一下我這台機器的運作時間）
%%time
# 地區拆分
for i in range(1000):
list_word=[word for word in jieba.cut(df.iloc[i,0])]
if len(list_word)==1:
if \'中國\' in df.iloc[i,0]:
df.loc[i,\'國家\']=df.iloc[i,0][0:2]
df.loc[i,\'省份\']=df.iloc[i,0][2:]
else:
df.loc[i,\'國家\']=df.iloc[i,0]
elif len(list_word)==2:
df.loc[i,\'國家\']=list_word[0]
df.loc[i,\'省份\']=list_word[1]
else:
df.loc[i,\'國家\']=list_word[0]
df.loc[i,\'省份\']=list_word[1]
df.loc[i,\'地區\']=list_word[2]
if i%100==0:
print(f\'{round(i*100/(int(1000)),2)}%\')
1000條用了1min 37秒。如果全部進行資料解析等待時間應該很久很久。有很多重複的記錄，這裡先去重，再跑一次代碼。
去重之後，隻有404不重複的記錄。
再跑一遍代碼，并且把結果儲存到本地檔案‘df_test.xlsx’。便于檢視jieba第三方分詞庫對本次資料拆分是不是想要的結果。
國家：
‘國家’這一列，中國***沒有拆分出來。
代碼試了一下，發現‘中國***’确實拆分不了。證明了***确實中國不可缺失的一部分。
省份：
‘省份’這一列拆分的更加糟糕。
總結：總資料集運作時間長，切詞不準确。需要優化拆分方案！
三、優化方案
在上面檢視Excel檔案時候發現‘login_place’字段的資料有以下特點：
- 整個資料集分類兩類：‘中國’和外國；
- 中國的省份大多是兩個字，除了‘黑龍江’和‘内蒙古’；
- 外國的，隻有國家記錄。
優化方案：
- 對國家判斷，形成分支：中國和外國；
- 對于中國，再判斷省份是不是‘黑龍江’和‘内蒙古’。
- 不是：可以直接切分[2:4]，提取省份。[4:]，提取地區；
- 是：[2:5]提取省份。[5:]提取地區
%%time
# 地區拆分
for i in range(df.shape[0]):
if \'中國\' in df.iloc[i,0] :
df.loc[i,\'國家\'] = \'中國\'
if (\'内蒙古\' in df.iloc[i,0]) or (\'黑龍江\' in df.iloc[i,0]):
# print(df.iloc[i,0])
df.loc[i,\'省份\'] = df.iloc[i,0][2:5]
if len(df.iloc[i,0]) > 5:
df.loc[i,\'地區\'] = df.iloc[i,0][5:]
else:
df.loc[i,\'省份\'] = df.iloc[i,0][2:4]
df.loc[i,\'地區\'] = df.iloc[i,0][4:]
else:
list_word = [word for word in jieba.cut(df.iloc[i,0])]
if len(list_word) == 1:
df.loc[i,\'國家\'] = df.iloc[i,0][0:2]
df.loc[i,\'省份\'] = df.iloc[i,0][2:]
else:
df.loc[i,\'國家\'] = list_word[0]
df.loc[i,\'省份\'] = list_word[1]
if i%100==0:
print(f\'{round(i*100/(int(df.shape[0])),2)}%\')
儲存Excel檔案，再次檢視拆分情況。經過去重後的測試集拆分符合想要的結果。
運作未去重源資料集結果：