天天看点

电脑配置太低,pandas.read_csv无法读取大文件

pandas.read_csv()中有一个参数chunksize是控制分块读取的。

比如:df=pandas.read_csv(file,chunksize=1000)就是将文件按1000行1000的来读。读取的结果是一个可迭代对象。

因此,我们通过下面的一个函数先分块读取,最后合并数据,从而读取所有的数据:

def get_df(file):

mylist = []

for chunk in pd.read_csv(file, chunksize=1000):

mylist.append(chunk)

temp_df = pd.concat(mylist, axis= 0)

del mylist

return temp_df

df=get_df(file)就可以读取file所有的数据了

继续阅读