如何使用python进行数据表的合并

案例背景



假设我们的文件是放在G盘 python文件夹下单的projectFile文件夹中,具体的情况需根据读者文件位置进行设置

我们需要将下面两个文件,合并在一起


Python学习交流群:1004391443

合并前,data_1.csv的数据



合并前,data_2.csv的数据



实现代码如下:

#先导入需要的包

import pandas as pd

import csv

import sys

import glob

#定义一个文件存放位置变量。

input_path= 'G:\Python\projectFile'

#使用glob.glob的方法对所有data_开头的文件进行获取

all_files= glob.glob(os.path.join(input_path,'data_*')) 

#创建一个列表,用于接收所有读取的内容
all_data_frames=[]
#对获取的所有文件进行遍历
for file in all_files:
#对遍历的内容以csv格式进行读取
data_frame = pd.read_csv(file,index_col=None)
#把读取到的内容,增加到all_data_frames列表中
all_data_frames.append(data_frame)
#对放在列表中的内容进行拼接,axis参数为合并方向,0是纵向,1是横向
data_frame_concat=pd.concat(all_data_frames,axis=0,\
ignore_index=True)
#将合并后的文件,输出到新文件data_concat_output_file中

data_frame_concat.to_csv('G:\Python\projectFile\data_concat_output_file.csv',index=False)


设计思路,在这个案例中,我们将要合并的文件,读取后转化为列表的元素,再进行合并。

总结

这种方法也可以用于几百上千个文件需要 合并到一起的情况。

如果需要合并的文件的文件名称并不规则,那么我们可以先修改文件名称(给文件名加一个统一的前缀),再进行以上操作。想了解更多操作技巧,可关注公众号,后期将会有更多内容与大家分享。

发表评论
留言与评论(共有 0 条评论)
   
验证码:

相关文章

推荐文章

'); })();