python批量读取txt文件为DataFrame

我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢?

python批量读取txt文件为DataFrame

首先我们要用到glob模块,这个python内置的模块可以说是非常的好用。

glob.glob('*.txt')

得到如下结果:

python批量读取txt文件为DataFrame

all.txt是我最后得到的结果文件。可以见返回的是一个包含txt文件名称的列表,当然如果你的文件夹下面只有txt文件,那么你用os.listdir()可以得到一个一样的列表

然后读取的时候只要注意txt文件的编码格式(可以用notepad++打开记事本查看)和间隔符的形式就好了,完整的代码如下:

import os
import pandas
import codecs
import glob
import pandas as pd

os.getcwd()
os.chdir('D:\AAAASXQ\python study\data preprocessing')

def txtcombine():

    files = glob.glob('*.txt')

    all = codecs.open('all.txt','a')

    for filename in flist:
        print(filename)
        fopen=codecs.open(filename,'r',encoding='utf-8')
        lines=[]
        lines=fopen.readlines()
        fopen.close()
        i=0
        for line in lines:
            for x in line:
                all.write(x)
        #读取为DataFrame格式
        all1 = pd.read_csv('all.txt',sep=' ',encoding='GB2312')
        #保存为csv格式
        all1.to_csv('all.csv',encoding='GB2312')

if __name__ == '__main__':
    txtcombine()

Original: https://www.cnblogs.com/mtcnn/p/9411634.html
Author: 未雨愁眸
Title: python批量读取txt文件为DataFrame

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/560097/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Neo4j使用方法总结

    导读 知识图谱由于其数据包含实体、属性、关系等,常见的关系型数据库诸如MySQL之类不能很好的体现数据的这些特点,因此知识图谱数据的存储一般是采用图数据库(Graph Databa…

    人工智能 2023年6月1日
    0142
  • 语音预处理之预加重

    语音经发声者的口唇辐射发出,空气作为语音信号传播的介质,在传播声音信号能量的同时也消耗能量,语音信号的频率越高,介质对声音能量的损耗越严重,预加重能在一定程度上弥补高频部分的损耗,…

    人工智能 2023年5月25日
    0110
  • 基于分层softmax的CBoW模型详解

    入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。 ✨word2vector系列展示✨一、CBOW1、朴素CBOW模型word…

    人工智能 2023年5月30日
    083
  • PyTorch学习笔记(4)–DataLoader的使用

    PyTorch学习笔记(4)–DataLoader的使用 本博文是PyTorch的学习笔记,第4次内容记录,主要介绍DataLoader的基本使用。 目录 PyTorch学习笔记(…

    人工智能 2023年6月17日
    0131
  • 比Tensorflow还强?

    大家好,我是章北海 Python是机器学习和深度学习的首选编程语言,但绝不是唯一。训练机器学习/深度学习模型并部署对外提供服务(尤其是通过浏览器) JavaScript 是一个不错…

    人工智能 2023年6月4日
    0113
  • Tensorflow for Java + Spark-Scala分布式机器学习计算框架的应用实践

    import tensorflow as tf from tensorflow.keras.models import Sequential from tensorflow.ker…

    人工智能 2023年5月25日
    062
  • Jupyter Notebook基础教程

    文章目录 Jupyter Notebook简介 * 创建一个新的Notebook cell – cell模式 快捷键 Kernel 简单的Python程序的例子 数据分…

    人工智能 2023年7月16日
    0101
  • 图像超分——Real-ESRGAN快速上手

    契源 想必每个自媒体行业从业者都面临过这样一种情况:从网络上找到一张素材做封面,然而素材图片往往太模糊。那么,有没有办法对其进行高清修复呢?这就是计算机视觉领域的子领域 图像超分所…

    人工智能 2023年7月27日
    073
  • 数学建模|预测方法:灰色预测模型

    简介 灰色系统理论是由华中理工大学邓聚龙教授于1982年提出并加以发展的。二十几年来,引起了不少国内外学者的关注,得到了长足的发展。目前,在我国已经成为社会、经济、科学技术在等诸多…

    人工智能 2023年6月19日
    0104
  • 详解 VOC 数据集

    本视频配套视频链接:https://www.bilibili.com/video/BV1ZL4y1p7Cz/ 我们先来介绍一个经典的数据集:VOC 数据集。Visual Objec…

    人工智能 2023年6月17日
    0227
  • 人工智能被应用在各个领域各个行业 给生活带来许多的便利

    人工智能用在哪?人工智能在近十年来飞速地发展,现在已经逐渐走进了我们的生活。 如今人工智能被应用在各个领域各个行业,不仅 推动了经济的发展,还给我们的生活带来了许多的便利。 那么 …

    人工智能 2023年5月23日
    0117
  • pytorch 写模型 tensor 常用的操作

    某个维度上做扩张 自身重复 tensor 定义数据类型 避免模型训练出错 增加一个1维度.unsqueeze(0) 删除一个1维度squeeze(0) tensor 拼接 cat …

    人工智能 2023年5月27日
    086
  • 图像数字化

    采样: 按一定的空间间隔自左到右、自上而下提取画面信息,将一幅连续的模拟图像在空间上转换成 若干个离散的像素点,每个像素点呈现不同的 颜色(彩色图像) 或 亮度(灰度图像)。 采样…

    人工智能 2023年6月22日
    089
  • YOLOv5用TensorBoard可视化结果解读

    计算公式: 其中TP为正确识别的判例个数,FN为有目标但识别为没有目标的判例个数。FP为没有目标但识别为有目标的判例个数。 Precision的含义为 模型正确识别的有目标判例占模…

    人工智能 2023年5月26日
    079
  • 《计算传播学导论》读书笔记:第七章 数据新闻

    目录 第七章 数据新闻 第一节 产生背景 第二节 理论源流 一、计算驱动的新闻报道 二、可视化驱动的新闻报道 三、制作流程 第三节 实战练习 一、维基解密阿富汗战争日志 二、奥运会…

    人工智能 2023年5月28日
    0128
  • 在python中使用SVM

    在python 中使用支持向量机 三、在python中使用SVM * 3.1 scikit-learn库 3.2 SVM在scikit-learn库中的使用 – 3.2…

    人工智能 2023年7月4日
    066
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球