通常，在利用python做数据分析时，pandas库的
pd.read_csv('XXX.csv')
是个很好用的导入csv文件的工具。
但是，今天在导入一份csv文件时却出现了UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb7 in position 0: invalid start byte
根据之前的经验，一般需要加上encoding的格式，然而加上encoding=’utf-8’后依然报错，错误同上。
data = pd.read_csv('XXX.csv',encoding='utf-8')
考虑到文件中有不少汉字，于是尝试改为gbk编码格式：
data = pd.read_csv('XXX.csv',encoding='gbk')
依然报错，错误如下：
UnicodeDecodeError: 'gbk' codec can't decode byte 0xaa in position 128912: illegal multibyte sequence
最后，将encoding改为’gb18030’即可正常读取。
data = pd.read_csv('XXX.csv',encoding='gb18030')
原因在于这份csv文件中有不少是汉字，所以在编码时可能会出现问题，常见的编码主要有：
1.ASCII码 与扩展的ASCII码。
2.Unicode编码：UTF-8就是Unicode字符的实现方式之一。
3.GBK/GB2312/GB18030：针对汉字的编码，如果csv文件中汉字较多，可能就需要这几中编码格式。如果不需要了解背后的原理的话，可以在实际使用中多尝试几次。
具体的编码原理与分类可以通过其他大佬的博客学习~
注意：如果导入使用了GB18030编码格式，那么在导出DataFrame到csv文件时，可能会出现乱码，可以指定导出的编码格式为 utf-8-sig，例如：
data.to_csv('test.csv', encoding = 'utf-8-sig', index = False)
Original: https://blog.csdn.net/qq_37383582/article/details/115422308
Author: YLL的LLY
Title: 写bug的日常——pandas导入csv文件的编码问题（UnicodeDecodeError:）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/678496/
转载文章受原作者版权保护。转载请注明原作者出处！