这个Python版本必须是3.7的
首先讲一下数据清洗与预处理的定义
在百度百科中的定义是 – 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。
我自己理解的是，在我们不管是机器学习建模还是进行数据分析或者数据挖掘操作，我们首先都需要对数据进行预处理。我们拿到手的初始数据往往会存在缺失值、重复值、异常值或者错误值，影响实验结果，我们就需要进行数据清洗。或者是想要保持数据的一致性，也可以数据清洗。有时数据的原始变量不满足分析的要求，我们需要先对数据进行一定的处理，也就是数据的预处理。
数据清洗与预处理的目的是提高数据的质量，提高实验结果的可靠度。
连接数据库
import numpy as np
from pandas import DataFrame
import pandas as pd
import matplotlib.pyplot as plt
导入数据集
假设我们有一个已知的数据集如下：
{state’:[‘a’,’b’,’c’,’a’,’b’,’c’],
‘year’:[2018,2016,2017,2018,2016,2017],
‘average’:[87,85,88,87,85,88]},
from pandas import DataFrame
导入数据集
data = {‘state’:[‘a’,’b’,’c’,’a’,’b’,’c’],
‘year&
Original: https://blog.csdn.net/weixin_39816141/article/details/113979518
Author: weixin_39816141
Title: python实验二数据预处理_数据清洗与预处理-Python实现
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/678771/
转载文章受原作者版权保护。转载请注明原作者出处！