基于Anaconda的pandas学习
*
– Pandas安装
– 创建对象
–
+ 创建Series对象
+ 创建DataFrame对象
+ 创建date_range
– 查看数据
– 获取数据
–
+ 直接获取
+ 索引获取
– 增删改数据
–
+ 索引及缺失值操作
– 运算
– 字符串操作
Pandas安装
第一步：找到开始桌面下的anaconda下面的anaconda prompt！
第二步：输入如下命令，如果提示你更新，那就去更新。
conda install pandas
创建对象
创建Series对象
import pandas as pd
pandas基于numpy 故需要导入numpy
import numpy as np
创建series对象 np.nan=not a number 默认索引从0开始
s1=pd.Series([10,20,30,40,np.nan])
print(s1)
查看相关数据：
当然也可以自己指定索引！在Series函数中传入参数index=list(‘abcde’)试试！
创建DataFrame对象
方法一：传入数据
series是一维 dataframe是二维
df1=pd.DataFrame([[1,2,3],[4,5,6],[7,8,9]])
print(df1)
方法二：传入数据和参数
series是一维 dataframe是二维
df1=pd.DataFrame([[1,2,3],[4,5,6],[7,8,9]],index=list('abc'),columns=list('ABC'))
print(df1)
方法三：用字典方式创建（其为列索引奥）
series是一维 dataframe是二维
df1=pd.DataFrame({'a':[1,2,3],'b':[2,4,6],'c':[3,6,9]})
print(df1)
如果想要改变行索引，则传入相应参数即可！
series是一维 dataframe是二维
df1=pd.DataFrame({'a':[1,2,3],'b':[2,4,6],'c':[3,6,9]},index=list('ABC'))
print(df1)
创建date_range
创建date_range索引 必须指定start end periods的两个参数值 否则报错
df2=pd.date_range('20220101',periods=12)
print(df2)
加入频率：D表示天 M表示月
创建date_range索引 必须指定start end periods的两个参数值 否则报错
df2=pd.date_range('20220101',periods=12,freq='3D')
print(df2)
查看数据
df3=pd.DataFrame(np.random.randint(1,20,(12,5)),index=df2,columns=['小白菜','竹笋','鱼籽烧','紫薯球','鸡翅'])
如果直接print可能对不齐 这里使用display自带表格
display(df3)
如果数据太多，查看相关数据的方法！
查看头部数据 默认5条
df3.head()
查看尾部的数据 默认5条 可以传递参数
df3.tail(3)
显示统计摘要
df3.describe()
插入数据 第一个参数是插入的列索引
df3.insert(len(df3.columns),'测试',list('abcdefghijkl'))
索引排序：
sort_index(axis=0, ascending=True, inplace=False, by=None)
axis：0按照行索引排序；1按照列索引排序
ascending：默认True升序排列；False降序排列
inplace：默认False，否则排序之后的数据直接替换原来的数据集
by：按照某一列或几列数据进行排序，但是by参数官方不建议使用
案例：
df5 = pd.DataFrame({'b': [1, 2, 2, 3], 'a': [4, 3, 2, 1], 'c': [1, 3, 8, 2]}, index=[2, 0, 1, 3])
print(df5)
print('* ' * 30)
df6 = df5.sort_index()
默认axis=0, 行变列不变, 默认根据行索引升序
print(df6)
值排序：
DataFrame.sort_values(by, axis=0, ascending=True, inplace=False)
by参数:如果axis=0，by="列名"。如果axis=1，那么by="行名"。如果行或列的名称类型是数字则 by=数字
案例：
df7 = df5.sort_values(by='c')
默认：ascending=True, axis=0
print(df5)
print('-'*20)
df7 = df5.sort_values(by=2, axis=1)
print(df7)
获取数据
直接获取
我们比较推荐最优化的pandas对数据进行处理，而不是python或者numpy。
例如.at, .iat, .loc, .iloc and .ix。
首先构造数据！
import pandas as pd
import numpy as np
构造Dataframe对象
arr = np.random.uniform(50, 101, (10, 5))
names = ['曹操', '刘备', '孙权', '陆逊', '张昭', '诸葛亮', '关羽', '赵云', '吕布', '典 韦']
courses = ['语文', '数学', '英语', '政治', 'Python']
df = pd.DataFrame(arr, index=names, columns=courses)
查看前五行数据
head_5 = df.head(5)
display(head_5)
查看基本信息
df.info()
获取列数据：
查看df中某一列的数据
lang = df.语文
等同于df['语文']
print(type(lang))
<class 'pandas.core.series.series'>
print(lang)
可以通过df[['语文', '数学']]查看多列数据
</class>
获取行数据（切片）：
查看一行或者连续多行数据 切片左包含右不包含
line = df[0: 1]
print(line)
print('*' * 30)
lines = df[1:3]
print(lines)
同时获取行列：
同时获取行和列
rows_cols = df[0:2][['语文', '数学', '英语']]
print(rows_cols)
索引获取
loc名称索引：使用索引名称作为参数来获取数据，有两个输入参数：
第一个参数指定行名，第二个指定列名。当只有一个参数时，默认是行名（即抽取整行），所有列都选中。（包含最后一个的）
行和列均是既可以用切片，又可以用列表（数组）。
1. df.loc[参数]获取一行,参数是index或者column的名称
line = df.loc['曹操']
print(type(line)) # <class 'pandas.core.series.series'> print(line)
1.1 df.loc[参数]获取多行
lines = df.loc[['曹操', '吕布']]
print(lines)
1.2 df.loc[参数]获取多列,所有行的数据
lines = df.loc[:, ['语文', '英语']]
print(lines)
1.3 df.loc[参数]获取多列,多行的数据
lines = df.loc['曹操': '关羽', '数学': '政治': 2]
print(lines)
loc的切片操作, 包含结束
1.4 df.loc[参数]获取多列,所有行的数据
lines = df.loc['曹操': '关羽', ::2]
print(lines)
</class>
iloc位置索引：使用位置索引（注意区分前面的名称索引）来获取！
iloc的切片操作, 不包含结束！！（试一下就知道啦！
2.df.iloc[参数]获取一行,参数是行或列索引的序号(数字)
line = df.iloc[0]
display(line)
2.1 df.iloc[参数]获取多行
lines = df.iloc[[0, -2]]
display(lines)
2.2 df.iloc[参数]获取多列,所有行的数据
lines = df.iloc[:, [0, 2]]
display(lines)
2.3 df.iloc[参数]获取多列,所有行的数据
lines = df.iloc[0: -3, 1: -1: 2]
display(lines)
iloc的切片操作, 不包含结束
布尔索引：
一个条件
bools = df['Python'] > 70
print(bools)
df2 = df[bools]
布尔索引
print(df2)
df2 = df.loc[bools]
print(df2)
多个条件
bools2 = (df['Python'] > 70) & (df['Python'] <= 85) bools2="(df['Python']"> 70) & (df['政治'] > 70)
print(bools2)
print(df[bools2])
满足条件后赋值
df.loc[df['Python'] > 70, 'Python'] = 85
print(df)
过滤数据 # 判断Python列的值是否包含[50, 51, 52]中任意一个
bools3 = df['Python'].isin([50, 51, 52])
print(bools3)
df2 = df.loc[bools3]
print(df2)
</=>
增删改数据
由于不断增删改，为了避免自己忘记了，可以动态获取行列索引值！
插入一列, 可以使arr, list, Series等。
arr = np.random.randint(50, 100, (10,))
列的索引位置：len(df.columns), 列名称：'Java', 列值：arr
df.insert(len(df.columns), 'Java', arr)
功能同下
df['Java'] = arr
插入一行
df3 = pd.DataFrame(np.random.randint(50, 100, (1, 6)), columns=df.columns, index=['张飞'])
print(df3)
print('--' * 30)
df2 = df.append(df3)
print(df2)
删除指定的列
df3 = df.drop('语文', axis=1)
删除列('语文')的时候需设置axis=1
df3 = df.drop(['Java', '语文'], axis=1)
删除多列
print(df3)
删除指定的行
df3 = df3.drop('曹操', axis=0)
删除行的时候需设置axis=0
print(df3)
索引及缺失值操作
reindex()方法用于创建一个符合新索引的新对象!
对于Series类型，调用reindex()会将数据按照新的索引进行排列,如果某个索引值之前不存在， 则引入缺失值
s1=pd.Series([1,7,3,9],index=['d','c','a','f'])
print(s1)
s2=s1.reindex(['a','b','c','d','e','f'])
print(s2)
对于DataFrame中，reindex()可以改变行索引和列索引
df = pd.DataFrame(np.arange(9).reshape((3, 3)), index=['a', 'c', 'd'], columns=['Ohio', 'Texas', 'California'])
print(df)
默认重建行索引
df2 = df.reindex(['a', 'b', 'c', 'd'])
print(df2)
可以使用columns关键字重建列索引
states = ['Texas', 'Utah', 'California']
df2.reindex(columns=states)
set_index()可以设置单索引和复合索引,调用这个函数会生成一个新的DataFrame, 新的df使用一个列或多个列作为索引。
df3=pd.DataFrame([['BAR','ONE','Z',1],['BAR','TWO','Y',2],['FOO','ONE','X',3],['FOO','TWO','W',3]],columns=list('abcd'))
display(df3)
c这一列作为索引 如果不想原来的c删除 则添加drop参数
df4=df3.set_index('c',drop=False)
display(df4)
设置多列索引
df4 = df3.set_index(['a', 'b'])
print(df4)
reset_index()，它是set_index()的反操作,调用它分层索引的索引层级会被还原到列中。
df4.reset_index()
缺失值处理：缺失值占整体不太多，可以直接删除，如果很多，那就需要填充！
df = pd.DataFrame(np.arange(9).reshape((3, 3)), index=['a', 'c', 'd'], columns=['Ohio', 'Texas', 'California'])
df.iloc[-1] = np.nan
print(df)
注意在numpy和pandas中axis规则不同！
删除nan axis=0是删除行 axis=1是删除列
df4 = df.dropna(axis=0, how='all') # any:包含一个nan就删除了，all是所有值都是nan才删除
display(df4)
填充nan 一般填充不是随便填充 这里仅作演示
df.fillna(10, inplace=True) # inplace=True直接修改df3的值
运算
运算，一般不包括缺失值奥！
value_counts非常重要！
构造Dataframe对象
arr = np.random.randint(50, 101, (10, 5))
names = ['曹操', '刘备', '孙权', '陆逊', '张昭', '诸葛亮', '关羽', '赵云', '吕布', '典 韦']
courses = ['语文', '数学', '英语', '政治', 'Python']
df = pd.DataFrame(arr, index=names, columns=courses)
df.iloc[1, 3] = np.nan
df.iloc[2, 2] = np.nan
df.iloc[6, 4] = np.nan
print(df)
1.6 value_counts：求一组数据中每个值出现的次数，用于一行或一列数据即Series
1.6.1 构建平均分列和评级列:优秀、良好、及格、不及格
level = df.mean(axis=1)
对原有数据复制一份
level_ = level.copy()
level_[(level >= 85) & (level <= 100)]="优秀" level_[(level>= 75) & (level < 85)] = '良好'
level_[(level >= 60) & (level < 75)] = '及格'
level_[(level >= 0) & (level < 60)] = '不及格'
添加平均分列和评级列
df['平均分'] = df.mean(axis=1)
print(df)
df['评级'] = level_
print(level_)
print(df)
</=>
1.6.2 统计level中各级别出现的次数
sort=True排序，ascending=True升序
series = df['评级'].value_counts(sort=True, ascending=True)
print(series)
字符串操作
df = pd.DataFrame({'movie_names': [' 复仇者联盟4：终局之战 \n\r', '\n\r阿凡达 Avatar', '泰坦尼克号 Titanic '], 'director': ['导演: 安东尼·罗素 / 乔·罗素', '詹姆斯·卡梅隆', '詹姆 斯·卡梅隆'], 'actor': ['小罗伯特·唐尼 / 克里斯·埃文斯 / 马克·鲁弗洛', '萨姆·沃辛 顿 / 佐伊·索尔达娜 / 西格妮·韦弗', '莱昂纳多·迪卡普里奥 / 凯特·温丝莱特 / 比利·赞恩'], 'type': ['剧情 / 动作 / 科幻 / 奇幻 / 冒险', '动作 / 科幻 / 冒险', '剧情 / 爱情 / 灾难']})
display(df)
print('*' * 40)
1. replace替换字符串
s = df['movie_names'].str.replace(r'\s+', '', regex=True)
r'\s+'是否为正则表达式
df['movie_names'] = s
display(df)
2. split拆分字符串
s = df['type'].str.split('/')
display(s)
小测试：统计上述各类型出现次数！
types=[j for i in list(s) for j in i]
pd.Series(types).value_counts()
Original: https://blog.csdn.net/qq_43779149/article/details/122586367
Author: 雾里看花花里看雾
Title: 基于Anaconda的pandas学习
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/675557/
转载文章受原作者版权保护。转载请注明原作者出处！