一、关系型连接
- 连接的基本概念
把两张相关的表按照某一个或某一组键连接起来是一种常见操作，例如学生期末考试各个科目的成绩表按照姓名和班级连接成总的成绩表，又例如对企业员工的各类信息表按照员工ID号进行连接汇总。由此可以看出，在关系型连接中，键是十分重要的，往往用on参数表示。
另一个重要的要素是连接的形式。在pandas中的关系型连接函数merge和join中提供了how参数来代表连接形式，分为左连接left、右连接right、内连接inner、外连接outer，它们的区别可以用如下示意图表示。(熟悉SQL的同学应该很懂)
从图中可以看到，所谓左连接即以左表的键为准，如果右表中的键于左表存在，那么就添加到左表，否则则处理为缺失值，右连接类似处理。内连接只负责合并两边同时出现的键，而外连接则会在内连接的基础上包含只在左边出现以及只在右边出现的值，因此外连接又叫全连接。
上面这个简单的例子中，同一个表中的键没有出现重复的情况，那么如果出现重复的键应该如何处理？只需把握一个原则，即只要两边同时出现的值，就以笛卡尔积的方式加入，如果单边出现则根据连接形式进行处理。其中，关于笛卡尔积可用如下例子说明：设左表中键张三出现两次，右表中的张三也出现两次，那么逐个进行匹配，最后产生的表必然包含2*2个姓名为张三的行。下面是一个对应例子的示意图。
显然在不同的场合应该使用不同的连接形式。其中左连接和右连接是等价的，由于它们的结果中的键是被一侧的表确定的，因此常常用于有方向性地添加到目标表。内外连接两侧的表，经常是地位类似的（左右表位置的交换不引起结果的变化），想取出键的交集或者并集，具体的操作还需要根据业务的需求来判断。
2.值连接
在上面示意图中的例子中，两张表根据某一列的值来连接，事实上还可以通过几列值的组合进行连接，这种基于值的连接在pandas中可以由merge函数实现，例如第一张图的左连接。
import numpy as np
import pandas as pd
df1 = pd.DataFrame({'Name':['San Zhang','Si Li'], 'Age':[20,30]})
df2 = pd.DataFrame({'Name':['Si Li','Wu Wang'], 'Gender':['F','M']})
df1.merge(df2, on='Name', how='left')
result:
Name Age Gender
0 San Zhang 20 NaN
1 Si Li 30 F
如果两个表中想要连接的列不具备相同的列名，可以通过left_on和right_on指定
df1 = pd.DataFrame({'df1_name':['San Zhang','Si Li'], 'Age':[20,30]})
df2 = pd.DataFrame({'df2_name':['Si Li','Wu Wang'], 'Gender':['F','M']})
df1.merge(df2, left_on='df1_name', right_on='df2_name', how='left')
result:
df1_name Age df2_name Gender
0 San Zhang 20 NaN NaN
1 Si Li 30 Si Li F
如果两个表中的列出现了重复的列名，那么可以通过suffixes参数指定。例如合并考试成绩的时候，第一个表记录了语文成绩，第二个是数学成绩。
df1 = pd.DataFrame({'Name':['San Zhang'],'Grade':[70]})
df2 = pd.DataFrame({'Name':['San Zhang'],'Grade':[80]})
df1.merge(df2, on='Name', how='left', suffixes=['_Chinese','_Math'])
result:
Name Grade_Chinese Grade_Math
0 San Zhang 70 80
在某些时候出现重复元素是麻烦的，例如两位同学来自不同的班级，但是姓名相同，这种时候就要指定on参数为多个列使得正确连接。
df1 = pd.DataFrame({'Name':['San Zhang', 'San Zhang'],
'Age':[20, 21],
'Class':['one', 'two']})
df2 = pd.DataFrame({'Name':['San Zhang', 'San Zhang'],
'Gender':['F', 'M'],
'Class':['two', 'one']})
df1
result:
Name Age Class
0 San Zhang 20 one
1 San Zhang 21 two
df2
result:
Name Gender Class
0 San Zhang F two
1 San Zhang M one
df1.merge(df2, on=['Name', 'Class'], how='left')
result:
Name Age Class Gender
0 San Zhang 20 one M
1 San Zhang 21 two F
从上面的例子来看，在进行基于唯一性的连接下，如果键不是唯一的，那么结果就会产生问题。举例中的行数很少，但如果实际数据中有几十万到上百万行的进行合并时，如果想要保证唯一性，除了用duplicated检查是否重复外，merge中也提供了validate参数来检查连接的唯一性模式。这里共有三种模式，即一对一连接1:1，一对多连接1:m，多对一连接m:1连接，第一个是指左右表的键都是唯一的，后面两个分别指左表键唯一和右表键唯一。
3.索引连接
所谓索引连接，就是把索引当作键，因此这和值连接本质上没有区别，pandas中利用join函数来处理索引连接，它的参数选择要少于merge，除了必须的on和how之外，可以对重复的列指定左右后缀lsuffix和rsuffix。其中，on参数指索引名，单层索引时省略参数表示按照当前索引连接。
df1 = pd.DataFrame({'Age':[20,30]}, index=pd.Series(['San Zhang','Si Li'],name='Name'))
df2 = pd.DataFrame({'Gender':['F','M']}, index=pd.Series(['Si Li','Wu Wang'],name='Name'))
df1.join(df2, how='left')
result:
Age Gender
Name
San Zhang 20 NaN
Si Li 30 F
语文和数学分数合并的join版本
df1 = pd.DataFrame({'Grade':[70]}, index=pd.Series(['San Zhang'], name='Name'))
df2 = pd.DataFrame({'Grade':[80]}, index=pd.Series(['San Zhang'], name='Name'))
df1.join(df2, how='left', lsuffix='_Chinese', rsuffix='_Math')
result:
Grade_Chinese Grade_Math
Name
San Zhang 70 80
如果想要进行类似于merge中以多列为键的操作的时候，join需要使用多级索引，例如在merge中的最后一个例子可以如下写出。
df1 = pd.DataFrame({'Age':[20,21]}, index=pd.MultiIndex.from_arrays([['San Zhang', 'San Zhang'],['one', 'two']], names=('Name','Class')))
df2 = pd.DataFrame({'Gender':['F', 'M']}, index=pd.MultiIndex.from_arrays([['San Zhang', 'San Zhang'],['two', 'one']], names=('Name','Class')))
df1
result:
Age
Name Class
San Zhang one 20
two 21
df2
result:
Gender
Name Class
San Zhang two F
one M
df1.join(df2)
result:
Age Gender
Name Class
San Zhang one 20 M
two 21 F
三、类连接操作
除了上述介绍的若干连接函数之外，pandas中还设计了一些函数能够对两个表进行某些操作，这里把它们统称为类连接操作。
1.比较
compare是在1.1.0后引入的新函数，它能够比较两个表或者序列的不同处并将其汇总展示。
df1 = pd.DataFrame({'Name':['San Zhang', 'Si Li', 'Wu Wang'],
'Age':[20, 21 ,21],
'Class':['one', 'two', 'three']})
df2 = pd.DataFrame({'Name':['San Zhang', 'Li Si', 'Wu Wang'],
'Age':[20, 21 ,21],
'Class':['one', 'two', 'Three']})
df1.compare(df2)
result:
Name Class
self other self other
1 Si Li Li Si NaN NaN
2 NaN NaN three Three
结果中返回了不同值所在的行列，如果相同则会被填充为缺失值NaN，其中other和self分别指代传入的参数表和被调用的表自身。
如果想要完整显示表中所有元素的比较情况，可以设置keep_shape=True.
df1.compare(df2, keep_shape=True)
result:
Name Age Class
self other self other self other
0 NaN NaN NaN NaN NaN NaN
1 Si Li Li Si NaN NaN NaN NaN
2 NaN NaN NaN NaN three Three
2.组合
combine函数能够让两张表按照一定的规则进行组合，在进行规则比较时会自动进行列索引的对齐。对于传入的函数而言，每一次操作中输入的参数是来自两个表的同名Series，依次传入的列是两个表列名的并集，例如下面这个例子会依次传入A,B,C,D四组序列，每组为左右表的两个序列。同时，进行A列比较的时候，s2指代的就是一个全空的序列，因为它在被调用的表中并不存在，并且来自第一个表的序列索引会被reindex成两个索引的并集。具体的过程可以通过在传入的函数中插入适当的print方法查看。
下面的例子表示选出对应索引位置较小的元素
def choose_min(s1, s2):
s2 = s2.reindex_like(s1)
res = s1.where(s1<s2, 0 1 2 s2) res="res.mask(s1.isna())" # isna表示是否为缺失值，返回布尔序列 return df1="pd.DataFrame({'A':[1,2]," 'b':[3,4], 'c':[5,6]}) df2="pd.DataFrame({'B':[5,6]," 'c':[7,8], 'd':[9,10]}, index="[1,2])" df1.combine(df2, choose_min) result: a b c d nan 4.0 6.0 nan< code></s2,>
设置overtwrite参数为False可以保留被调用表中未出现在传入的参数表中的列，而不会设置未缺失值。
df1.combine(df2, choose_min, overwrite=False)
result:
A B C D
0 1.0 NaN NaN NaN
1 2.0 4.0 6.0 NaN
2 NaN NaN NaN NaN
df1 = pd.DataFrame({'A':[1,2], 'B':[3, np.nan]})
df2 = pd.DataFrame({'A':[5,6], 'B':[7,8]}, index=[1,2])
df1.combine_first(df2)
result:
A B
0 1.0 3.0
1 2.0 7.0
2 6.0 8.0
Original: https://blog.csdn.net/ytp552200ytp/article/details/115179070
Author: 000X000
Title: Python之Pandas连接详解
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/676523/
转载文章受原作者版权保护。转载请注明原作者出处！