盘点 Pandas 中用于合并数据的 5 个最常用的函数！

我不是女神ヾ 2022-09-16 11:17 162阅读 0赞

![a4ba3368bda2e42ef2ed8cc9af9ead97.gif][]

作者：阿南 整理：小五

如何在Pandas合并数据，大家肯定都不陌生。

作为一个初学者，我发现自己学了很多，却没有好好总结一下。正好看到一位大佬 *Yong Cui* 总结的文章，我就按照他的方法，给大家分享用于Pandas中合并数据的 5 个最常用的函数。这样大家以后就可以了解它们的差异，并正确使用它们了。

![8e8f3b42ee62d0671e7bdf5fc8e7312a.png][]

在文章开始之前，我们需要创建两个简单的 DataFrame 对象。

import pandas as pd
    df0 = pd.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]})
    df1 = pd.DataFrame({"c": [2, 3, 4], "d": [5, 6, 7]})

![5bc6dc3cdfb6037b66a2a4720a0034ea.png][]

## 1、concat ##

concat 函数字面就是就是连接的意思，它可以帮我们横向或者纵向合并数据。

当你纵向合并数据时，需要将轴axis指定为0，这实际上也是默认值。

pd.concat([df0,
               df1.rename(columns={"c": "a", "d": "b"})],
              axis=0)

![1ef6bc08cde085dfdffd4cd6e3825ab7.png][]

当你横向合并数据时，具体操作如下所示。

pd.concat([df0, df1], axis=1)

![bbd910e1f972b9ec5faaa8c5eb81ee6b.png][]

默认情况下，当我们横向合并数据（沿列）时，Pandas其实是按照索引来连接的。当两者的索引不相同时，就会用 NaN 填充不重叠的，举个例子如下所示。

df2 = df1.copy() 
    df2.index = [1, 2, 3]
    pd.concat([df0, df2], axis=1)

![b107d7e7a701264869a54611745b2807.png][]

这只是个小例子，如果希望它们不受索引的影响，可以先重置索引再执行concat连接。

pd.concat([df0.reset_index(drop=True),
               df2.reset_index(drop=True)],
              axis=1)

![66d498632ebd8419a327ff89d86f3e13.png][]

重置索引后，df0 和 df2 的索引就变得一致了。

## 2、join ##

与 concat 对比，join 专门用于使用索引连接 DataFrame 对象之间的列。

df0.join(df1)

![d44d292aca8c06433a2eff4db2c85366.png][]

当索引不同时，join连接默认保留来自左侧 DataFrame 的行。右侧 DF 中没有左侧 DF 中匹配索引的行，会被删除，如下所示：

df0.join(df2)

![982788b1463334c301d15cf2063545f3.png][]

此外，还可以设置 how 参数，这点与SQL的语法一致。

# 右连接，使用 df2 的索引
    df0.join(df2, how="right")

![1ea37001f90f6d7bc7d81873b109f975.png][]

# "outer" 外连接
    df0.join(df2, how="outer")

![1586a700f13fc59c260ac4923fc8c1ad.png][]

# "inner" 内连接（交集）
    df0.join(df2, how="inner")

![2440a8d7ef3c2770420a54245734f3e8.png][]

## 3、merge ##

与join相比，merge更通用，它可以对列和索引执行合并操作。

基于列的合并，可以这样操作。

df0.merge(df1.rename(columns={"c": "a"}),
              on="a", how="inner")

![2c1b1794c49b7aff43c89a083bf8a702.png][]

on 参数定义两个 DataFrame 对象将合并到哪些列。当然，也可以分别指定左侧 DataFrame 和右侧 DataFrame 的合并列，如下所示。

df0.merge(df1, left_on="a", right_on="c")

![9e194196d62312134c6180f77760b8b8.png][]

除了 a 和 c 的单独列之外，它的结果与之前的合并几乎相同。这里，额外提两个特殊参数：笛卡尔积、使用后缀。

### 笛卡尔积 ###

how 参数设置为`cross`，构成笛卡尔积。是指两个数据框中的数据交叉匹配，出现`n1*n2`的数据量，具体如下所示。

df0.merge(df1, how="cross")

![f6c8a66dcd268071600bde999183bce8.png][]

### 使用后缀 ###

当两个 DataFrame 对象有同名的列，且想保持同时存在，就需要添加后缀来重命名这两列。默认情况下，左右数据框的后缀是“\_x”和“\_y”，我们还可以通过suffixes参数自定义设置。

df0.merge(df1.rename(columns={"c": "a", "d": "b"}),
              on="a", how="outer", suffixes=("_l", "_r"))

![a445eeabc5a6973f0c4dc8bc327f545e.png][]

## 4、combine ##

combine 函数在两个 DataFrame 对象之间执行按列合并，它与之前的方法还是有很大不同的。combine 的特殊之处，在于它接受一个函数参数。此函数采用两个系列，每个系列对应于每个 DataFrame 中的合并列，并返回一个系列作为相同列的元素操作的最终值。听起来很混乱？

让我们举个例子，看一下：

def taking_larger_square(s1, s2):
        return s1 * s1 if s1.sum() > s2.sum() else s2 * s2
    
    df0.combine(df1.rename(columns={"c": "a", "d": "b"}), taking_larger_square)

![9a1874d6cb0fd2f17c14c4ca8bf1b525.png][]

自定义的 `take_larger_square` 函数对 df0 和 df1 中的 a 列以及 df0 和 df1 中的 b 列进行操作。在两列 a 和两列 b 之间，`taking_larger_square` 取较大列中值的平方。

在这种情况下，df1 的 a 列和 b 列将作为平方，产生最终值，如上面的代码片段所示

## 5、append ##

回顾前文，我们讨论的大多数操作都是针对按列来合并数据。

如果按行合并（纵向）该如何操作呢？append 函数专门用于将行附加到现有 DataFrame 对象，创建一个新对象。我们先来看一个例子。

df0.append(df1.rename(columns={"c": "a", "d": "b"}))

![37bd53c338a36def623d305089941611.png][]

上面的操作是不是很眼熟？就跟第一个方法concat的实现效果一致。

不过除了逐行拼接DataFrame，append还可以附加 dict 字典对象，这种方法更加灵活，具体如下所示：

df0.append({"a": 1, "b": 2}, ignore_index=True)

![039ddd1a4c30f19631a2e53f7c8fd667.png][]

上面显示了一个简单的例子。请注意，您必须将 ignore\_index 设置为 True，因为字典对象没有 DataFrame 可以使用的索引信息。

## 小结 ##

总结一下，我们今天重新学习了 Pandas 中用于合并数据的 5 个最常用的函数。他们分别是：

*  concat\[1\]：按行和按列 合并数据；
 *  join\[2\]：使用索引按行合 并数据；
 *  merge\[3\]：按列合并数据，如数据库连接操作；
 *  combine\[4\]：按列合并数据，具有列间（相同列）元素操作；
 *  append\[5\]：以DataFrame或dict对象的形式逐行追加数据。

### 参考资料 ###

\[1\]

concat: https://pandas.pydata.org/docs/reference/api/pandas.concat.html

\[2\]

join: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.join.html\#pandas.DataFrame.join

\[3\]

merge: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.merge.html\#pandas.DataFrame.merge

\[4\]

combine: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.combine.html

\[5\]

append: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.append.html\#pandas.DataFrame.append

### 一日一书 ###

《Excel之美：迅速提高Excel数据能力的100个关键技能》：本书遵循“二八定律”，精心提炼Excel中最常用的20%的核心内容，整合成100个关键技能进行深入挖掘和详细讲解，帮助读者迅速提高数据处理能力并解决实际工作中80%的数据处理问题。列举的示例涉及行业领域广泛，既切合实际，又极具代表性和典型性。

**![d0b2d44c837faf2c29154764bd9680c2.png][]**

![22f037b2a53c797f3ce9ec00f63889a3.gif][]

点击这里，阅读更多数据文章！

[a4ba3368bda2e42ef2ed8cc9af9ead97.gif]: /images/20220828/41954d5f83c44ad2a9615169510fb16d.png
[8e8f3b42ee62d0671e7bdf5fc8e7312a.png]: /images/20220828/78bd3ec636124df6bb2798ba7879579f.png
[5bc6dc3cdfb6037b66a2a4720a0034ea.png]: /images/20220828/56c17d1f8902425da760d19bb4fcc2bd.png
[1ef6bc08cde085dfdffd4cd6e3825ab7.png]: /images/20220828/6db60fc0f6744d45af232f048a489a47.png
[bbd910e1f972b9ec5faaa8c5eb81ee6b.png]: /images/20220828/88d159f9d0ad418f93521a4c92caf836.png
[b107d7e7a701264869a54611745b2807.png]: /images/20220828/db23aff69b5745ee8e4bfb9d57180da1.png
[66d498632ebd8419a327ff89d86f3e13.png]: /images/20220828/b204d955b0d1476db8b87ffaca867101.png
[d44d292aca8c06433a2eff4db2c85366.png]: /images/20220828/3a7e7aadab3345fea8cd813f170bdfca.png
[982788b1463334c301d15cf2063545f3.png]: /images/20220828/b7bad69b977f453e8ed21160317c996e.png
[1ea37001f90f6d7bc7d81873b109f975.png]: /images/20220828/5dd5a10037fd4ea595f815e2871d39b4.png
[1586a700f13fc59c260ac4923fc8c1ad.png]: /images/20220828/29b35b1d6a9f493a9e5cbff04dd549e8.png
[2440a8d7ef3c2770420a54245734f3e8.png]: /images/20220828/3f5471a96edf42eea0dc554ad07e3818.png
[2c1b1794c49b7aff43c89a083bf8a702.png]: /images/20220828/97753211faef4705bee37e8c697daff3.png
[9e194196d62312134c6180f77760b8b8.png]: /images/20220828/6ada361e8eb145e9a4772659a343c04b.png
[f6c8a66dcd268071600bde999183bce8.png]: /images/20220828/eb6efc49e43e43a789144b7cebf54458.png
[a445eeabc5a6973f0c4dc8bc327f545e.png]: /images/20220828/a08dcd8b44af45fe876466ea36028055.png
[9a1874d6cb0fd2f17c14c4ca8bf1b525.png]: /images/20220828/761a92d11aa4446fa2c6206620a4495c.png
[37bd53c338a36def623d305089941611.png]: /images/20220828/87f185c7e1ea4a7f9d0b5903620c42c0.png
[039ddd1a4c30f19631a2e53f7c8fd667.png]: /images/20220828/65cc24e3a1ae42128c34b8253e0c6db0.png
[d0b2d44c837faf2c29154764bd9680c2.png]: /images/20220828/8242e362f8634a65801bc2183acb00a7.png
[22f037b2a53c797f3ce9ec00f63889a3.gif]: /images/20220828/5f8abc56465a4e33a6c4cec84e82993b.png