spark中的哪个功能用于通过键组合两个RDD

Question

让我们说我有以下两个RDD，具有以下密钥对值。

rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ]

和

rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ]

现在，我想通过键值将它们连接起来，例如，我想返回以下内容

ret = [ (key1, [value1, value2, value5, value6]), (key2, [value3, value4, value7]) ]

如何使用Python或Scala在火花中执行此操作？一种方法是使用连接，但是连接会在该元组内部创建一个元组。但是我只希望每个键值对只有一个元组。

Answer 1

我将两个RDD和一个reduceByKey合并以合并值。

(rdd1 union rdd2).reduceByKey(_ ++ _)