在pyspark中按行串联字符串

Question

我有一个pyspark数据框为

DOCTOR | PATIENT
JOHN   | SAM
JOHN   | PETER
JOHN   | ROBIN
BEN    | ROSE
BEN    | GRAY

并且需要按行连接患者姓名，以便获得如下输出：

DOCTOR | PATIENT
JOHN   | SAM, PETER, ROBIN
BEN    | ROSE, GRAY

有人可以帮我有关在pyspark中创建此数据框吗？

提前致谢。

Answer 1

我能想到的最简单的方法是使用 collect_list

import pyspark.sql.functions as f
df.groupby("col1").agg(f.concat_ws(", ", f.collect_list(df.col2)))