使用pyspark覆盖spark输出

Question

我正在尝试使用PySpark中的以下选项覆盖Spark数据帧，但我不成功

spark_df.write.format('com.databricks.spark.csv').option("header", "true",mode='overwrite').save(self.output_file_path)

mode = overwrite命令失败

Answer 1

尝试：

spark_df.write.format('com.databricks.spark.csv') \
  .mode('overwrite').option("header", "true").save(self.output_file_path)