SparkException：此JVM中只能运行一个SparkContext（请参阅SPARK-2243）

Question

我看到几个帖子包含与我收到的错误相同的错误，但是没有一个帖子可以使我对我的代码进行修复。我已经多次使用这个完全相同的代码而没有任何问题，现在却遇到了问题。这是我收到的错误：

y4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243).

这是我在python脚本中启动上下文的方法：

spark = ps.sql.SparkSession.builder \
        .master("local[*]") \
        .appName("collab_rec") \
        .config("spark.mongodb.input.uri", "mongodb://127.0.0.1/bgg.game_commen$
        .getOrCreate()

sc = spark.sparkContext
sc.setCheckpointDir('checkpoint/')
sqlContext = SQLContext(spark)

如果您有任何建议，请告诉我。

Answer 1

SparkSession是Spark 2.x中的新入口点。这是SQLContext的替代，但是它在内部代码中使用SQLContext。

您使用SQLContext所做的一切都应该可以通过SparkSession实现。

如果您确实要使用SQLContext，请使用spark.sqlContext变量