多选题

下列处理方式中，可达到Spark性能优化是（ ）

Question

A. 默认情况下,shuffle文件数目为map tasks * reduce tasks

B. 单条记录资源消耗过多时，可使用map替换mapPartition

C. spark.shuffle.consolidateFiles设置为false时,task会直接打开当前输入文件进行输入

D. 通过修改spark.default.parallelism参数可调整reduce的数目。通常，reduce数目应设置为core数目的2到3倍