Spark知识交流社区

RDD是弹性数据集，“弹性”体现在哪里呢？你觉得RDD有哪些缺陷？

为什么Spark Application在没有获得足够的资源，job就开始执行了，可能会导致什么什么问题发生?

Spark程序执行，有时候默认为什么会产生很多task，怎么修改默认task执行个数？

RDD有哪些缺陷？

hadoop和spark的shuffle相同和差异？

Spark为什么比mapreduce快？

Hive join过程中大表小表的放置顺序？

Spark中的HashShufle的有哪些不足？

rangePartioner分区器特点？

Spark累加器有哪些特点？

介绍一下cogroup rdd实现原理，你在什么场景下用过这个rdd？

map与flatMap的区别

说一说Spark程序编写的一般步骤？

Transformation和action是什么？举几个常用方法

Spark作业提交流程是怎么样的

控制Spark reduce缓存，调优Shuffle

Spark Streaming和Storm有何区别
 

RDD持久化原理？
 

数据倾斜的产⽣和解决办法？
 

Spark的特点是什么？
 

spark streaming中有状态转化操作？
 

说说updateStateByKey
 

spark有哪些组件？
 

DStream以及基本⼯作原理？
 

RDD持久化原理？
 

介绍partition和block有什么关联关系？

Spark使用parquet文件存储格式能带来什么好处？

Spark on yarn模式有哪些优点？

Spark为什么要持久化，一般什么场景下要进行persist操作？

spark的数据本地性有哪几种？