遇到数据倾斜怎么解决？

Answer 1

1.表格联合时 将小表放在join前面 2.使用mapjoin优化器，将小表读取到内存中 3.如果计算时有空值，使用随机值的方式进行填充 4.尽量少用count(distinct 列)这种写法

Answer 2

看到很多回答，感觉很片面，这个问题看似具体，实际是一个很乏的问题，数据倾斜原因很多，有业务方面的问题也有技术上的问题，如果解决的看问题具体背景。

Answer 3

一般是某个map数据太多，建议加工逻辑进行优化  ，不要使同一字段的某个内容关联其他表出来的数据太多

Answer 4

看出现数据倾斜的原因。 如果是由于bug或者错误的数据，可以直接在where中过滤掉。 如果是正常数据null值过多可以赋随机值。

Answer 5

MPP可以尝试vacuum释放,再利用 更新/删除的行所占据的磁盘空间，更新POSTGRESQL查询计划中使用的统计数据，防止因事务ID的重置而使非常老的数据丢失。