Hadoop性能调优？

Answer 1

调优可以通过系统配置、程序编写和作业调度算法来进行。 hdfs的block.size可以调到128/256（网络很好的情况下，默认为64） 调优的大头：mapred.map.tasks、mapred.reduce.tasks设置mr任务数（默认都是1） mapred.tasktracker.map.tasks.maximum每台机器上的最大map任务数 mapred.tasktracker.reduce.tasks.maximum每台机器上的最大reduce任务数 mapred.reduce.slowstart.completed.maps配置reduce任务在map任务完成到百分之几的时候开始进入 这个几个参数要看实际节点的情况进行配置，reduce任务是在33%的时候完成copy，要在这之前完成map任务，（map可以提前完成） mapred.compress.map.output,mapred.output.compress配置压缩项，消耗cpu提升网络和磁盘io 合理利用combiner 注意重用writable对象