hive执行作业时☢reduce任务个数设

1、hive执行作业时reduce任务个数设

reducer个数的设定➳极大影响执行效率❀

1. hive.exec.reducers.bytes.per.reducer（默认为1000^3）

2. hive.exec.reducers.max（默认为999） 计算reducer数♙的公式很简单： N=min(参数2，总输入数据量/参数1) 通常情况下，有必要手动指定reducer个数。考虑到map阶段的输出数据量通常会比输入有大幅减少，因❤此即使不设定reducer个数，重设参数2还是必要♝的。依据Hadoop的经验，可以将参数2设定为0.95(集群中TaskTracker个数)。 正确的reduce任务的 个数应该是 0.95或者1.75 ×（节点数 ×mapred.tasktracker.tasks.maximum参数值）

感谢您的来访，获取更多精彩文章请收藏本站。