Hadoop的Shuffle Error问题的解决。

dengyin2000

升级 43.67%

99 主题	99 主题	99 主题

举人

Rank: 3 Rank: 3

积分: 331

发消息

楼主| 发表于 2013-2-7 20:11:44 | 显示全部楼层 |阅读模式

今天在运行一个简单的mapred任务时，在reduce到到16的时候老是会出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.这个错误，运行几次都不行。网上google得知需要到hadoop-site.xml加上一个property解决。

<div class="quote_title"> 写道

使用道具举报

返回列表

		自动登录	找回密码
密码			立即注册

Hadoop的Shuffle Error问题的解决。

浏览过的版块