欢迎来到阿里云授权服务中心典名科技有限公司!咨询电话:023-66887777 18623333330

微信
手机版
网站地图

Hadoop使用时的常见问题以及解决方法

2021-09-15 15:35:42 投稿人 : admin 围观 : 248 次 0 评论

“Hadoop使用时的常见问题以及解决方法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Hadoop使用时的常见问题以及解决方法”吧!

1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer: 
程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。 修改办法: 修改2个文件。 
        /etc/security/limits.conf vi /etc/security/limits.conf 加上: 
* soft nofile 102400 * hard nofile 409600  
        $cd /etc/pam.d/     $sudo vi login 
        添加        session    required     /lib/security/pam_limits.so  


2:Too many fetch-failures Answer: 

出现这个问题主要是结点间的连通不够全面。 1) 检查 、/etc/hosts    要求本机ip 对应 服务器名 
   要求要包含所有的服务器ip + 服务器名 2) 检查 .ssh/authorized_keys 
   要求包含所有服务器(包括其自身)的public key  

未标题-1.jpg

3:处理速度特别的慢 出现map很快 但是reduce很慢 而且反复出现 reduce=0%  Answer: 结合第二点,然后 

修改 conf/hadoop-env.sh 中的export HADOOP_HEAPSIZE=4000   


4:能够启动datanode,但无法访问,也无法结束的错误 

在重新格式化一个新的分布式文件时,需要将你NameNode上所配置的dfs.name.dir这一namenode用来存放NameNode 持久存储名字空间及事务日志的本地文件系统路径删除,同时将各DataNode上的dfs.data.dir的路径 DataNode 存放块数据的本地文件系统路径的目录也删除。如本此配置就是在
NameNode上删除
/home/hadoop/NameData,在DataNode上删除/home/hadoop/DataNode1和/home/hadoop/DataNode2。这是因为Hadoop在格式化一个新的分布式文件系统时,每个存储的名字空间都对应了建立时间的那个版本(可以查看/home/hadoop /NameData/current目录下的VERSION文件,上面记录了版本信息),在重新格式化新的分布式系统文件时,最好先删除NameData 目录。必须删除各DataNode的dfs.data.dir。这样才可以使namedode和datanode记录的信息版本对应。 

注意:删除是个很危险的动作,不能确认的情况下不能删除!!做好删除的文件等通通备份!!  

5:java.io.IOException: 

Could not obtain block: blk_194219614024901469_1100 file=/user/hive/warehouse/src_20090724_log/src_20090724_log 出现这种情况大多是结点断了,没有连接上。  

6:java.lang.OutOfMemoryError: Java heap space 
出现这种异常,明显是jvm内存不够得原因,要修改所有的datanode的jvm内存大小。 Java -Xms1024m -Xmx4096m 

一般jvm的最大内存使用应该为总内存大小的一半,我们使用的8G内存,所以设置为4096m,这一值可能依旧不是最优的值。 

7: Namenode in safe mode  解决方法 

bin/hadoop dfsadmin -safemode leave  


8:java.net.NoRouteToHostException: No route to host j解决方法: 

sudo /etc/init.d/iptables stop  


9:更改namenode后,在hive中运行select 依旧指向之前的namenode地址 这是因为:When youcreate a table, hive actually stores the location of the table (e.g. 

hdfs://ip:port/user/root/...) in the SDS and DBS tables in the metastore . So when I bring up a new cluster the master has a new IP, but hive's metastore is still pointing to the locations within the old 
cluster. I could modify the metastore to update with the new IP everytime I bring up a cluster. But the easier and simpler solution was to just use an elastic IP for the master 
所以要将metastore中的之前出现的namenode地址全部更换为现有的namenode地址 

版权声明:本站部分文章内容、图片来源于网友推荐、互联网收集整理而来,仅供大家学习参考,不代表本站立场,如有侵权,请联系站长,我们会第一时间处理!本站原创内容未经允许不得转载,或转载时需注明出处:典名科技资讯门户

相关文章

  • linux如何查看文件夹什么时候创建的
    linux如何查看文件夹什么时候创建的

    这篇文章主要介绍“linux如何查看文件夹什么时候创建的”,在日常操作中,相信很多人在linux如何查看文件夹什么时候创建的问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux如何查看文件夹什么时候创建的...

    2022-05-23 13:46:59
  • linux中rz和sz命令不能用怎么解决
    linux中rz和sz命令不能用怎么解决

    本文小编为大家详细介绍“linux中rz和sz命令不能用怎么解决”,内容详细,步骤清晰,细节处理妥当,希望这篇“linux中rz和sz命令不能用怎么解决”文章能帮助大家解决疑惑,下面跟着小编的思路慢慢深入,一起来学习新知识吧。解决方法:1、...

    2022-05-23 13:46:59
  • linux为什么会产生zombie
    linux为什么会产生zombie

    这篇文章主要介绍了linux为什么会产生zombie的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇linux为什么会产生zombie文章都会有所收获,下面我们一起来看看吧。linux产生zombie(僵尸进程)...

    2022-05-23 13:46:58
  • linux中unzip找不到命令怎么解决
    linux中unzip找不到命令怎么解决

    这篇文章主要讲解了“linux中unzip找不到命令怎么解决”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“linux中unzip找不到命令怎么解决”吧!解决方法:1、利用“yum list...

    2022-05-23 13:46:56
  • linux中grep如何查找不包含
    linux中grep如何查找不包含

    今天小编给大家分享一下linux中grep如何查找不包含的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考一下,希望大家阅读完这篇文章后有所收获,下面我们一起来了解一下吧。在linux中,可以利...

    2022-05-23 13:46:56
  • linux中h文件指的是什么
    linux中h文件指的是什么

    这篇文章主要介绍“linux中h文件指的是什么”,在日常操作中,相信很多人在linux中h文件指的是什么问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux中h文件指的是什么”的疑惑有所帮助!接下来,请跟...

    2022-05-23 13:46:55
  • linux如何查询mysql的用户
    linux如何查询mysql的用户

    这篇文章主要介绍“linux如何查询mysql的用户”,在日常操作中,相信很多人在linux如何查询mysql的用户问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux如何查询mysql的用户”的疑惑有所...

    2022-05-23 13:46:55
  • linux中awk和sed有哪些区别
    linux中awk和sed有哪些区别

    这篇文章主要讲解了“linux中awk和sed有哪些区别”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“linux中awk和sed有哪些区别”吧!linux中awk和sed的区别:1、sed是...

    2022-05-23 13:46:55
  • linux中fork和exec有哪些区别
    linux中fork和exec有哪些区别

    这篇文章主要介绍“linux中fork和exec有哪些区别”,在日常操作中,相信很多人在linux中fork和exec有哪些区别问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”linux中fork和exec有哪...

    2022-05-23 13:46:54
  • linux中有没有access函数
    linux中有没有access函数

    这篇“linux中有没有access函数”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“linux中有没有access函数”文...

    2022-05-23 13:46:53
发表评论