宝玛科技网
您的当前位置:首页Hadoop 空间不足怎么办?

Hadoop 空间不足怎么办?

来源:宝玛科技网

  

Hadoop 空间不足,hive首先就会没法跑了,进度始终是0%。

解决的办法,自然是清理空间。但是清理空间也要有步骤。

  • 检查总体情况

    $ hadoop dfsadmin -report

  • $ hdfs dfs -du -h /

  • 清理

    • 一种是先清理数据表,去hive,impala里删除表

    但是这个并无法清理干净

    • 清理完表之后,删除文件

      删除的时候要注意使用-skipTrash选项,否则不会马上删除,而是转到垃圾桶了。

如何设置配额

hdfs空间不足,还可以给用户设置空间配额,避免每个用户占用的空间过大。具体命令如下

#设置配额
    hdfs dfsadmin -setSpaceQuota 2G /user/tom
#清除配额
    hdfs dfsadmin -clrSpaceQuota /user/tom
#察看配额
    hdfs dfs -count -q -v  /user/tom

转载于:https://my.oschina.net/pearma/blog/2871

因篇幅问题不能全部显示,请点此查看更多更全内容