hadoop有关的问题


Hadoop命令在一次go中获取多个文件夹的大小

我试图找出hadoop命令,一次获得多个文件夹/方向的大小。
我可以通过下面的命令获得单个文件夹的大小:
Hadoop fs -du -s -h <directory>
如在


DistCP无法获得块MD5

源群集中有一个隐藏文件:
Part-1-1458.inprogress.xxxxxxxxx
实际上,这个文件是由Flink生成的,文件大小为0。
当我们使用DistCp复制目录时,我们遇到了一个


如何设置开始和结束行键HBASE

如果我有像这样的行键
A_c
B_c
J_f
F_d
D_c
我应该得到所有匹配的行 _ c。如何在这里设置开始和停止行键。我试图得到扫描结果的开始和停止行键,而不是。


Java.lang.ClassNotFoundException: 类org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe在Hive中找不到

我正在尝试处理hive中的多字符delmiter。
我已经成功创建了一个具有相同的表
创建外部表showtmp3(doc_name STRING,doc_content STRING) 行格式SERDE 'org.


如何使用 “WARN hadoop filesystemowner: found no group information for myname (auth:SIMPLE)” 停止hadoop垃圾邮件日志

我正在AWS EMR中的yarn上运行spark应用程序,并且我收到了此错误的MBs的垃圾邮件:
19/09/30 17:09:29 WARN hadoop filesystemowner: found no group information for myname (auth:SIMPLE),using m.


在VirtualBox gust redhat7.7 窗体中访问datanode Windows 10 主机java API

我试图在Windows上运行java代码,以访问带有redhat 6.1 的virtualbox 7.7 中的Hadoop 3.1.3。
所有组件运行良好的hadoop (NameNode,datanode,.)。
19856 NameNode
20864 NodeMana.


如何使用kafka-connect-HDFS将数据从kafka avro控制台流式传输到hdfs?

我试图运行kafka-connect-hdfs没有任何成功。
我已将以下行添加到。Bash _ profile并运行了 “source ~/.Bash _ profile”
Export LOG_DIR = ~/logs
Quickstart-hdfs.properties


Hive derby问题

我安装了hive-0.12.0 recenlty,但是当我在hive shell中运行查询时,它显示以下错误:
FAILED: 执行错误,从org.apache.hadoop.Hive.ql.exe c.DDLTask. java.lang返回代码 1。


HDFS无法启动Hadoop 3.2: 需要bash v3.2

我正在构建一个由 2 个节点组成的小型Hadoop集群: 1 个master 1 worker。我正在使用最新版本的Hadoop (3.2),一切都由根用户执行。在安装过程中,.


命名空间映像和编辑日志

从 “Hadoop权威指南” 一书中,在主题Namenodes和Datanodes下提到:
Namenode管理文件系统命名空间。它保持了
文件系统树和


Hive parseexception无法识别 &ldquo;显示” 附近的输入<eof>

我刚刚安装了hive,但它不起作用。我是
得到一个
ParseException失败/错误
当我登录到Hive并尝试在我的localhost目录中执行显示数据库查询时。