写入HDFS连接超时 about chunjun

[yangsishu]

你的hadoop是什么版本

[yangsishu]

首先你要确认下你的hadoop 搭建是没问题，你可以写个demo 程序看写入hadoop有没有问题

[zhihui-ge]

hadoop是2.7的，hadoop应该没有问题，flume可以写入数据到hdfs的，之前试过datax也是可以写入数据的

[yangsishu]

"dfs.client.failover.proxy.DHTestCluster.ns1": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider" 这个配置错了吧应该是

"dfs.client.failover.proxy.DHTestCluster": "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"

[zhihui-ge]

这个问题后来我发现了，改了还是报那个错的，这个方法都没有进去HdfsTextOutputFormat.writeSingleRecordInternal

[yangsishu]

com.dtstack.flinkx.hdfs.writer.HdfsOutputFormat.openInternal(HdfsOutputFormat.java:139) 是在这行访问hadoop报错了，这是初始化的动作

[yangsishu]

应该还是配置的问题

[yangsishu]

com.dtstack.flinkx.hdfs.writer.HdfsOutputFormat.openInternal 在这个方法设置个断点，debug下

[yangsishu]

"dfs.namenode.rpc-address.DHTestCluster.nn1": "hadoop1.test.yunwei.puppet.dh:8020" 端口应该是9000吧

[zhihui-ge]

端口是没有问题，使用ambari搭建的集群，配置的端口是8020

[yangsishu]

你能把hdfs-site.xml 的配置贴出来吗

[zhihui-ge]

粘贴了部分配置文件，job.json文件改成了9000端口，还是会去连接8020端口
`
dfs.namenode.rpc-address.xxxx.nn1
xxxx:8020

<property>
  <name>xxxxx.nn2</name>
  <value>xxxx:8020</value>
</property>`

[zhihui-ge]

xxxxx

[zhihui-ge]

可以了，有个配置写错了，不好意思耽误你的时间了