外网连接HBase问题排查

淩亂°似流年 2022-05-29 04:27 202阅读 0赞

# TroubleShooting #

连接HBase测试代码：

1.  [https://blog.liyang.io/360.html][https_blog.liyang.io_360.html]
2.  [http://blog.csdn.net/yufei\_java/article/details/78585091][http_blog.csdn.net_yufei_java_article_details_78585091]

在使用上述代码更改对应配置内容：

// 声明静态配置
    static Configuration conf = null;
    static Connection connection = null;
    static {
        try {
            Configuration conf = HBaseConfiguration.create();
            conf.set("hbase.zookeeper.quorum", "master");
            conf.set("hbase.zookeeper.property.clientPort", "2181");
    
            conf.set("hbase.master", "master:60000");
            conf.setInt("hbase.regionserver.port", 16201);
    
            conf.setInt("hbase.rpc.timeout",2000);
            conf.setInt("hbase.client.operation.timeout",3000);
            conf.setInt("hbase.client.scanner.timeout.period",2000);
    
            connection = ConnectionFactory.createConnection(conf);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

在外网环境下连接HBase主机的时候出现过以下错误

## 1、 unknown host ##

这是因为配置文件设置的解析主机名称为`master`，这个时候需要修改本地的host文件，增加以下内容：

hbase主机公网地址 master

让我们电脑可以解析到域名所对应的IP地址，以便于建立请求。

## 2、 16201 is closing ##

Caused by: org.apache.hadoop.hbase.exceptions.ConnectionClosingException: Connection to master/xx.xx.xx.xx:16201 is closing. Call id=18, waitTime=618
    at org.apache.hadoop.hbase.ipc.RpcClientImpl$Connection.cleanupCalls(RpcClientImpl.java:1087)
    at org.apache.hadoop.hbase.ipc.RpcClientImpl$Connection.close(RpcClientImpl.java:863)
    at org.apache.hadoop.hbase.ipc.RpcClientImpl$Connection.run(RpcClientImpl.java:580)

其主要原因是因为我们通过外网访问zookeeper时无问题，但是HMaster进程在调度HRegionServer的时候请求不断被清空重发。在这种情况下我们需要查看web页面中的日志文件，hbase默认的界面访问端口为`60010`。  
![QQ截图20180316163516.png-6.7kB][QQ_20180316163516.png-6.7kB]

这里可能主要出现两种情况

1.  请求地址一直转到`1.1.1.1`，主要是因为无法解析Region Server`master,16201,1521185993651`字符串中的主机名称，导致将请求转至`1.1.1.1`这个IP地址。（`1.1.1.1`地址为APNIC-亚太互联网信息中心-所拥有的IP地址，主要用于承受互联网中的垃圾数据）
2.  修改域名映射地址之后好好，请求不断被重置，如下所示：
    
        2018-03-16 13:47:00,525 INFO  [Idle-Rpc-Conn-Sweeper-pool2-t1] ipc.AbstractRpcClient: Cleanup idle connection to master/192.168.122.1:16201
        2018-03-16 13:51:00,525 INFO  [Idle-Rpc-Conn-Sweeper-pool2-t1] ipc.AbstractRpcClient: Cleanup idle connection to master/192.168.122.1:16201
        2018-03-16 13:57:00,525 INFO  [Idle-Rpc-Conn-Sweeper-pool2-t1] ipc.AbstractRpcClient: Cleanup idle connection to master/192.168.122.1:16201
        2018-03-16 14:01:00,525 INFO  [Idle-Rpc-Conn-Sweeper-pool2-t1] ipc.AbstractRpcClient: Cleanup idle connection to master/192.168.122.1:16201
    
    则检查Host映射地址。

**解决方法：**  
使用命令：

ifconfg

查看本机的所被分配的ip地址，多次修改`hosts`文件配置映射关系，进行尝试。

[https_blog.liyang.io_360.html]: https://blog.liyang.io/360.html
[http_blog.csdn.net_yufei_java_article_details_78585091]: http://blog.csdn.net/yufei_java/article/details/78585091
[QQ_20180316163516.png-6.7kB]: /images/20220529/74c4636d25eb4ce38eb4d6b927d642b5.png