大数据常用启动命令

雨点打透心脏的1/2处 2023-08-17 17:22 111阅读 0赞

一、大数据集群：

1、zookeeper集群操作：

启动：bin/zkServer.sh start 【依次在hadoop102、hadoop103、hadoop104节点上启动zookeeper】

关闭：bin/zkServer.sh stop

查看状态：bin/zkServer.sh status

服务端口号：2181

2、Kafka集群操作（需先启动zookeeper）：

启动：bin/kafka-server-start.sh -daemon config/server.properties 【依次在hadoop102、hadoop103、hadoop104节点上启动kafka】

关闭：bin/kafka-server-stop.sh

创建topic：bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic recommender

查看topic信息：bin/kafka-topics.sh --zookeeper localhost:2181 --list

服务端口号：9092

3、hadoop集群操作：

格式化namenode：hadoop namenode -format

hdfs启动：sbin/start-dfs.sh 【在hadoop102节点启动】

yarn启动：sbin/start-yarn.sh【在hadoop103节点启动】

hdfs访问地址：[http://hadoop102:50070/explorer.html\#/][http_hadoop102_50070_explorer.html]

yarn访问地址：[http://hadoop103:8088/cluster][http_hadoop103_8088_cluster]

4、Hbase集群操作【前提zookeeper、hadoop正常部署】

集群时间同步：`ntpdate 0.cn.pool.ntp.org`

启动：bin/start-hbase.sh

停止：bin/stop-hbase.sh

查看Hbase页面：http://hadoop102:16010

5、spark集群操作：

启动：sbin/start-all.sh【在hadoop102节点启动】

查看spark页面：[http://hadoop102:8080/][http_hadoop102_8080]

5、hive启动（首先启动hadoop集群）：bin/hive

创建数据库并指定在hdfs上存放的位置：create database db\_hive2 location'/db\_hive2.db';

若报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)

设置mysql数据集格式：mysql> set global binlog\_format='MIXED';

二、数据操作

1、redis操作(设置了密码)：

redis默认安装位置：/usr/local/bin

redis.conf配置：

bind 192.168.1.102 \#绑定主机IP

requirepass 123456 \#密码

远程服务器执行命令：redis-cli –h IP地址 –p 端口 –a 密码

启动：redis-server /myredis/redis.conf

连接：redis-cli -p 6379 -a 123456

关闭：redis-cli -p 6379 -a 123456 shutdown

redis命令：

lpush userId:4867 231449:3.0

lrange userId:4867 0 -1

2、mongodb操作：

启动：mongod -config /opt/module/mongodb-3.4.3/data/mongodb.conf

关闭：mongod -shutdown -config /opt/module/mongodb-3.4.3/data/mongodb.conf

访问：mongo

查看mongodb是否启动：

netstat -nltp | grep 27017

ps -ef|grep mongodb

查看表信息：db.table.find().pretty()

根据表字段查询：db.table.find(\{userId:4867\})

3、sqoop操作

测试Sqoop是否能够成功连接数据库：bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password 123456

4、flume日志收集操作

开启收集命令：bin/flume-ng agent -c conf -f conf/collect\_click.conf -Dflume.root.logger=INFO,console -name a1

三、网络通信工具netcat：

安装：sudo yum install -y nc

服务端：nc -lk 44444

客户端： nc hadoop102 44444

转载于:https://www.cnblogs.com/wjh123/p/11537118.html

[http_hadoop102_50070_explorer.html]: http://hadoop102:50070/explorer.html#/
[http_hadoop103_8088_cluster]: http://hadoop103:8088/cluster
[http_hadoop102_8080]: http://hadoop102:8080/