大数据技术栈整理

Myth丶恋晨 2022-11-28 00:43 252阅读 0赞

在这里插入图片描述

Kettle

http://www.kettle.net.cn/
在这里插入图片描述

Flume

http://flume.apache.org/
在这里插入图片描述

dataX

https://github.com/alibaba/DataX
https://www.oschina.net/p/datax?hmsr=aladdin1e1

埋点

在这里插入图片描述

hive

https://hive.apache.org/
在这里插入图片描述
在这里插入图片描述

安装tengine

  1. #下载链接
  2. http://tengine.taobao.org/download.html
  3. #所需依赖
  4. yum install gcc openssl-devel pcre-devel zlib-devel -y

./configure

在这里插入图片描述
需要先安装gcc

  1. yum install -y gcc

在这里插入图片描述
仅安装gcc还不够,还需要安装pcre-devel

  1. yum install -y pcre-devel

在这里插入图片描述
出现如下日志表示成功:
在这里插入图片描述

make && make install

  1. make && make install

出现下图表示成功:
在这里插入图片描述

启动tengine

tengine安装成功后会在/usr/local目录下生成nginx目录,进入其sbin目录即可启动tengine:

在这里插入图片描述
cd /usr/local/nginx/sbin/
在这里插入图片描述
访问时记得关闭防火墙或添加端口:
在这里插入图片描述

配置nginx为开机启动

  1. #1、在/etc/rc.d/init.d/目录中建立文本文件nginx
  2. #2、在文件中粘贴下面的内容:
  3. #!/bin/sh
  4. #
  5. # nginx - this script starts and stops the nginx daemon
  6. #
  7. # chkconfig: - 85 15
  8. # description: Nginx is an HTTP(S) server, HTTP(S) reverse \
  9. # proxy and IMAP/POP3 proxy server
  10. # processname: nginx
  11. # config: /etc/nginx/nginx.conf
  12. # config: /etc/sysconfig/nginx
  13. # pidfile: /var/run/nginx.pid
  14. # Source function library.
  15. . /etc/rc.d/init.d/functions
  16. # Source networking configuration.
  17. . /etc/sysconfig/network
  18. # Check that networking is up.
  19. [ "$NETWORKING" = "no" ] && exit 0
  20. nginx="/usr/local/nginx/sbin/nginx"
  21. prog=$(basename $nginx)
  22. NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
  23. [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
  24. lockfile=/var/lock/subsys/nginx
  25. make_dirs() {
  26. # make required directories
  27. user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
  28. options=`$nginx -V 2>&1 | grep 'configure arguments:'`
  29. for opt in $options; do
  30. if [ `echo $opt | grep '.*-temp-path'` ]; then
  31. value=`echo $opt | cut -d "=" -f 2`
  32. if [ ! -d "$value" ]; then
  33. # echo "creating" $value
  34. mkdir -p $value && chown -R $user $value
  35. fi
  36. fi
  37. done
  38. }
  39. start() {
  40. [ -x $nginx ] || exit 5
  41. [ -f $NGINX_CONF_FILE ] || exit 6
  42. make_dirs
  43. echo -n $"Starting $prog: "
  44. daemon $nginx -c $NGINX_CONF_FILE
  45. retval=$?
  46. echo
  47. [ $retval -eq 0 ] && touch $lockfile
  48. return $retval
  49. }
  50. stop() {
  51. echo -n $"Stopping $prog: "
  52. killproc $prog -QUIT
  53. retval=$?
  54. echo
  55. [ $retval -eq 0 ] && rm -f $lockfile
  56. return $retval
  57. }
  58. restart() {
  59. configtest || return $?
  60. stop
  61. sleep 1
  62. start
  63. }
  64. reload() {
  65. configtest || return $?
  66. echo -n $"Reloading $prog: "
  67. killproc $nginx -HUP
  68. RETVAL=$?
  69. echo
  70. }
  71. force_reload() {
  72. restart
  73. }
  74. configtest() {
  75. $nginx -t -c $NGINX_CONF_FILE
  76. }
  77. rh_status() {
  78. status $prog
  79. }
  80. rh_status_q() {
  81. rh_status >/dev/null 2>&1
  82. }
  83. case "$1" in
  84. start)
  85. rh_status_q && exit 0
  86. $1
  87. ;;
  88. stop)
  89. rh_status_q || exit 0
  90. $1
  91. ;;
  92. restart|configtest)
  93. $1
  94. ;;
  95. reload)
  96. rh_status_q || exit 7
  97. $1
  98. ;;
  99. force-reload)
  100. force_reload
  101. ;;
  102. status)
  103. rh_status
  104. ;;
  105. condrestart|try-restart)
  106. rh_status_q || exit 0
  107. ;;
  108. *)
  109. echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
  110. exit 2
  111. esac
  112. #3、修改nginx文件的执行权限
  113. chmod +x nginx
  114. #4、添加该文件到系统服务中去
  115. chkconfig --add nginx
  116. # 查看是否添加成功
  117. chkconfig --list nginx

启动,停止,重新装载nginx

  1. service nginx start|stop

发表评论

表情:
评论列表 (有 0 条评论,252人围观)

还没有评论,来说两句吧...

相关阅读

    相关 数据(三)数据技术发展史

    一、总览 大数据技术栈非常多估计大大小小多达上百种。但发展史、技术体系仍有迹可循。我们从数据采集、清洗、应用3大步骤来看,在每个步骤内部按照时序标识主流技术栈时间点。以此

    相关 数据 技术

    今天看到一篇有关云计算技术文章,把虚拟化和虚机集群管理OpenStack、容器Docker和容器集群管理Kubernetes、通用资源调度管理器Mesos和大数据处理调度管理器