centOS7.3__eclipse在hadoop集群平台上的安装配置

缺乏、安全感 2022-02-13 11:15 268阅读 0赞

首先centOS需要一个桌面环境，才能用远程桌面对eclipse进行开发使用。

\[hadoop@master ~\]$ sudo yum groupinstall "GNOME Desktop" "Graphical Administration Tools"

下面这个命令好像可以看你装的桌面有哪些。

\[hadoop@node1 system\]$ yum grouplist

这里的远程桌面工具使用VNC。Xmaneger？抱歉贫穷阻挡了我前进的脚步

\[hadoop@node1 packages\]$ sudo yum install tigervnc-server -y

\[hadoop@node1 packages\]$ vncpasswd root  
Password:  
Verify:  
Would you like to enter a view-only password (y/n)? n  
A view-only password is not used

配置两个可以远程操作的桌面：

\[hadoop@node1 packages\]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:1.service  
\[hadoop@node1 packages\]$ sudo cp /lib/systemd/system/vncserver@.service /etc/systemd/system/vncserver@:2.service

\[hadoop@node1 system\]$ sudo vim /etc/systemd/system/vncserver\\@\\:1.service

\[hadoop@node1 system\]$ sudo vim /etc/systemd/system/vncserver\\@\\:2.service

网上有一些教程会复制到与源文件在同一目录下，反正我的始终是不行的...后来才发现这个[教程][Link 1]，简直是我滴大救星啊啊啊啊!!就是里面的配置文件不太完整。我的配置文件如下：亲测可用~

[Unit]
    Description=Remote desktop service (VNC)
    After=syslog.target network.target
    
    [Service]
    Type=forking
    
    # Clean any existing files in /tmp/.X11-unix environment
    ExecStartPre=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
    ExecStart=/sbin/runuser -l root -c "/usr/bin/vncserver %i"
    PIDFile=/root/.vnc/%H%i.pid
    ExecStop=/bin/sh -c '/usr/bin/vncserver -kill %i > /dev/null 2>&1 || :'
    
    [Install]
    WantedBy=multi-user.target

配置完成，启动！

\[hadoop@node1 system\]$ vncserver :1  
会让你输密码，输完后就可以打开win的VNC客户端进行连接了。

在客户端中输入：

192.168.40.40:1

也会让你再输入密码，然后就可以远程桌面控制啦~

win10上安装客户端版的VNC，下载地址在[这里][Link 2]。

之前下载的许多VNC配置多多少少都有问题。可以通过

rpm -qa | grep vnc

命令查看安的关于VNC的软件

通过以下命令进行删除

yum remove \[package\]

yum提示Another app is currently holding the yum lock; waiting for it to exit...

rm -f /var/run/yum.pid

centOS上要有java，eclipse，eclipse的下载地址在[这里][Link 3]或者[这里][Link 4]，我的jdk版本是1.8，因为1.11的jdk会出现与hadoop集权不匹配的错误和警告。

eclipse安装步骤：

# tar xf eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz -C /opt      #将eclipse解压到/opt目录下
    # ln -s /opt/eclipse/eclipse /usr/bin/eclipse     #创建软连接

centOS上要有ant，才能编译hadoop-eclipse的插件。

\[hadoop@master ~\]$ sudo yum install -y ant

emmmm好吧好像可以直接用...我原以为hadoop2.7版本需要重新编译，但实践证明是不需要的。

要在 Eclipse 上编译和运行 MapReduce 程序，需要安装 hadoop-eclipse-plugin，可下载 Github 上的 [hadoop2x-eclipse-plugin][]（备用下载地址：[http://pan.baidu.com/s/1i4ikIoP][http_pan.baidu.com_s_1i4ikIoP]）。

下载后，将 release 中的 hadoop-eclipse-kepler-plugin-2.6.0.jar （还提供了 2.2.0 和 2.4.1 版本）复制到 Eclipse 安装目录的 plugins 文件夹中，运行 `eclipse -clean` 重启 Eclipse 即可（添加插件后只需要运行一次该命令，以后按照正常方式启动就行了）。

# 连接到hadoop集群并对hdfs进行I/O操作 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70][]

添加hadoop目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 1][]

选择one perspective，在弹出的窗口中选择mapreduce

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 2][]

在如图的空白区域右键新建hadoop location，填上主机的IP

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 3][]

端口是defaultFS,即默认的DFS端口，在core-site文件中进行的配置。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 4][]

创建完成后可以右键hdfs文件系统中的文件并对其进行上传下载的操作。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 5][]

*Tips*

HDFS 中的内容变动后，Eclipse 不会同步刷新，需要右键点击 Project Explorer中的 MapReduce Location，选择 Refresh，才能看到变动后的文件。

点击[查看HDFS文件系统数据的三种方法][HDFS]可进行扩展学习。

①借助eclipse

②http://IP地址:50070

③命令行：hdfs dfs -text ...

# 在eclipse中创建一个mapreduce项目 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 6][]

......

后续详见：[http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/][http_dblab.xmu.edu.cn_blog_hadoop-build-project-using-eclipse]

[Link 1]: https://blog.csdn.net/weixin_39992639/article/details/80181186
[Link 2]: https://www.realvnc.com/en/connect/download/viewer/windows/
[Link 3]: http://www.eclipse.org/downloads/packages/release/Juno/SR2
[Link 4]: https://www.eclipse.org/downloads/packages/
[hadoop2x-eclipse-plugin]: https://github.com/winghc/hadoop2x-eclipse-plugin
[http_pan.baidu.com_s_1i4ikIoP]: http://pan.baidu.com/s/1i4ikIoP
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70]: /images/20220213/d3978f9338b948db9830a9e19bd925de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 1]: /images/20220213/2391d9d1b2cf446ba26b140b777678a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 2]: /images/20220213/12a7f62aead44b6691c91417d0b980d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 3]: /images/20220213/7750ebb81b824289bcaa5d158baa439c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 4]: /images/20220213/32457f8636bf479baed619fc2a13f235.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 5]: /images/20220213/e572cb2db2814633a271af689e850941.png
[HDFS]: http://dblab.xmu.edu.cn/blog/893-2/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvd29ybGQwOTA2_size_16_color_FFFFFF_t_70 6]: /images/20220213/b474ebfb4ad24a9b8d1394c32f015f70.png
[http_dblab.xmu.edu.cn_blog_hadoop-build-project-using-eclipse]: http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/