flume+kafka+hdfs日志系统

港控/mmm° 2022-06-17 10:54 198阅读 0赞

1. flume 1.7.0中的sink类型为hdfs 2.8.0，flume如何将文件发给hdfs中：

（1） 要导入对应的包

commons-configuration-1.6.jar
    hadoop-annotations-2.8.0.jar
    hadoop-auth-2.8.0.jar
    hadoop-common-2.8.0.jar
    hadoop-hdfs-2.8.0.jar
    hadoop-hdfs-client-2.8.0.jar

将这些jar包从hadoop中拷贝到flume的lib目录下。

同时要修改flume的conf/flume-env.sh.template

# Note that the Flume conf directory is always included in the classpath.
    export FLUME_CLASSPATH="/home/sff/logSystem/apache-flume-1.7.0-bin/lib/"
    FLUME_CLASSPATH="/home/sff/logSystem/apache-flume-1.7.0-bin/lib/"

做到这一步的时候，运行的话会出现一个  No FileSystem for scheme:

（2）解决No FileSystem for scheme:错误

将hadoop中的hadoop-commom-x.jar里面的core-default.xml文件取出并修改，添加如下代码：

<property>
    <name>fs.hdfs.impl</name>
    <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
    <description>The FileSystem for hdfs: uris.</description>
    </property>

flume重新运行，flume发送文件，如果这是报DistributedFileSystem no class之类的错误，这是就需要再进一步修改：

解决方法：  
vi ./hadoop-common-project/hadoop-auth/pom.xml  
vi ./hadoop-common-project/hadoop-common/pom.xml

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-annotations</artifactId>
    <scope>compile</scope>
    </dependency>

将节点hadoop-annotations的值由provide 改成compile

最终运行flume,sink hdfs发送文件。

2. hadoop 在hdfs namenode -format 的时候导致namenode的cluster和datanode的cluster id不一致导致datanode启动不起来

看linux下/tmp/hadoop-root/dfs/data/currentVERSION 中把datanode clusterId的值改成namenode clusterId

3. hadoop中的logs/hadoop-root-secondarynamenode-localhost.localdomain.log 文件报错

2016-06-09 18:07:04,364 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpoint
    java.io.IOException: Inconsistent checkpoint fields.
    LV = -60 namespaceID = 584809856 cTime = 0 ; clusterId = CID-c602bccc-3af9-431d-8391-f57b9660d078 ; blockpoolId = BP-998352565-192.168.1.118-1465453069192.
    Expecting respectively: -60; 773040246; 0; CID-48c46c43-8a44-4096-93bf-61d9942c8e2b; BP-1325084739-192.168.1.108-1456487846292.

配置etc/hadoop/core-site.xml文件

<property>
        <name>hadoop.tmp.dir</name>
        <value>/data/hadoop/tmp</value>
    </property>

hadoop.tmp.dir： 临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。（没有默认值）

下面有dfs文件夹，dfs下面有data  name  namesecondary三个文件夹。

4. hadoop中的logs/hadoop-root-namenode-localhost.localdomain.log 文件报错

java.io.IOException:NameNode is not formatter

这时候关掉hadoop，bin/hdfs dfs namenode -format 即可