Hadoop日志系统知识

客官°小女子只卖身不卖艺 2022-04-14 06:16 147阅读 0赞

\[b\]\[color=green\]\[size=x-large\]hadoop日志系统中的日志收集模块，在如今比较流行的以及开源具有代表性的有facebook的scribe，apache的chukwa，linkedin的kafka，以及非常优秀的cloudrea的flume，在1.x的hadoop生态系统中，flume比较适合做日志收集模块，因为其功能全面，且具有高扩展性，高稳定性，高可靠性，以及便于管理和维护。  
  
  
在1.xhadoop生态系统中，HDFS分布式文件存储系统，和Hbase分布式面向列的数据库，适合存储海量日志信息，HDFS，因为具有良好的扩展性，高容错性，高可靠性，所以适合海量日志信息的存储，Hbase因具有高可靠性，高性能，面向列以及良好的扩展性，且支持实时存储数据，结合HDFS作为底层的分布式存储系统，所以也适合存储海量日志信息  
  
  
日志模块分析工具有Hive，Pig，Mahout，Hive的适用场景通常用于结构化海量日志的离线数据统计问题。Pig适用于ad-hoc在Query时离线数据分析工具。Mahout适用于对海量数据的机器学习和数据挖掘工作。  
  
Hbase适合实时存读取网站的更新频率信息。  
Hive和Pig适合完成网页去重复功能。  
可以使用MapReduce分布式计算框架辅以hive，pig，mahout对网页进行处理和分析。  
  
  
二，Cloudrea的flume日志收集模块，分为三层架构，分别位agent，collector，storage，agent和collector又由二部分组成，source和sink，source代表日志的数据源，sink代表数据方向，  
\[table\]  
|参数|作用  
|agent|将数据源发送给collector统一处理  
|collector|将日志数据收集后汇总，交给HDFS存储  
|stroage|是存储系统，可以是数据库，简单的txt，HDFS,以及Hbase等等  
\[/table\]  
简易流程图如下：  
\[/size\]\[/color\]\[/b\]  
  
  
\[img\]http://dl2.iteye.com/upload/attachment/0090/0383/719b51fb-b688-3ecc-803c-79faea8b02b5.jpg\[/img\]