Spring Hadoop是一款整合的工具包；它可以快速的进行帮助用户进行创建您需要的Spring Hadoop、pig、Hive等，也可对HBase、HDF等进行支持，还可满足用户在基于Hadoop的作业调度，这进行使用或者操作这些数据的时候，无需进行连接过多的Hadoop，即可快速的使用您需要的项目；软件的使用还是比较的简单，操作也相当的快捷，灵活，需要的朋友赶快这河东软件园将spring hadoop (系统设计与实施)下载使用试试吧！
软件功能
Spring Hadoop支持MapReduce、Streaming、Hive、Pig和级联工作能够通过Spring容器执行。
HDFS的数据访问能通过JVM支持的脚本语言，如Groovy，JRuby，Jython等等。
支持声明式配置HBase
对于客户端连接Hadoop，提供强大的Hadoop配置选项和模板机制
还计划支持Hadoop工具，包括FsShell和DistCp等。
总之能把Hadoop各成员的配置，创建都和Spring的容器结合起来，得到统一的管理。
软件特色
可以快速的进行配置您的文件查看
支持根据自己的需求来快速的进行搭建
还可对许多的功能进行支持，包括了HDFS、HBase等功能的使用
也可快速的对HAdoop的技巧进行快速的了解
可快速的进行添加命名空间的功能，也支持将命名空间快速的添加到需要的项目
使用方法
搭建web日志采集系统
收集日志
支持三种操作模式。
作为嵌入代理的用法将导致消息直接传递给水槽通道，然后控件将立即返回应用程序。所有与远程代理的交互都将异步发生。将“类型”属性设置为“嵌入”将强制使用嵌入代理。此外，配置在appender配置剂的性能也会导致嵌入剂。
我们下面就简单的用第一种方式
客户端配置
log4j.xml
服务端配置
下载 flume, 在conf 目录下，配置example.conf ：
启动 flume
查看日志，是否成功。
Solr 配置
关于solr的介绍
这里 solr的数据也是需要存储到 hdfs中的，另外solr 是通过zookeeper 来管理的
以下配置，这里用的cloudera manager 安装，所以自动配好了，但是需要检验，如果是手动安装也有对应的文档可以直接查看, 另外这里省略Solr Authentication。
配置 zookeeper service
配置 solr use hdfs
初始化管理员命名空间
启动solr
配置OLR收藏
来组织逻辑数据SOLR通过集合，所以你需要创建collection，每个collection有自己的配置，文档上已经讲的比较清楚了，而且也不多，这里不再赘述
生成的配置集
下面是的collection是用来存储上面收集到的日志：
常见问题
异常信息：(以下异常解决所需jar版本是对应hbase 和 hadoop的，异常出现并不准确按照以下顺序，是后期整理的结果)
1. Java.lang.ClassNotFoundException: org.apache.hadoop.conf.Configuration
缺少hadoop-common-2.5.1.jar
2. java.lang.ClassNotFoundException: com.google.common.base.Preconditions
缺少guava-12.0.1.jar
3. java.lang.ClassNotFoundException: org.apache.hadoop.mapred.JobConf
缺少hadoop-mapreduce-client-core-2.5.1.jar
4. java.lang.ClassNotFoundException: com.google.protobuf.RpcChannel
缺少protobuf-java-2.5.0.jar
5. java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration
缺少commons-configuration-1.6.jar
6. java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName
缺少hadoop-auth-2.5.1.jar
7. java.lang.ClassNotFoundException: org.apache.hadoop.hbase.protobuf.generated.MasterProtos$MasterService$BlockingInterface
缺少hbase-protocol-1.2.1.jar
8. java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException
缺少zookeeper-3.4.6.jar
9. java.lang.ClassNotFoundException: org.apache.htrace.Trace
缺少htrace-core-3.1.0-incubating.jar
10. java.lang.ClassNotFoundException: io.netty.channel.EventLoopGroup
缺少netty-all-4.0.23.Final.jar
11. java.lang.VerifyError: class org.apache.hadoop.hbase.protobuf.generated.ClientProtos$Result overrides final method getUnknownFields. ()Lcom/google/protobuf/UnknownFieldSet;
∨ 展开