第PAGE\*Arabic\*MERGEFORMAT5页共NUMPAGES\*MERGEFORMAT5页大数据学习总结大数据学习路线年薪30w大数据学习路线图：一、hadoop入门，了解什么是hadoop1、hadoop产生背景2、hadoop在大数据、云计算中的位置和关系3、国内外hadoop应用案例介绍4、国内hadoop的就业情况分析及课程大纲介绍5、分布式系统概述6、hadoop生态圈以及各组成部分的简介7、hadoop核心mapreduce例子说明二、分布式文件系统hdfs，是数据库管理员的基础课程1、分布式文件系统hdfs简介2、hdfs的系统组成介绍3、hdfs的组成部分详解4、副本存放策略及路由规则5、namenodefederation6、命令行接口7、java接口8、客户端与hdfs的数据流讲解9、hdfs的可用性（ha）三、初级mapreduce，成为hadoop开发人员的基础课程1、如何理解map、reduce计算模型2、剖析伪分布式下mapreduce作业的执行过程3、yarn模型4、序列化5、mapreduce的类型与格式6、mapreduce开发环境搭建7、mapreduce应用开发8、更多示例讲解，熟悉mapreduce算法原理四、高级mapreduce，高级hadoop开发人员的关键课程1、使用压缩分隔减少输入规模2、利用combiner减少中间数据3、编写partitioner优化负载均衡4、如何自定义排序规则5、如何自定义分组规则6、mapreduce优化7、编程实战五、hadoop集群与管理，是数据库管理员的高级课程1、hadoop集群的搭建2、hadoop集群的监控3、hadoop集群的管理4、集群下运行mapreduce程序六、zookeeper基础知识，构建分布式系统的基础框架1、zookeeper体现结构2、zookeeper集群的安装3、操作zookeeper七、hbase基础知识，面向列的实时分布式数据库1、hbase定义2、hbase与rdbms的对比3、数据模型4、系统架构5、hbase上的mapreduce6、表的设计八、hbase集群及其管理1、集群的搭建过程讲解2、集群的监控3、集群的管理九、hbase客户端1、hbaseshell以及演示2、java客户端以及代码演示十、pig基础知识，进行hadoop计算的另一种框架1、pig概述2、安装pig3、使用pig完成手机流量统计业务十一、hive，使用sql进行计算的hadoop框架1、数据仓库基础知识2、hive定义3、hive体系结构简介4、hive集群5、客户端简介6、hiveql定义7、hiveql与sql的比较8、数据类型9、表与表分区概念10、表的操作与cli客户端演示11、数据导入与cli客户端演示12、查询数据与cli客户端演示13、数据的连接与cli客户端演示14、用户自定义函数（udf）的开发与演示十二、sqoop，hadoop与rdbms进行数据转换的框架1、配置sqoop2、使用sqoop把数据从mysql导入到hdfs中3、使用sqoop把数据从hdfs导出到mysql中十三、storm1、storm基础知识：包括storm的基本概念和storm应用场景，体系结构与基本原理，storm和hadoop的对比2、storm集群搭建：详细讲述storm集群的安装和安装时常见问题3、storm组件介绍：spout、bolt、streamgroupings等4、storm消息可靠性：消息失败的重发5、hadoop2.0和storm的整合：stormonyarn6、storm编程实战