| 上 午 | 下 午 |
第一天 |
l Hadoop介绍
n Hadoop来源与历史
n Hadoop版本
n Hadoop开源与商业
l HDFS系统架构
n NameNode功能与原理
n DataNode功能与原理
n SecondaryNameNode功能与原理
n HDFS读取写入流程
n 理解HDFS Block
l Hadoop权限与安全 |
l Hadoop运行模式介绍
l 实验:
n 搭建单机版、伪分布式、分布式集群
n Hadoop命令使用
n 运行MapReduce Job
l Hadoop运维案例介绍
l HDFS配置文件说明 |
第二天 |
l 集群规划
l 集群监控、告警
l 集群管理
l 集群配置最佳实践 |
l MapReduce简介
l JobTracker、TaskTracker功能
l Hadoop HDFS API介绍
l Hadoop WebHDFS API介绍
l 实验
n 使用Hadoop HDFS API |
第三天 |
l MapReduce流程详解
l MapReduce开发详解
l MapReduce开发最佳实践
l MapReduce 调优
l Hadoop Streaming开发详解
l Pig语言详解 |
l MapReduce系统参数说明
l 实验:
n 使用Java开发MapReduce程序
n 使用python开发MapReduce程序
n Pig开发MapReduce程序 |
第四天 |
l HBase简介和架构HBase基本概念
HBase应用场景
HBase架构和核心模块介绍
HBase存储逻辑结构介绍
l HBase核心知识点
基本方法:Get/Put/Scan/Delete
列式存储核心:LSM
日志系统:WAL
底层存储:HFile
复制、备份:Replication
过渡期:RIT
分裂、合并:Split/Compact
负载均衡:Load Balance |
l HBase高级应用简单介绍
批量记载:bulk load
监控系统:OpenTSDB
主键设计:key design
二级索引:secondary index
协处理器:CoprocessorsHBase安装、部署、启动
l 【动手操作】
集群下安装部署HBase
启动HBase,启动顺序 测试启动HBase常用接口、金融、政府案例
l 【小组讨论】
thrift接口
案例“站内信”(需求剖析、架构设计)
l Hive使用
hive架构,一些特性
hive hadoop 配置
hive 配置文件
client工具介绍 hive hql介绍 |