18056868301
首页>全部课程>Cloudera管理员
Cloudera管理员
龙旭资深讲师
Cloudera管理员
直播面授
时间图标 培训课时 4天/24课时
标题图标 课程介绍 标题图标

本课程可以让培训学员全面了解如何使用 Cloudera Manager 操作和维护 Hadoop 集群所需的所有步骤。包括安装、配置、负载平衡和性能调优。此课程是 Cloudera 管理员解决面临的现实挑战作出的最好准备。 


标题图标 学员基础 标题图标

面向系统管理员和IT经理,需具备Linux经验,无需Apache Hadoop基础。


标题图标 课程目标 标题图标

l  掌握Cloudera Manager管理集群的功能;

l  掌握故障排除、诊断和解决集群问题的能力;

l  理解并全面掌握通过Cloudera Manager对Hadoop集群的运维管理;

l  帮助Hadoop系统管理员准备好应对实际运维中遇到的挑战。


标题图标 课程大纲 标题图标

课程模块

课程内容

第一天

    Apache Hadoop介绍

     Hadoop介绍及优势

     基本概念

     Hadoop核心组件

     实操练习:网络配置

    Hadoop集群安装

     集群管理方案

     Cloudera Manager特征

     Cloudera Manager安装

     CDH介绍及安装

     实操练习1:安装Cloudera   Manager服务

     实操练习2:创建Hadoop集群

    Hadoop分布式文件系统(HDFS)

     HDFS特性

     读写文件

     NameNode内存注意事项

     HDFS安全简介

     HDFS web UI

     使用hadoop 文件   shell

     实操练习:使用HDFS

第二天

    YARN上的MapRduce和Spark

     计算平台在hadoop中扮演的角色

     YARN(集群资源管理器)的介绍

     MapRduce概念介绍

     Spark概念介绍

     在YARN上运行计算框架

     通过web UIs和shell探索YARN应用程序

     YARN应用程序日志介绍

     实操练习:运行YARN应用程序

    Hadoop配置及服务运行日志

     Cloudera Manager的配置管理机制

     定位配置参数及更改应用配置

     管理角色实例及添加服务

     配置HDFS服务

     配置Hadoop Daemon日志

     配置YARN服务

     实操练习:探索hadoop配置及守护程序日志

    向HDFS导入数据

     使用Flume从外部数据源实时导入数据

     使用Sqooq从关系数据库中导入数据

     REST接口介绍

     导入数据的最佳实践

     实操练习1:Flume的使用

     实操练习2:使用Sqooq导入数据

第三天

    Hadoop集群规划

     总体规划考虑因素

     硬件选择

     虚拟化选项

     云部署选项

     网络考虑因素

     节点配置

    Hive、Impala及Pig的安装及配置

     Hive介绍

     Impala介绍

     Pig介绍

     Cloudera搜索

     实操练习:使用Hive和Impala查询HDFS

    Hadoop客户端及Hue

     Hadoop客户端介绍

     安装和配置Hadoop客户端

     安装和配置Hue

     使用Hue进行身份验证及授权

     实操练习:使用Hue来控制hadoop用户访问

    集群高级配置

     高级配置参数

     Hadoop端口配置

     HDFS机柜感知配置

     HDFS高可靠性配置

     实操练习:配置HDFS的高可靠性

第四天

    Hadoop安全

     Hadoop安全的重要性

     Hadoop的安全性概念

     Kerberos简介及工作原理介绍

     使用Kerberos保护Hadoop集群

     其他安全特性

    资源管理

     使用静态服务资源池配置cgroups

     公平调度器

     配置动态资源池

     YARN内存和CPU设置

     Impala查询调度

     实操练习:Fair Sheduler的使用

    集群维护

     检查HDFS状态

     集群间的数据拷贝

     添加和移除Cluster节点

     集群数据的负载平衡

     创建目录快照

     集群更新升级

     实操练习1:验证集群的自我修复功能

     实操练习2:创建HDFS快照

    集群监控及排错

     Cloudera Manager监控特性

     监控Hadoop集群

     Hadoop集群的排错

     实操练习1:配置Email警告

     实操练习2:排错挑战