77869288
CCA131 Administrator （管理員培訓）
課程大綱
認證須知
開課計劃
學習QQ群
常見問題
培訓簡介
為期4 天的Hadoop 管理員培訓將幫助學員綜合理解并全面掌握對Hadoop機群的運維管理，包括：安裝，配置、負載平衡及性能調優等。通過該培訓，Hadoop系統管理員將能準備好應對實際運維中遇到的挑戰。
培訓內容
通過講師在課堂上的講解，以及實操練習，學員將學習以下內容：管理機群的特性，譬如日志匯總、配置管理、報告、 報警及服務管理。 YARN、MapReduce、Spark 及 HDFS 的工作原理。如何為你的機群選取合適的硬件和架構。如何將 Hadoop 機群和企業已有的系統進行無縫集成。如何使用Flume 進行實時數據采集以及如何使用Sqoop 在 RDBMS 和 Hadoop 機群之間進行數據導入導出。如何配置公平調度器為 Hadoop 上的多用戶提供服務級別保障。產品環境中 Hadoop 機群的最佳運維實踐。Hadoop 機群排錯、診斷問題和性能調優。
培訓對象及學員基礎
面向系統管理員和IT 經理，需具備Linux 經驗，無需Apache Hadoop 基礎。
課程大綱
Apache Hadoop 介紹
? Hadoop 動機
? 基本概念
? Hadoop 核心部件
Hadoop 機群安裝
? 機群管理方案
? Hadoop (CDH) 安裝
Hadoop 分布式文件系統 (HDFS)
? HDFS 特性
? 讀寫文件
? NameNode 內存考慮
? HDFS 安全簡介
? HDFS Web UI
? 使用 HDFS Shell
YARN 上的 MapReduce 和 Spark
? 計算平臺在 Hadoop 里扮演的角色
? YARN：機群資源管理器
? MapReduce 概念
? Apache Spark 概念
? Yarn 上的計算平臺
? YARN Web UI 及 Shell
? YARN 應用運行日志
Hadoop 配置及服務運行日志
? 定位配置參數及進行配置變更
? 管理角色實例及添加服務
? 配置 HDFS 服務
? 配置 Hadoop 服務運行日志
? 配置 YARN 服務
向 HDFS 導入數據
? 使用 Flume 從外部數據源實時導入數據
? 使用 Sqoop 從關系數據庫導入數據
? REST 接口
? 導入數據的最佳實踐
Hadoop 機群規劃
? 規劃考慮因素
? 硬件選擇
? 虛擬化選項
? 網絡因素
? 節點配置
Hive，Impala 及 Pig 的安裝及配置
? Hive
? Impala
? Pig Hadoop
客戶端及 Hue
? 什么是 Hadoop 客戶端
? 安裝及配置 Hadoop 客戶端
? 安裝及配置 Hue
? 使用 Hue 進行身份驗證及授權
機群高級配置
? 高級配置參數
? Hadoop 端口配置
? HDFS 機柜感知配置
? HDFS 高可靠性配置
Hadoop 安全
? Hadoop 安全的重要性
? Hadoop 安全性概念
? Kerberos 簡介
? 使用 Kerberos 保護 Hadoop 機群
? 其他安全特性
資源管理
? 使用靜態服務池配置 Linux cgroup
? 公平調度器
? 配置動態資源池
? YARN 內存及 CPU 設置
? Impala 查詢調度
機群維護
? 檢查 HDFS 狀態
? 機群間復制數據
? 添加／移除機群節點
? 機群數據負載平衡
? 目錄快照
? 機群升級
機群監控及排錯
? 監控 Hadoop 機群
? Hadoop 機群排錯
? 常見配置不當問題
