亚洲无码模一级黄片-在线看片无码永久免费视频-国产免费人成网站在线观看不卡-欧美黄视频|www.zmwjm.net

認(rèn)證準(zhǔn)備建議：Spark and Hadoop開發(fā)者培訓(xùn)

考試形式：120分鐘；70%通過；解決10~12基于CDH5機群上需通過實際操作的問題

  考試大綱  

數(shù)據(jù)采集

這包括以下內(nèi)容：

      使用Sqoop將數(shù)據(jù)從MySQL數(shù)據(jù)庫導(dǎo)入HDFS

      使用Sqoop從HDFS導(dǎo)出數(shù)據(jù)到MySQL數(shù)據(jù)庫

      使用Sqoop更改導(dǎo)入期間數(shù)據(jù)的分隔符和文件格式

      將實時和近乎實時的流數(shù)據(jù)導(dǎo)入HDFS

      處理流數(shù)據(jù)，因為它被加載到群集上

      使用Hadoop文件系統(tǒng)命令將數(shù)據(jù)加載到HDFS中轉(zhuǎn)換，分批，儲存

      將存儲在HDFS中的給定格式的一組數(shù)據(jù)值轉(zhuǎn)換為新的數(shù)據(jù)值或新的數(shù)據(jù)格式，并將其寫入HDFS。

      從HDFS加載RDD數(shù)據(jù)，用于Spark應(yīng)用程序

      使用Spark將RDD的結(jié)果寫回HDFS

      以各種文件格式讀取和寫入文件

      對數(shù)據(jù)執(zhí)行標(biāo)準(zhǔn)提取，變換，加載（ETL）過程

數(shù)據(jù)分析

      使用Spark SQL在應(yīng)用程序中以編程方式與metastore進(jìn)行交互。通過使用查詢加載數(shù)據(jù)生成報告。

      使用轉(zhuǎn)移表作為Spark應(yīng)用程序的輸入源或輸出接收器

      了解在Spark中查詢數(shù)據(jù)集的基本原理

使用Spark過濾數(shù)據(jù)

      編寫計算聚合統(tǒng)計信息的查詢

      使用Spark加入不同的數(shù)據(jù)集

      生成排名或排序數(shù)據(jù)

配置

      這是一個實操的考試，考生不僅要會編寫代碼，也應(yīng)該熟悉整個開發(fā)環(huán)境

      提供命令行方式，改變你的應(yīng)用配置，如增加可用內(nèi)存大小