Hadoop for Developers (4 days)培訓

觀眾：

本課程面向尋求在分散式系統環境中存儲和處理大型數據集的解決方案的IT專家

Goal：

對 Hadoop 集群管理有深入的瞭解。

大數據分析涉及檢查大量不同數據集的過程，以便發現相關性，隱藏模式和其他有用的見解。

健康產業擁有大量複雜的異構醫學和臨床數據。對健康數據應用大數據分析在獲得改善醫療保健服務的見解方面具有巨大潛力。然而，這些數據集的巨大性給分析和臨床環境的實際應用帶來了巨大挑戰。

在這個以講師為主導的現場培訓（遠程）中，參與者將學習如何在健康狀況下進行大數據分析，因為他們將逐步進行一系列動手實踐練習。

在培訓結束時，參與者將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 了解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

聽眾

• 開發商
• 數據科學家

課程格式

• 部分講座，部分討論，練習和繁重的實踐練習。

注意

• 要申請本課程的定制培訓，請聯繫我們安排。

該課程專門面向正在尋找在分散式系統環境中存儲和處理大型數據集的解決方案的IT專家

課程目標：

獲取有關 Hadoop 群集管理的知識

Apache Hadoop 是在伺服器集群上處理 Big Data 的最流行的框架。在這個為期三天（可選四天）的課程中，學員將瞭解 Hadoop 及其生態系統的業務優勢和使用案例，如何規劃集群部署和增長，如何安裝、維護、監控、故障排除和優化 Hadoop。他們還將練習集群批量數據載入，熟悉各種 Hadoop 發行版，並練習安裝和管理 Hadoop 生態系統工具。本課程最後討論了如何使用 Kerberos 保護集群。

“…這些材料準備得非常充分，覆蓋得很乾淨。實驗室非常樂於助人，組織得很好”
— Andrew Nguyen，DW 首席集成工程師，Microsoft 在線 Advertising

觀眾

Hadoop 管理員

格式

講座和動手實驗，大約平衡 60% 的講座，40% 的實驗。

Apache Hadoop 是在伺服器集群上處理 Big Data 的最流行的框架之一。本課程深入探討了 HDFS、高級 Pig Hive 和 HBase 中的數據管理。 這些高級程式設計技術將對經驗豐富的 Hadoop 開發人員有所説明。

受眾： 開發人員

持續時間： 三天

形式： 講座 （50%） 和動手實驗 （50%）。

觀眾：

本課程旨在揭開大數據/Hadoop 技術的神秘面紗，並表明它並不難理解。

這種由講師指導的香港現場培訓（現場或遠端）針對的是希望學習如何在組織內設置，部署和管理Hadoop集群的系統管理員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Hadoop。
• 瞭解 Hadoop 生態系統中的四個主要元件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分散式檔案系統 （HDFS） 將集群擴展到數百或數千個節點。  
• 將 HDFS 設定為本地 Spark 部署的記憶體引擎。
• 設置 Spark 以存取替代儲存解決方案，例如 Amazon S3 和 NoSQL 資料庫系統，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 執行管理任務，例如配置、管理、監控和保護 Apache Hadoop 集群。

本課程介紹HBase - 一個基於Hadoop的無SQL存儲。本課程面向將使用HBase開發應用程序的開發人員以及將管理HBase集群的管理員。

我們將通過HBase的HBase架構和數據建模以及應用程序開發向開發人員展示。它還將討論將MapReduce與HBase一起使用，以及與性能優化相關的一些管理主題。該課程非常實用，包含大量實驗練習。

持續時間 ：3天

受眾 ：開發人員和管理員

這個由講師指導的現場培訓在 香港（在線或現場）介紹 Hortonworks Data Platform (HDP) 並引導參與者完成Spark + Hadoop 解決方案的部署。

在本次培訓結束時，參與者將能夠：

• 使用 Hortonworks 可靠地大規模運行 Hadoop。
• 將 Hadoop 的安全、治理和運營功能與Spark的敏捷分析工作流統一起來。
• 使用 Hortonworks 調查、驗證、認證和支援 Spark 專案中的每個元件。
• 處理不同類型的數據，包括結構化、非結構化、動態和靜態數據。

本課程介紹如何從Hive提取數據的人員使用Hive SQL語言（AKA： Hive HQL， Hive SQL ， Hive QL）

Cloudera Impala 是適用於 Apache Hadoop 集群的開源大規模並行處理 （MPP） SQL 查詢引擎。

Impala 使用戶能夠 對存儲在 Hadoop 分散式文件系統 和 Apache Hbase 中的數據發出低延遲 SQL 查詢，而無需移動或轉換數據。

觀眾

本課程面向 分析師和數據科學家，他們通過 Business Intelligence 或 SQL 工具對存儲在 Hadoop 中的數據進行分析。

完成本課程后，學員將能夠

• 使用 Impala 從 Hadoop 集群中提取有意義的資訊。
• 編寫特定的程序以促進 Impala SQL 方言的 Business 智慧。
• 故障排除 Impala。

在這個以講師為主導的香港現場或遠端培訓中，參與者將學習如何在實時實驗室環境中部署和管理Apache NiFi。

在培訓結束時，參與者將能夠：

• 安裝並配置 Apachi NiFi。
• 從不同的分散式數據源（包括資料庫和大數據湖）中獲取、轉換和管理數據。
• 自動化數據流。
• 啟用流分析。
• 應用各種方法進行數據引入。
• 轉換 Big Data 並轉化為業務洞察。

在這個由講師指導的 香港 現場培訓中，參與者將學習基於流程的程式設計的基礎知識，因為他們使用 Apache NiFi 開發許多演示擴展、元件和處理器。

在培訓結束時，參與者將能夠：

• 瞭解 NiFi 的架構和數據流概念。
• 使用 NiFi 和第三方 API 開發擴展。
• 定製開發自己的Apache Nifi處理器。
• 從不同和不常見的檔格式和數據源中攝取和處理實時數據。

這種以講師為主導的香港現場培訓（現場或遠端）針對希望使用和集成Spark，Hadoop和Python以處理，分析和轉換大型複雜數據集的開發人員。

在培訓結束時，參與者將能夠：

• 設置必要的環境以開始使用 Spark、Hadoop 和 Python 處理大數據。
• 瞭解 Spark 和 Hadoop 的功能、核心元件和架構。
• 瞭解如何集成 Spark、Hadoop 和 Python 進行大數據處理。
• 探索 Spark 生態系統中的工具（Spark MlLib、Spark Streaming、Kafka、Sqoop、Kafka 和 Flume）。
• 構建類似於 Netflix、YouTube、Amazon、Spotify 和 Google 的協作過濾推薦系統。
• 使用 Apache Mahout 擴展機器學習演算法。