Python, Spark, and Hadoop for Big Data培訓

本課程面向希望在其應用程式中理解和實施人工智慧的開發人員和數據科學家。 特別關注數據分析、分散式人工智慧和自然語言處理。

這項由 講師指導的現場培訓香港（在線或現場）面向希望使用 Google Colab 和 Apache Spark 進行大數據處理和分析的中級數據科學家和工程師。

在本次培訓結束時，參與者將能夠：

• 使用 Google Colab 和 Spark 設置大數據環境。
• 使用 Apache Spark 高效處理和分析大型數據集。
• 在協作環境中可視化大數據。
• 將 Apache Spark 與基於雲端的工具整合。

大數據分析涉及檢查大量不同數據集的過程，以便發現相關性，隱藏模式和其他有用的見解。

健康產業擁有大量複雜的異構醫學和臨床數據。對健康數據應用大數據分析在獲得改善醫療保健服務的見解方面具有巨大潛力。然而，這些數據集的巨大性給分析和臨床環境的實際應用帶來了巨大挑戰。

在這個以講師為主導的現場培訓（遠程）中，參與者將學習如何在健康狀況下進行大數據分析，因為他們將逐步進行一系列動手實踐練習。

在培訓結束時，參與者將能夠：

• 安裝和配置大數據分析工具，如Hadoop MapReduce和Spark
• 了解醫療數據的特徵
• 應用大數據技術處理醫療數據
• 在健康應用的背景下研究大數據系統和算法

聽眾

• 開發商
• 數據科學家

課程格式

• 部分講座，部分討論，練習和繁重的實踐練習。

注意

• 要申請本課程的定制培訓，請聯繫我們安排。

在這個由 香港 的講師指導式現場培訓中，參與者將瞭解用於處理圖形數據的技術產品和實施方法。目的是識別現實世界的物件、它們的特徵和關係，然後對這些關係進行建模，並使用 Graph Computing（也稱為圖形分析）方法將它們作為數據處理。我們從廣泛的概述開始，然後逐步完成一系列案例研究、動手練習和即時部署，然後縮小具體工具的範圍。

在本次培訓結束時，參與者將能夠：

• 瞭解如何持久保存和遍歷圖形數據。
• 為給定任務選擇最佳框架（從圖形資料庫到批處理框架）。
• 實現 Hadoop、Spark GraphX 和 Pregel 以跨多台機器並行執行圖計算。
• 從圖形、流程和遍歷的角度查看真實的大數據問題。

這種由講師指導的香港現場培訓（現場或遠端）針對的是希望學習如何在組織內設置，部署和管理Hadoop集群的系統管理員。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Hadoop。
• 瞭解 Hadoop 生態系統中的四個主要元件：HDFS、MapReduce、YARN 和 Hadoop Common。
• 使用 Hadoop 分散式檔案系統 （HDFS） 將集群擴展到數百或數千個節點。  
• 將 HDFS 設定為本地 Spark 部署的記憶體引擎。
• 設置 Spark 以存取替代儲存解決方案，例如 Amazon S3 和 NoSQL 資料庫系統，例如 Redis、Elasticsearch、Couchbase、Aerospike 等。
• 執行管理任務，例如配置、管理、監控和保護 Apache Hadoop 集群。

這個由講師指導的現場培訓在 香港（在線或現場）介紹 Hortonworks Data Platform (HDP) 並引導參與者完成Spark + Hadoop 解決方案的部署。

在本次培訓結束時，參與者將能夠：

• 使用 Hortonworks 可靠地大規模運行 Hadoop。
• 將 Hadoop 的安全、治理和運營功能與Spark的敏捷分析工作流統一起來。
• 使用 Hortonworks 調查、驗證、認證和支援 Spark 專案中的每個元件。
• 處理不同類型的數據，包括結構化、非結構化、動態和靜態數據。

本課程介紹如何從Hive提取數據的人員使用Hive SQL語言（AKA： Hive HQL， Hive SQL ， Hive QL）

Cloudera Impala 是適用於 Apache Hadoop 集群的開源大規模並行處理 （MPP） SQL 查詢引擎。

Impala 使用戶能夠 對存儲在 Hadoop 分散式文件系統 和 Apache Hbase 中的數據發出低延遲 SQL 查詢，而無需移動或轉換數據。

觀眾

本課程面向 分析師和數據科學家，他們通過 Business Intelligence 或 SQL 工具對存儲在 Hadoop 中的數據進行分析。

完成本課程后，學員將能夠

• 使用 Impala 從 Hadoop 集群中提取有意義的資訊。
• 編寫特定的程序以促進 Impala SQL 方言的 Business 智慧。
• 故障排除 Impala。

在這個以講師為主導的香港現場培訓（現場或遠端）中，參與者將學習如何設置不同的Stream Processing框架並將其與現有的大數據存儲系統以及相關的軟體應用程式和微服務集成。

在培訓結束時，參與者將能夠：

• 安裝和配置不同的 Stream Processing 框架，例如 Spark Streaming 和 Kafka Streaming。
• 瞭解並選擇最適合工作的框架。
• 以逐條記錄的方式連續、併發地處理數據。
• 將 Stream Processing 解決方案與現有資料庫、數據倉庫、數據湖等集成。
• 將最合適的流處理庫與企業應用程式和微服務集成 。

這種以講師為主導的香港現場現場培訓針對的是希望使用SMACK堆棧為大數據解決方案構建數據處理平臺的數據科學家。

在培訓結束時，參與者將能夠：

• 實施用於處理大數據的數據管道體系結構。
• 使用 Apache Mesos 和 Docker 開發集群基礎架構。
• 使用 Spark 和 Scala 分析數據。
• 使用 Apache Cassandra 管理非結構化數據。

這種以講師為主導的香港現場培訓（現場或遠端）針對的是希望建立和部署Apache Spark系統以處理大量數據的工程師。

在培訓結束時，參與者將能夠：

• 安裝和配置 Apache Spark。
• 快速處理和分析非常大的數據集。
• 瞭解Apache Spark和Hadoop MapReduce之間的區別，以及何時使用哪個。
• 將 Apache Spark 與其他機器學習工具整合。

這種由講師指導的現場培訓香港（遠端或遠端）面向希望部署、維護和優化Spark集群的初級到中級系統管理員。

在培訓結束時，參與者將能夠：

• 在各種環境中安裝和配置 Apache Spark。
• 管理群集資源並監視Spark應用程式。
• 優化Spark集群性能。
• 實施安全措施並確保高可用性。
• 調試和排查常見的Spark問題。

在這個由講師指導的 香港 現場培訓中，參與者將學習如何在動手練習中同時使用 Python 和 Spark 來分析大數據。

在培訓結束時，參與者將能夠：

• 瞭解如何將Spark與 Python 結合使用來分析 Big Data。
• 進行模仿真實世界案例的練習。
• 使用 PySpark 使用不同的工具和技術進行大數據分析。

MLlib是Spark的機器學習（ML）庫。其目標是使實用的機器學習可擴展且簡單。它由常見的學習算法和實用程序組成，包括分類，回歸，聚類，協同過濾，降維，以及低級優化原語和更高級別的管道API。

它分為兩個包：

• spark.mllib包含在RDD之上構建的原始API。

• spark.ml提供了構建在DataFrame之上的更高級API，用於構建ML管道。

聽眾

本課程面向希望利用Apache Spark內置機器庫的工程師和開發人員