課程簡介

Large Language Models (LLMs) 簡介

  • LLM概述
  • 定義和意義
  • 當今人工智慧中的應用

變壓器架構

  • 什麼是變壓器,它是如何工作的?
  • 主要元件和特點
  • 嵌入和位置編碼
  • 多頭注意力
  • 前饋神經網路
  • 歸一化和殘差連接

變壓器型號

  • 自注意力機制
  • 編碼器-解碼器架構
  • 位置嵌入
  • BERT(來自 Transformer 的雙向編碼器表示)
  • GPT(產生式預訓練轉換器)

性能優化和陷阱

  • 上下文長度
  • 曼巴和狀態空間模型
  • 閃光注意力
  • 稀疏變壓器
  • 視覺變壓器
  • 量化的重要性

改進變壓器

  • 檢索增強文本生成
  • 模型混合
  • 思想之樹

微調

  • 低秩適應理論
  • 使用 QLora 進行微調

LLM 中的縮放定律和優化

  • LLM擴展法的重要性
  • 數據和模型大小縮放
  • 計算擴展
  • 參數效率縮放

優化

  • 模型大小、數據大小、計算預算和推理需求之間的關係
  • 優化 LLM 的性能和效率
  • 用於訓練和微調 LLM 的最佳實踐和工具

訓練和微調 LLM

  • 從頭開始培訓 LLM 的步驟和挑戰
  • 數據採集與維護
  • 大規模數據、CPU 和記憶體要求
  • 優化挑戰
  • 開源 LLM 的前景

Reinforcement Learning (RL) 的基礎知識

  • Reinforcement Learning 簡介
  • 通過積極強化學習
  • 定義和核心概念
  • 瑪律可夫決策過程 (MDP)
  • 動態規劃
  • 蒙特卡羅方法
  • 時差學習

深 Reinforcement Learning

  • 深度 Q 網路 (DQN)
  • 近端策略優化 (PPO)
  • Element秒,共 Reinforcement Learning

LLM 和 Reinforcement Learning 的集成

  • 將 LLM 與 Reinforcement Learning 相結合
  • RL在LLM中的使用方式
  • Reinforcement Learning 人工反饋 (RLHF)
  • RLHF的替代品

案例研究和應用

  • 實際應用
  • 成功案例和挑戰

高級主題

  • 先進技術
  • 高級優化方法
  • 尖端研發

摘要和後續步驟

最低要求

  • 基本瞭解 Machine Learning

觀眾

  • 數據科學家
  • 軟體工程師
 21 時間:

人數


每位參與者的報價

Provisional Upcoming Courses (Require 5+ participants)

課程分類