課程簡介
該課程分為三天,第三天是可選的。
第 1 天 - Machine Learning 和 Deep Learning:理論概念
1. 引言 IA, Machine Learning & Deep Learning
- 人工智慧的歷史、基本概念和通常應用與該領域的幻想相去甚遠
- 集體智慧:聚合許多虛擬代理共用的知識
- 遺傳演算法:通過選擇進化虛擬代理群體
- Machine Learning 通常:定義。
- 任務類型:監督學習、無監督學習、強化學習
- 操作類型:分類、回歸、聚類、密度估計、降維
- 演算法示例 Machine Learning:線性回歸、樸素貝葉斯、隨機樹
- 機器學習 VS Deep Learning:Machine Learning 仍然是當今最先進的問題(Random Forests 和 XGBoosts)
2. 神經網路的基本概念(應用:多層感知器)
- 提醒數學基礎知識。
- 神經網路的定義:經典架構、先前啟動的啟動和加權函數、網路深度
- 神經網路訓練的定義:成本函數、反向傳播、隨機梯度下降、最大似然。
- 神經網路建模:根據問題類型(回歸、分類等)對輸入和輸出數據進行建模。維度的詛咒。多特徵數據和信號的區別。根據數據選擇成本函數。
- 通過神經網路逼近函數:演示和示例
- 通過神經網路近似分佈:演示和示例
- 數據增強:如何平衡數據集
- 神經網路結果的泛化。
- 神經網路的初始化和正則化:L1/L2 正則化、批量歸一化等。
- 優化和收斂演算法。
3. 常用的 ML/DL 工具
計劃進行簡單的演示,包括優點、缺點、在生態系統中的位置和用途。
- 數據管理工具:Apache Spark、Apache Hadoop
- 常用工具 Machine Learning:Numpy、Scipy、Sci-kit
- 高級 DL 框架:PyTorch、Keras、Lasagna
- 低級深度學習框架:Theano、Torch、Caffe、Tensorflow
第 2 天 - 捲積和循環網路
4. 卷積 Neural Networks (CNN)。
- CNN的介紹:基本原理和應用
- CNN的基本功能:卷積層,內核的使用,填充和步幅,特徵圖的生成,池化層。1D、2D 和 3D 擴展。
- 介紹不同的 CNN 架構,這些架構帶來了圖像分類的最新技術:LeNet、VGG Networks、Network in Network、Inception、Resnet。介紹每種架構帶來的創新及其更全面的應用(1x1 卷積或殘差連接)
- 使用注意力模型。
- 適用於常見分類機制(文字或影像)
- 用於生成的CNN:超解析度、像素到像素分割。概述增加圖像生成特徵圖的主要策略。
5.復發性Neural Networks(RNN)。
- RNN的介紹:基本原理和應用。
- RNN的工作原理:隱藏啟動,隨時間反向傳播,展開版本。
- 向GRU(門控迴圈單元)和LSTM(長短期記憶)的演變。介紹這些架構帶來的不同狀態和演變
- 收斂問題和梯度消失
- 經典架構的類型:時間序列的預測、分類等。
- RNN 編碼器解碼器架構。使用注意力模型。
- NLP應用:單詞/字元編碼,翻譯。
- 視頻應用:預測視頻序列的下一個生成幀。
第 3 天 - 代際模型和 Reinforcement Learning
6. 代際模型:變分自動編碼器(VAE)和生成對抗網路(GAN)。
- 介紹代際模型,與第 2 天看到的 CNN 相關聯
- 自動編碼器:降維和有限生成
- 變分自動編碼器:數據分佈的世代模型和近似值。潛在空間的定義和使用。重新參數化技巧。應用和觀察到的局限性
- 產生對抗網路:基礎知識。雙格架構(生成器和判別器),具有交替學習,提供成本函數。
- GAN的收斂和遇到的困難。
- 改進的收斂性:Wasserstein GAN、BeGAN。地球移動距離。
- 圖像或照片生成、文本生成、超級
解析度。
7.深Reinforcement Learning。
- 強化學習概述:在狀態定義的環境中控制智慧體和可能的操作
- 使用神經網路來近似狀態函數
- 深度 Q 學習:體驗重播,並應用於視頻遊戲的控制。
- 優化學習策略。On-policy & off-policy(策略上與策略外)。演員評論家建築。答3C。
- 應用:控制簡單的視頻遊戲或數字系統。
最低要求
Level ingénieur