課程主要介紹 OpenVINO^TM 2024.0 最新版本的新特性，主要聚焦於大語言模型和生成式 AI 模型的最佳化，其中包括：

• - OpenVINO^TM 開發者旅程快速回顧（針對新開發者）
• - OpenVINO^TM 20204.0 主要新特性，包括對大語言模型的壓縮、推論速度等方面的最新優化
• - 最新 OpenVINO^TM notebooks 介紹，包括操作 Notebooks demo

課程主要介紹如何 加速 Web AI 推論的開發在 Intel^® AI PC 通過 W3C WebNN API 及 ONNX RT WebNN EP：

• - AI 開發在開放 Web 平台
• - WebNN 規格及 Browser 執行
• - ONNX RT WebNN PP
• - WebNN 展示
• - 模型推論效在 Intel^® AI 加速器
• - WebNN 範例
• - 參考資料

Intel^® 致力於目前最常用的深度學習框架 PyTorch 和 TensorFlow 進行優化，使得廣大的深度學習用戶能夠在 Intel^® 硬體平台上開箱即取得令人滿意的性能，提高您的 AI 體驗效能！ 在這個演講中我們將帶領您深入了解 Intel^® 對 PyTorch 和 TensorFlow 進行最佳化的方法，取得效能提升，以及您如何安裝使用這些產品。期待您與我們一起引領 AI 發展的未來！

這堂課會將重點放在利用 ONNX Runtime OpenVINO^TM Execution Provider APIs 在 Intel^® 的裝置上進行推論及下列主題：

• - ONNX Runtime 在 Intel^® AI 策略中的角色位置
• - 推論架構 在 ONNX RT OV EP
• - 展示
• - AI 加速器設定在 OpenVINO^TM EP for ONNX Model Execution
• - OpenVINO^TM EP
• - 部署方案
• - 範例

大語言模型的能力在許多領域幾乎都可以達到人類專家的程度，透過針對不同領域資料集的微調後更可用於提升各行各業的生產力，但是微調需要大量的計算資源！這一節首先會由說明 Intel^® AI 透過開放與異質軟硬體，解決微調面臨的挑戰。進一步檢視領域資料集大小，模型大小以及效能需求與許多微調演算法，這使得異質軟硬體上微調大語言模型成為可能。說明使用 Intel^® AI 軟硬體進行微調的流程之前，先簡單的帶領大家了解 OpenVINO^TM，BigDL-LLM 以及 Intel^® PyTorch Extension 在大語言模型推論與微調上的優化。然後會使用方便取得的 Intel^® CPU 以及 GPU 和範例資料集介紹微調流程，讓大家也可以自己動手做，最後透過幾個指標，讓您了解在不同的大語言模型與微調演算法上如何選擇 Intel^® AI 軟硬體平台。

隨著大語言模型的競爭日益激烈，對於訓練及推論系統的要求也越來越高。 如何負擔得起這麼龐大的運算需求，進行高效且低成本的訓練和推論，成為一個非常急迫的課題。Intel^® Gaudi^® 作為一個專為深度學習而設計的架構，專注於大規模深度學習訓練和推論，可為客戶提供高效且更經濟的系統級方案。 本次分享將介紹 Intel^® Gaudi^® 2 產品相關的信息，以及在實際的應用場景，展示 Intel^® Gaudi^® 方案在LLM方面的獨特優勢。

近年來，AI 領域的蓬勃發展帶來了一系列引人矚目的技術，其中 OpenVINO^™ 和生成式 AI 的結合成為在個人 PC 上的一項重要技術。本次演講將帶領大家深入探討在個人 PC 上應用 OpenVINO^™ 和生成式 AI 的可能性，以文字生成音訊為例示範實際開發基礎以及這些技術如何為生成式 AI 的挑戰提供強大的解決方案。
從應用擴展到技術創新，這兩者的結合將為個人 PC 帶來更多可能性。我們也將討論可能的發展方向，激發大家對新技術的嘗試和探索。

在本次分享中，我們將介绍使用 OpenVINO^TM 優化 LLM 和生成式 AI 推論性能的進階主題，重點如下：

• - LLM 與生成式 AI 推論的痛點
• - OpenVINO^TM Notebooks介绍和演示（CPU、GPU、NPU 上的快速演示）
• - 使用 OpenVINO^TM 優化策略和工具，包括：
  • NNCF（權重壓縮，後訓練量化）
  • Optimum-Intel 優化推理流水線（生成式 AI）
  • 其他優化工具（配置、異步、AUTO、線程調度等）

湯承倫 | 英特爾 技術專案經理
施乃瑜 | 台灣亞馬遜網路服務 (AWS) 運算服務市場推廣經理
羅國倫 | Google Cloud 現代化基礎建設架構師

此堂課程將分享自第 4 代 Intel^® Xeon^® 可擴充處理器起所內建的 AI 加速器 (AMX, Advanced Matrix Extension) 如何讓使用者於 CPU 上執行 AI 運算成為可行選擇。同時邀請公有雲雲端領導者 (AWS, GCP) 講師分享採用此處理器及技術的雲端服務如何能在彈性的雲端環境加速 AI 佈署、開發及訓練工作。

一次編寫，隨處執行，輕鬆升級: 借助 oneAPI 的 SYCL^* 編程，釋放任何硬件的潛力。編寫您的 AI 和數據處理代碼一次，然後就可以在 CPU、GPU 和 Intel^® FPGA 上運行。更重要是 Intel^® DPC++ Compatibility Tool 只需一行指令即可幫助你遷移你現有的 CUDA^* 代碼，為你節省時間和精力。使用 oneAPI 的開發友好工具，將精力放在創新上，而不是重寫代碼。使用 Intel^® 最佳化的工具開啟您的 AI 之旅！

電腦視覺在各種領域的需求及應用仍持續成長中，然而 AI 模型需要倚賴資料科學家和 AI 工程師投入大量的人力和時間進行開發，因此放緩了方案導入及部署的速度。Intel^® Geti^™ 是 Intel^® 推出的 AI 電腦視覺模型訓練平台，讓資料科學家到領域專家，都能快速開發各式電腦視覺模型，透過簡易操作界面進行資料上傳、標註、模型訓練和再訓練，大幅縮短開發模型所需的時間，訓練完成的模型可以直接運行於 OpenVINO^™ 優化的邊緣運算環境，有效提升 AI 方案佈署的效率。

Intel^® Arc^™ A770 是合理價格且具備足量顯示記憶體的新世代顯示卡，適合於遊戲、內容創作及大型語言模型等 AI 應用開發：

• - 遊戲AI開發：應用 XeSS 1.3，實現AI加速的圖像提升及光線追蹤技術。
• - 內容創作AI開發：透過幾行 IPEX 庫代碼，使 PyTorch 模型在 Intel^® Arc^™上運行。 以及展示 OpenVINO^™ 如何最佳化 AI 應用。
• - 大語言模型AI開發：在 Intel^® Arc^™ A770上輕鬆最佳化及載入大型語言模型