緯育 2026-0603

本系列講座涵蓋了從課程專題規劃、AI Engine 核心架構、大型語言模型（LLM）操作，到雲端網路建置與 AI 應用開發的完整脈絡。初期，講座討論了課程專題的規劃，強調 AI 輔助下，傳統與 AI 相關主題的選擇與協作模式。接著，深入探討了構建 AI Engine 的核心七大要素：角色設定（Role）、知識庫（Knowledge）、嵌入模型（Embedding）、外部溝通（Tool/Function Calling）、記憶（Memory）、溝通把關（Guardrails）與標準化流程（Flow），並指導了 Embedding 與 Retrieval 模型的實作選擇。

在實作層面，講座指導學員如何操作 LLM 介面、撰寫提示詞（Prompt），並討論了 AI 的幻覺問題及其解決方案（AI Grounding 與內部知識庫）。特別強調了「記憶」機制，區分並實作了「對話記憶」與「變數記憶」，以電商客服機器人為例，示範如何從對話中解析使用者身份（如 VIP）並寫入變數，以降低 Token 成本並實現個人化體驗。此外，講座引入了 AI「問題分類器」與「引數提取器」取代傳統 if-else 邏輯，並示範如何透過 HTTP 請求讓 AI 工作流與外部 API 互動，同時介紹了用 Guardrail 進行結果稽核的「守門」設計。
講座也從開發部署的演進（手動到自動化）、版本控制（分支管理）、雲端部署（從 EC2 到容器化）等方面，逐步引導學員建立現代化的開發維運思維。核心實作聚焦於 AWS 網路架構，從零開始手動建置一個符合企業高可用標準的 VPC 環境，內容涵蓋：VPC、跨可用區（AZ）的公私有子網、網際網路閘道（IGW）、路由表（Routing Table）、網路存取控制清單（NACL）及安全群組（Security Group）等關鍵元件的設定與關聯。

課程規劃與 AI 角色

• 課程專題規劃:
  • 分組原則: 主要為三人一組，可彈性拆分或獨自完成。
  • 主題選擇: 提供傳統與 AI 相關主題，包含挑戰題形式。
• AI 在專題中的角色:
  • AI 的輔助使一人專題成為可能，但仍維持傳統多人協作模式。
  • 強調即便在 AI 時代，理解傳統技術的發展脈絡與知識價值依然重要。

AI Engine 核心架構與 LLM 運作原理

• AI Engine 核心七要素:

 1. 角色設定 (Role): 賦予 AI 職務描述。
 2. 知識庫 (Knowledge): 提供產品手冊等資料供 AI 學習。
 3. 嵌入模型 (Embedding Model): 將自然語言轉換為數學向量，以便 AI 理解與檢索。課程中示範選用 Cohere multilingual 模型。
 4. 外部溝通 (Tool/Function Calling/SCP): 讓 AI 透過 API 與外部系統互動。引入 SCP (Semantic Kernel Planner) 概念，從 SCP Config（規格手冊）、SCP Server（中介）到 SCP Platform（集中管理）的演進，簡化 AI 與多系統的整合。
 5. 記憶與個人化 (Memory): 讓 AI 記住使用者互動歷史，提供個人化體驗。區分為「對話記憶」和「變數記憶」。
 6. 溝通把關 (Guardrails): 引入「發言人」或稽核機制，確保 AI 溝通的準確與安全性。
 7. 標準化流程 (Flow): 為特定場景（如工廠流水線）規劃固定的工作流程。

• LLM 運作原理:
  • 幻覺 (Hallucination): 當資訊不足時，AI 會編造內容。解決方案包括 AI Grounding（參考外部網路）和內部知識庫（上傳公司文件）。
  • 記憶機制實作:

 ** 對話記憶: 透過回傳歷史對話維持上下文，但輪數越多 Token 成本越高。
 ** 變數記憶: 從對話中提取關鍵資訊（如 VIP 身份）存為變數，以低成本方式實現長期記憶和流程判斷。

• • Token 計費: AI 依據輸入和輸出的 Token 數量計費，是成本考量的重要因素。

AI 實作：工作流、提示工程與安全性

• 工作流 (Workflow) vs. 聊天流 (Chat Flow):
  • 工作流: 流程固定，不具記憶，確保輸出穩定，適用於需要高可靠性的任務。
  • 聊天流: 具有記憶，互動性強，但穩定性較低。
• AI 邏輯判斷取代傳統 If-Else:
  • 問題分類器: 根據使用者自然語言意圖，將流程導向不同分支（如查詢課程 vs. 訂餐）。
  • 引數提取器: 從自由文本中自動抽取結構化資料（如姓名、電話、數量），減少表單填寫。
• 提示工程 (Prompt Engineering):
  • System Prompt: 設定 AI 的人設與行為準則。
  • User Prompt: 使用者輸入的指令或問題。
  • 關鍵寫法: 包括 Zero-shot、Few-shot、Instruction Prompt/Template 等，是提升 AI 輸出品質的關鍵。
• AI 安全與除錯:
  • Prompt Injection 攻擊: 透過 User Prompt 試圖修改或操縱 AI 的初始設定，展示了 AI 認知可被影響的風險。
  • 除錯 (Debugging): 利用日誌（Log）和追溯（Trace）功能，逐一排查工作流節點，找出問題根源（如知識庫為空）。

開發部署與雲端網路架構 (AWS)

• 開發部署演進:
  • 從手動開發部署邁向自動化，從傳統虛擬機（EC2）轉向容器化服務，以提升彈性與降低成本。
  • 強調分支管理（開新分支開發、測試後合併）與憑證配置的重要性。
• AWS 網路核心概念與實作:
  • VPC (Virtual Private Cloud): 建立隔離的私有雲端網路環境，不建議在生產環境使用 Default VPC。
  • CIDR 規劃: 選擇 VPC 的 IP 網段，避免與其他同學衝突。
  • 高可用架構: 橫跨至少兩個可用區（AZ），並在每個 AZ 中建立公有子網與私有子網。
  • 封包的一生 (A Packet's Life): 網路流量從外部進入 AWS 的路徑：

   1. 抵達 Internet Gateway (IGW)。
   2. 查詢 路由表 (Routing Table) 確定方向。
   3. 通過子網路的防火牆 NACL (Network Access Control List)。
   4. 通過 EC2 實例前的防火牆 Security Group。

• • 手動搭建流程: 課程指導建立自訂 VPC、建立並附掛 IGW、設定指向 IGW 的路由規則、建立跨 AZ 的公私有子網，並將子網與對應的路由表關聯。