Kuyohong：建立內容為「本系列講座涵蓋了從課程專題規劃、AI Engine 核心架構、大型語言模型（LLM）操作，到雲端網路建置與 AI 應用開發的完整脈…」的新頁面

2026-06-03T10:16:24Z

建立內容為「本系列講座涵蓋了從課程專題規劃、AI Engine 核心架構、大型語言模型（LLM）操作，到雲端網路建置與 AI 應用開發的完整脈…」的新頁面

新頁面

本系列講座涵蓋了從課程專題規劃、AI Engine 核心架構、大型語言模型（LLM）操作，到雲端網路建置與 AI 應用開發的完整脈絡。初期，講座討論了課程專題的規劃，強調 AI 輔助下，傳統與 AI 相關主題的選擇與協作模式。接著，深入探討了構建 AI Engine 的核心七大要素：角色設定（Role）、知識庫（Knowledge）、嵌入模型（Embedding）、外部溝通（Tool/Function Calling）、記憶（Memory）、溝通把關（Guardrails）與標準化流程（Flow），並指導了 Embedding 與 Retrieval 模型的實作選擇。<br><br>
在實作層面，講座指導學員如何操作 LLM 介面、撰寫提示詞（Prompt），並討論了 AI 的幻覺問題及其解決方案（AI Grounding 與內部知識庫）。特別強調了「記憶」機制，區分並實作了「對話記憶」與「變數記憶」，以電商客服機器人為例，示範如何從對話中解析使用者身份（如 VIP）並寫入變數，以降低 Token 成本並實現個人化體驗。此外，講座引入了 AI「問題分類器」與「引數提取器」取代傳統 if-else 邏輯，並示範如何透過 HTTP 請求讓 AI 工作流與外部 API 互動，同時介紹了用 Guardrail 進行結果稽核的「守門」設計。<br>
講座也從開發部署的演進（手動到自動化）、版本控制（分支管理）、雲端部署（從 EC2 到容器化）等方面，逐步引導學員建立現代化的開發維運思維。核心實作聚焦於 AWS 網路架構，從零開始手動建置一個符合企業高可用標準的 VPC 環境，內容涵蓋：VPC、跨可用區（AZ）的公私有子網、網際網路閘道（IGW）、路由表（Routing Table）、網路存取控制清單（NACL）及安全群組（Security Group）等關鍵元件的設定與關聯。

=== 課程規劃與 AI 角色 ===
* 課程專題規劃:
** 分組原則: 主要為三人一組，可彈性拆分或獨自完成。
** 主題選擇: 提供傳統與 AI 相關主題，包含挑戰題形式。
* AI 在專題中的角色:
** AI 的輔助使一人專題成為可能，但仍維持傳統多人協作模式。
** 強調即便在 AI 時代，理解傳統技術的發展脈絡與知識價值依然重要。
=== AI Engine 核心架構與 LLM 運作原理 ===
* AI Engine 核心七要素:
1. 角色設定 (Role): 賦予 AI 職務描述。
2. 知識庫 (Knowledge): 提供產品手冊等資料供 AI 學習。
3. 嵌入模型 (Embedding Model): 將自然語言轉換為數學向量，以便 AI 理解與檢索。課程中示範選用 Cohere multilingual 模型。
4. 外部溝通 (Tool/Function Calling/SCP): 讓 AI 透過 API 與外部系統互動。引入 SCP (Semantic Kernel Planner) 概念，從 SCP Config（規格手冊）、SCP Server（中介）到 SCP Platform（集中管理）的演進，簡化 AI 與多系統的整合。
5. 記憶與個人化 (Memory): 讓 AI 記住使用者互動歷史，提供個人化體驗。區分為「對話記憶」和「變數記憶」。
6. 溝通把關 (Guardrails): 引入「發言人」或稽核機制，確保 AI 溝通的準確與安全性。
7. 標準化流程 (Flow): 為特定場景（如工廠流水線）規劃固定的工作流程。
* LLM 運作原理:
** 幻覺 (Hallucination): 當資訊不足時，AI 會編造內容。解決方案包括 AI Grounding（參考外部網路）和內部知識庫（上傳公司文件）。
** 記憶機制實作:
** 對話記憶: 透過回傳歷史對話維持上下文，但輪數越多 Token 成本越高。
** 變數記憶: 從對話中提取關鍵資訊（如 VIP 身份）存為變數，以低成本方式實現長期記憶和流程判斷。
** Token 計費: AI 依據輸入和輸出的 Token 數量計費，是成本考量的重要因素。
=== AI 實作：工作流、提示工程與安全性 ===
* 工作流 (Workflow) vs. 聊天流 (Chat Flow):
** 工作流: 流程固定，不具記憶，確保輸出穩定，適用於需要高可靠性的任務。
** 聊天流: 具有記憶，互動性強，但穩定性較低。
* AI 邏輯判斷取代傳統 If-Else:
** 問題分類器: 根據使用者自然語言意圖，將流程導向不同分支（如查詢課程 vs. 訂餐）。
** 引數提取器: 從自由文本中自動抽取結構化資料（如姓名、電話、數量），減少表單填寫。
* 提示工程 (Prompt Engineering):
** System Prompt: 設定 AI 的人設與行為準則。
** User Prompt: 使用者輸入的指令或問題。
** 關鍵寫法: 包括 Zero-shot、Few-shot、Instruction Prompt/Template 等，是提升 AI 輸出品質的關鍵。
* AI 安全與除錯:
** Prompt Injection 攻擊: 透過 User Prompt 試圖修改或操縱 AI 的初始設定，展示了 AI 認知可被影響的風險。
** 除錯 (Debugging): 利用日誌（Log）和追溯（Trace）功能，逐一排查工作流節點，找出問題根源（如知識庫為空）。
=== 開發部署與雲端網路架構 (AWS) ===
* 開發部署演進:
** 從手動開發部署邁向自動化，從傳統虛擬機（EC2）轉向容器化服務，以提升彈性與降低成本。
** 強調分支管理（開新分支開發、測試後合併）與憑證配置的重要性。
* AWS 網路核心概念與實作:
** VPC (Virtual Private Cloud): 建立隔離的私有雲端網路環境，不建議在生產環境使用 Default VPC。
** CIDR 規劃: 選擇 VPC 的 IP 網段，避免與其他同學衝突。
** 高可用架構: 橫跨至少兩個可用區（AZ），並在每個 AZ 中建立公有子網與私有子網。
** 封包的一生 (A Packet's Life): 網路流量從外部進入 AWS 的路徑：
1. 抵達 Internet Gateway (IGW)。
2. 查詢路由表 (Routing Table) 確定方向。
3. 通過子網路的防火牆 NACL (Network Access Control List)。
4. 通過 EC2 實例前的防火牆 Security Group。
** 手動搭建流程: 課程指導建立自訂 VPC、建立並附掛 IGW、設定指向 IGW 的路由規則、建立跨 AZ 的公私有子網，並將子網與對應的路由表關聯。
[[檔案:2026-0603-01.png|800px]]

緯育 2026-0603 - 修訂歷史

Kuyohong：​建立內容為「本系列講座涵蓋了從課程專題規劃、AI Engine 核心架構、大型語言模型（LLM）操作，到雲端網路建置與 AI 應用開發的完整脈…」的新頁面

Kuyohong：建立內容為「本系列講座涵蓋了從課程專題規劃、AI Engine 核心架構、大型語言模型（LLM）操作，到雲端網路建置與 AI 應用開發的完整脈…」的新頁面