緯育 2026-0326

出自頂極製作所

建構虛擬化網路環境

本系列講座旨在說明在現代系統整合與資料中心領域中,虛擬化網路的重要性與架構,並深入探討VMware虛擬化環境中的兩種主要虛擬交換器類型:標準型虛擬交換器(VSS)和分散式虛擬交換器(VDS)。講師首先強調了從業人員需同時掌握實體網路、VMware 虛擬網路以及雲端網路(如 AWS VPC)等多種網路技術。接著,講師將當前的 AI 產業趨勢與 2000 年的互聯網泡沫進行類比,指出雖然 AI 股票可能存在泡沫,但其底層技術仍會持續發展。

講座的核心內容聚焦於 VMware ESXi 主機中的兩種虛擬交換機:標準虛擬交換機 (VSS) 與分散式虛擬交換機 (VDS),並詳細闡述了兩者的定義、功能差異以及運作範圍。其中VSS的運作範圍僅限於單一ESXi主機內部,而VDS則能跨越多台由vCenter管理的ESXi主機,實現跨主機虛擬機的內部高效通訊。講師也闡述了虛擬交換器在虛擬化作業系統中的基礎性地位,將其功能類比為實體的二層交換器,並介紹了業界三大主流的虛擬化技術:VMware ESXi、Microsoft Hyper-V以及Linux KVM。

現代 IT 網路架構

  • 網路技術的多樣性
    • 在資訊行業,特別是系統整合領域,工程師需要掌握多種網路技術才能成功建構運算資料中心。
    • 過去僅需學習思科 (Cisco) 為代表的實體網路。
    • 現在還必須學習 VMware ESXi 主機內的虛擬網路。
    • 未來還會接觸到雲端網路,例如 AWS 的 VPC (Virtual Private Cloud) 架構。
    • 此外,AI 伺服器也正逐漸形成其獨特的網路架構。
  • AI 產業趨勢與技術發展
    • 講師引用高盛的觀點(2026年3月25日左右提及),指出像美國七大科技巨頭(如微軟、AWS)的成長高原期已過,其股價已從高點下跌超過 20%。
    • 市場對 AI 公司的評估標準已轉變,不再只看是否擁有 AI 技術,而是檢視其資本投資與營收是否成正比。微軟因龐大的資本投入未能帶來相應的營收回報而受到質疑。
    • 此趨勢與 2000 年的互聯網泡沫相似,當時思科 (Cisco) 股價崩盤,但網路技術本身仍持續進化與發展。
    • 結論是,AI 股票雖有泡沫,但 AI 技術本身會繼續向前進步。

VMware 虛擬交換機

  • 虛擬交換機基礎
    • 只要有 Hypervisor 的虛擬化作業系統或應用平台,就會有虛擬交換機。這些軟體交換機運行在 Hypervisor 之中。
    • 以 VMware Workstation Pro 為例,其提供三種虛擬交換機:Bridge(橋接模式)、NAT(網路位址轉譯模式)和 Host-Only(僅主機模式)。
    • 虛擬交換器的功能與運作方式非常類似於實體的二層交換器(Layer 2 Switch),例如思科的Catalyst 2960型號。
    • 這些虛擬交換機的概念與雲端服務(如 AWS)中的網路服務有共通之處。AWS 的網路服務稱為 VPC (Virtual Private Cloud),學習 VSS/VDS 的基礎有助於理解 VPC。
  • 標準虛擬交換機 (VSS * vSphere Standard Switch)
    • VSS 被定義為「標準型虛擬交換機」。
    • 其主要限制是「只可以運行在一台 ESXi 主機內部」。
    • 每台ESXi主機都擁有各自獨立的標準交換機。例如,VXI-01和VXI-02主機各自擁有自己的VSS。
    • 在課程實驗中,每台ESXi主機配置了四台標準交換機,編號從0開始,分別為VSS0、VSS1、VSS2、VSS3。
  • 分散式虛擬交換機 (VDS * vSphere Distributed Switch)
    • VDS 的 "D" 代表 Distributed(分散式),其定義是「可以跨越在多台 ESXi 主機間運行」。
    • 它可以在兩台或更多(如三台、四台、五台...)的 ESXi 主機之間建立一個統一的虛擬交換機,實現跨主機的網路管理。
    • 這種跨主機的內部通訊,讓不同主機上的虛擬機(如VM1和VM2)可以透過同一個VDS進行,相比透過外部網路連接,具有更好的速度與效能。
    • VDS的配置與管理必須在vCenter Server中進行,它是存在於vCenter資料庫中的一個概念。
  • VSS與VDS的差異總結
    • 範圍:VSS僅限於單一主機;VDS可跨越多台主機。
    • 管理:VSS在單台ESXi主機上配置;VDS必須透過vCenter Server進行集中配置和管理。
    • 通訊能力:使用VSS時,位於不同主機上的虛擬機若要互通,必須經過外部實體網路;使用VDS,則可以直接在vCenter內部進行高效通訊。
    • 效能:一般來說,VDS的網路效能優于VSS。

虛擬化網路架構與實體網卡角色

  • 軟體交換器的共同特性
    • 無論是 ESXi、Hyper-V 或 Xen 中的軟體交換器,它們都將主機的實體網卡視為其「上行連接埠」(Uplink Port),用以連接到外部的實體交換器。
  • 非虛擬化 vs. 虛擬化系統的網卡角色比較
    • 在非虛擬化作業系統 (如 Windows 11) 中,IP 位址是設定在作業系統層級的網管服務上,這個服務再與實體網卡綁定,主要為該主機提供網路連線。
    • 在虛擬化作業系統中,實體網卡的角色轉變為虛擬交換器的上行連接埠,為其上的所有虛擬機提供對外連線。
  • 從 OSI 模型理解主機架構
    • 實體網卡運作於 OSI 模型的第二層 (資料連結層)。
    • 作業系統無法直接控制網卡,必須透過安裝在作業系統中的驅動程式 (Driver) 來控制硬體晶片。
  • Open vSwitch (OVS) 簡介
    • Open vSwitch 是一個由社群開發的軟體交換器,常用於 Linux KVM 環境,因功能較強大,常被用來替換預設功能較陽春的 Linux Bridge。

業界主流虛擬化技術

  • 三大伺服器虛擬化平台
    • 業界有三大主流的伺服器虛擬化解決方案:
   1. VMware ESXi:當前課程所教授的平台。
   2. Microsoft Hyper-V:內建於微軟伺服器(Microsoft Server)作業系統中的一個服務。
   3. Linux KVM:Linux系統中的虛擬化解決方案。KVM代表Kernel-based Virtual Machine,其特點是將虛擬機運行在核心空間(Kernel Space)以獲得顯著的效能提升。
  • 共通性
    • 無論是ESXi、Hyper-V還是KVM,這三大平台都具備各自實現的軟體交換器(Virtual Switch)功能。
    • 講師提及,後續的K8S課程實驗將會在Microsoft Hyper-V平台上進行。

2026-0326-01.png 2026-0326-02.png

傳統作業系統網路架構

  • OSI 模型與 TCP/IP
    • OSI 模型第三層是網路層,第四層是傳輸層。
    • 在作業系統中,這兩層對應一支程式,俗稱 TCP/IP。這是簡稱:第三層核心為 IP,第四層包含 TCP、UDP 等多種協定,通常以最著名的 TCP 作為代表。
    • 此程式負責在作業系統中處理第三層(網路)與第四層(傳輸)的功能。
  • 網路運作流程
    • 應用程式(APP)如 Outlook 等,將指令送到作業系統。
    • 作業系統透過驅動程式(Driver)解讀指令,並轉換以控制實體網卡執行實際傳輸。
    • 網管服務(IP Stack)直接與實體網卡綁定,IP 位址設定在網管服務上,而非直接在網卡上。
    • 外部設備可透過 ping(例如 ping 192.168.1.18)測試與此實體作業系統的連線。

虛擬化作業系統網路架構

  • 引入軟體交換機(OVS)
    • 在 Linux(使用 KVM)或 Windows 11(使用 Hyper-V)等虛擬化環境中,會啟動軟體交換機,例如 OVS(Open vSwitch)。
    • 啟動指令範例(KVM):OVS-VSCTL add-br MyBridge,此指令會新增名為 MyBridge 的軟體交換機。
  • 網路綁定關係的重構
    • 核心變化:網管程式(IP Stack)不再直接與實體網卡綁定,原有綁定必須移除。
    • 實體網卡改為與軟體交換機的上行埠(Uplink Port)綁定。
    • 網管程式(IP Stack)改連接至軟體交換機的內部埠(Internal Port)。
    • 所有流量都必須先經過軟體交換機,才能透過實體網卡出去。
  • 軟體交換機的埠口類型與功能
    • 上行埠(Uplink Port):
    • 連接實體網卡。雖於圖示中可能位於下方,但因其接往更核心的骨幹交換機(如機房交換機),故稱為「上行」。
    • 一個軟體交換機的上行埠固定與實體網卡綁定。
    • 下行埠(Downlink Port):
    • 連接各類內部服務(如網管服務、vMotion 服務)以及虛擬機器(VM)。
    • 虛擬機器的流量必須先連至軟體交換機的下行埠,嚴禁直接繞過軟體交換機存取實體網卡。此為所有虛擬化平台(如 ESXi、Hyper‑V、KVM)的強制規定。
  • 流量路徑總結
    • 在虛擬化主機中,任何流量(管理服務或使用者虛擬機器)皆遵循:
 1. 從服務或虛擬機器發出,進入軟體交換機的下行埠。
 2. 由軟體交換機處理。
 3. 從軟體交換機的上行埠送出。
 4. 經由與上行埠綁定的實體網卡,與外部網路通訊。

2026-0326-03.png

VMware網路核心術語與組件

  • vmnic vs. vNIC
    • vmnic (Virtual Machine NIC):指的是ESXi主機上的實體網路介面卡。系統會自動從0開始編號,如vmnic0, vmnic1。
    • vNIC (Virtual NIC):指的是虛擬機器(VM)內部使用的虛擬網路介面卡,它會連接到虛擬交換器。一台虛擬機器可擁有多張vNIC(ESXi 5/6中最多10張)。
  • 虛擬交換器 (vSwitch) 的端口結構
    • 上行端口 (Uplink):連接至ESXi主機的實體網卡(vmnic),負責與外部實體交換器溝通,是虛擬環境通往外部世界的出口。
    • 下行端口 (Downlink):連接至虛擬化環境內的各種服務,主要分為兩種類型。

下行端口的兩種類型:Port Group 與 VMkernel Port

  • Port Group (端口群組)
    • 用途:用於連接虛擬機器(VM)。它是一個邏輯端口群組,可將具有相同網路需求的VM連接在一起。
    • 優勢:網路原則(如VLAN、安全設定)只需在Port Group上設定一次,所有連接至此群組的VM便會自動繼承。相較於傳統實體交換機需逐一配置每個端口,此舉大幅簡化了管理。
    • 應用場景:業界常依據VM用途建立不同Port Group,如Production(生產環境)和Test(測試環境),或依部門(如Marketing、Engineering)進行劃分,以實現網路隔離。
  • VMkernel Port (VMK)
    • 用途:專門用於連接ESXi主機的系統核心服務(運行於VMkernel層之上),例如網管服務 (Management)、vMotion、iSCSI、NFS、vSAN等。
    • IP位址綁定:每個VMkernel Port都必須綁定一個IP位址,外部使用者或系統可透過呼叫此IP來存取對應的服務。
    • 流量分離原則:為確保系統穩定,強烈建議將重要的「服務流量」(如網管)與「使用者流量」(VM產生的流量)分離,例如將它們配置在不同的虛擬交換器或實體網卡上,避免使用者流量過大影響到關鍵的管理服務。

NIC Teaming (網路介面卡群組)

  • 概念與目的:將多張主機實體網卡組合成一個邏輯團隊的技術,主要用於「頻寬聚合」。例如,將兩張10G網卡組成Team,總頻寬可視為20G。
  • 自動啟用:從VMware ESXi 6.x版本開始,當vSwitch偵測到連接了多張實體網卡時,系統會預設自動啟用NIC Teaming功能。
  • 主要優點:
    • 備援/容錯 (Redundancy/Failover):當團隊中某張網卡或路徑故障時,流量會自動切換至其他正常網卡,確保連線不中斷。
    • 負載平衡 (Load Balancing):正常運作時,系統會將不同VM的流量分配到不同的實體網卡上,避免單一網卡負載過高。
  • 與EtherChannel的比較:NIC Teaming是在ESXi主機端對實體網卡進行聚合,而EtherChannel是實體交換器端的端口聚合協定(常見於Cisco設備)。

基礎設施選擇與成本考量

  • 雲端 vs. 自建機房:
    • 雲端服務 (如AWS):初期無需大量硬體投資,但成本是持續性的營運費用,主要按網路流量計價,用量越大費用越高。適合業務模式尚不確定的新創公司。
    • 自建實體機房:成本主要是一次性的初始建置費用,可在會計上分年攤提。對於營運模式穩定的公司,長期下來可能更具成本效益。
  • 混合模式 (Hybrid Model):許多公司(如電玩公司、台積電)採用實體與雲端並行的模式。例如,將資源需求大且變動頻繁的測試環境置於內部實體機房,而將對外服務的生產環境保留在雲端,以達到成本最佳化。

vCenter Server 部署架構演進

  • vSphere 6:vCenter Server是一個應用程式,需要安裝在一台獨立的Windows Server作業系統上。
  • vSphere 7 & 8:vCenter Server改以虛擬應用裝置 (VCSA, vCenter Server Appliance) 的形式提供。VCSA是一個包含Linux作業系統與vCenter服務的預打包檔案,它被部署為一台虛擬機器,運行在某一台ESXi主機之上。此架構不再需要獨立的實體伺服器來運行vCenter。
  • 對網路設定的影響:在vSphere 7/8中,因為運行VCSA的VM需要連接到網路,所以ESXi主機上預設用於連接VM的Port Group(如VM Network)變得至關重要,不應隨意刪除。而在vSphere 6情境下,若vCenter獨立部署,此預設Port Group則可能無用,可為保持環境整潔而移除。

vCenter 實作導覽與預設配置

  • 每台ESXi主機安裝後,會預設建立一台名為vSwitch0的虛擬標準交換器。
  • vSwitch0預設會連接到主機的第一張實體網卡vmnic0。
  • vSwitch0上預設包含一個名為Management Network的VMkernel Port(用於網管),以及一個名為VM Network的Port Group(用於連接VM)。
  • 講師引導學員在VCenter介面中查看此預設配置,並根據vSphere 6的情境,示範移除VM Network Port Group,使vSwitch0專門用於管理服務。

2026-0326-04.png

預設交換機與名詞辨識

  • VMkernel Port(管理/服務流量端點)需綁定管理 IP;「Managent Network」常用作該 Port 的名稱。
  • VM Network 本質為 Port Group,承載虛擬機器連線。
  • Connection Type 用於選擇連接 VMkernel(服務)或 Port Group(VM 流量);介面用語在 vSphere 6/7/8 略有差異但概念一致。

新增第二台交換機(VSwitch 1)與 Port Group

  • 介面操作:選擇「上方」的新增網路按鈕以新增整台交換機;下方按鈕偏向在既有交換機上新增連接項。
  • 精靈重點步驟:選取連線類型(連接 Port Group 以承載 VM 流量)→ 選擇新增交換機 → 綁定實體網卡(vmnic1/2/3)作為上行。
  • 建立 production 與 test 兩個 Port Group,建議全小寫命名以維持一致性;VLAN ID 預設為 0(不標註 VLAN),日後再視需求設定。

設計原則:流量分離與交換機分流

  • 將 VM 流量與管理/重要服務(如 vMotion、iSCSI)分離至不同交換機,以降低瓶頸與互相干擾。
  • 可朝多交換機架構前進,讓重要服務獨立承載以提升穩定性與效能。

NIC Teaming:頻寬聚合與容錯移轉

  • 在同一交換機綁定多張實體網卡後自動形成 NIC Teaming,提供備援與總頻寬提升。
  • VMware 允許在 Port Group 層級覆寫 Teaming 策略,配置 Active/Standby/Unused:
    • 例如 Production:vmnic1、vmnic2 為 Active,vmnic3 為 Standby。
    • 例如 Test:vmnic3 為 Active,vmnic1 或 vmnic2 為 Standby,另一張設為 Unused。
  • 設定步驟:進入 Port Group → 編輯 → 整併與容錯移轉(NIC Teaming)→ 勾選覆寫(複寫)→ 調整網卡狀態。

新增第三、第四台交換機:VMkernel Port 規劃

  • VSS-2(iSCSI 規劃):
    • 新增 VMkernel Port(標籤如「for iSCSI」),選用 vmnic4 作為上行。
    • iSCSI 非內建服務,新增 VMkernel Port 時不勾選任何服務;待安裝完成後再綁定。
    • IP 規劃範例:ESXi-001 使用 192.168.101.51;ESXi-002 使用 192.168.101.52。子網 255.255.255.0;DNS 192.168.1.100。
  • VSS-3(vMotion 規劃):
    • 新增 VMkernel Port(標籤如「for VMotion」),選用 vmnic5 作為上行。
    • 勾選 vMotion 以啟用並綁定於該 VMkernel Port。
    • IP 規劃範例:ESXi-001 使用 192.168.101.61;ESXi-002 使用 192.168.101.62。DNS 192.168.1.100。

多主機一致性

  • ESXi-001 與 ESXi-002 皆配置 production/test Port Group 與相同的 NIC Teaming 規則與網卡對應。
  • 僅在 VMkernel IP 參數上區分,以避免重複並維持架構一致。

2026-0326-05.png

ad2016 server 儲存資源池建立

本系列講座主要介紹如何使用StarWind V8軟體,在Windows Server 2016環境中模擬並建立一個完整的iSCSI儲存網路。講師首先指導如何安裝StarWind軟體,其核心原理是從本機硬碟(例如AD2016虛擬機)中分割出一塊空間(如30GB),將其模擬成不受本機作業系統管理的獨立網路硬碟,即iSCSI Target。這個共用存放區是實現叢集(Cluster)功能的基礎。

接著,講座詳細介紹了如何在StarWind管理主控台中建立iSCSI Target,並為其新增邏輯設備(Device/LUN)。講師強調,必須勾選「允許多個並行iSCSI連線」選項,才能使之成為真正的網路硬碟。

隨後,重點轉移到用戶端(ESXi主機)的設定。講師深入講解了iSCSI Initiator的角色,以及實體HBA與軟體HBA在成本、效能上的差異。並逐步引導學員在vSphere環境中,透過安裝iSCSI軟體介面卡,並將其與VMkernel連接埠綁定,來模擬出軟體HBA。

最後,講座演示了完整的連線流程:在ESXi主機上設定Initiator的IQN,透過動態探索找到先前建立的iSCSI Target,並將掃描到的LUN格式化為VMFS資料存放區(例如命名為"netdisk or netstore")。講師解釋了VMFS格式允許多台主機同時存取的特性,並指導學員為第二台ESXi主機重複相同的設定,使其也能存取同一個已格式化的網路硬碟,無需重複格式化,從而實現兩台主機共享儲存的目標。

StarWind 軟體介紹與iSCSI Target建立

  • StarWind 軟體功能與角色
    • StarWind V8 是一個模擬程式,用於在Windows Server 2016等環境中模擬專業的iSCSI儲存櫃(iSCSI Target)。
    • 它能從本機硬碟中分割出一塊空間(例如30GB),並將其模擬成一個獨立的網路硬碟,此空間將不再由原作業系統管理。
    • 這個模擬出的網路硬碟可以同時提供多台主機(例如ESXi主機)進行存取,建立共用存放區。
  • 安裝與授權
    • 需將StarWind安裝檔與授權金鑰(License Key)複製到虛擬機中進行安裝。
    • 安裝過程中,需選擇 "I do have my license key already" 並指定授權檔案。講師提供的授權僅允許建立單一節點(OneNode)。
    • 安裝完成後,系統會自動開啟「StarWind Management Console」(管理主控台)。
  • 管理主控台與儲存池
    • 首次開啟需設定「Storage Pool」的預設位置,例如將網路空間從C碟劃分出來。
    • 主控台應能自動抓取本機伺服器 (127.0.0.1:3261),若無,需手動連線。
  • 建立 iSCSI Target 與 Device (LUN)
    • 第一步:新增 iSCSI Target
    • 為Target設定易於識別的別名(Alias),例如 NetDisk。此別名會附加到其唯一的IQN(iSCSI Qualified Name)末尾。
    • 關鍵步驟:必須勾選「Allow multiple concurrent iSCSI connections」(允許多個並行的iSCSI連線),以確保其為網路硬碟模式。
    • 第二步:新增 Device(設備)
    • 在StarWind術語中,Device相當於SCSI概念中的LUN(Logical Unit Number,邏輯單元號)。
    • 選擇建立「Virtual Disk」(虛擬磁碟),並設定大小。例如,建立一個30GB的虛擬磁碟作為LUN 0,並可再建立一個1GB的LUN 1作為對照組。
    • 虛擬硬碟格式可選「Thick Provision」(完整佈建)。

儲存網路核心概念

  • iSCSI 與儲存網路
    • 實驗中,StarWind模擬的儲存設備擔任「iSCSI Target」角色,而需要存取儲存的ESXi主機則擔任「iSCSI Initiator」(啟動器)的角色。
    • 學習iSCSI儲存網路的經驗有助於理解Fibre Channel等更進階的儲存技術。
  • 網路硬碟與單機硬碟的差異
    • 網路硬碟 (Network Drive):可同時供多台主機存取。StarWind建立的就是此類硬碟。
    • 單機硬碟 (Local Drive):同一時間僅供一台主機存取,寫入時會被鎖定(Locked),以避免資料衝突。

ESXi 主機上的iSCSI Initiator 設定

  • 硬體HBA vs. 軟體HBA
    • 主機連接iSCSI儲存需透過HBA(主機匯流排介面卡)。
    • 硬體HBA:實體專用介面卡,效能好但價格昂貴(數萬至十幾萬台幣)。
    • 軟體HBA:透過在標準乙太網路卡(NIC)上安裝模擬驅動程式來實現,成本低廉但效能較差,適合實驗環境。
  • 在vSphere中實作軟體HBA
    • 1. 安裝軟體介面卡:在ESXi主機的「儲存裝置介面卡」中,「新增iSCSI軟體介面卡」。這會建立一個新的介面卡(如 vmhba65),它就是iSCSI Initiator。
    • 2. 網路連接埠綁定:將新安裝的iSCSI介面卡與一個專用於儲存網路的VMkernel Port(例如連接到獨立vSwitch上的 "to iSCSI" 連接埠)進行綁定。此舉是為了指定iSCSI流量的網路路徑。
  • 探索 iSCSI Target
    • 動態探索 (Dynamic Discovery):推薦使用的方式。只需在Initiator設定中新增Target伺服器的IP位址(如 192.168.101.18)和預設通訊埠(3260)。系統會自動發現該伺服器上所有可用的Target及其LUN。
    • 靜態探索 (Static Discovery):較為繁瑣,需要手動輸入Target的IP、Port以及完整的IQN。
    • 探索成功後,重新掃描儲存介面卡,即可在「裝置」頁籤下看到由Target提供的LUN 0和LUN 1。

建立共用資料存放區 (Datastore)

  • 硬碟格式化與 VMFS
    • 掃描到的LUN如同未格式化的新硬碟,必須格式化後才能使用。
    • VMware ESXi主機使用專為虛擬化設計的VMFS (Virtual Machine File System) 格式。
    • VMFS是叢集檔案系統,其最大特性是允許多台ESXi主機同時讀寫同一個LUN,這與單機使用的FAT或NTFS格式根本不同。
  • 建立資料存放區流程
    • 主機一設定:在vCenter中選擇一台ESXi主機,進入「資料存放區」介面,選擇「新增資料存放區」。
    • 選擇類型為「VMFS」,並在嚮導中選擇要格式化的LUN(如LUN 0)。
    • 為資料存放區命名(如 "netdisk"),並完成格式化設定(如使用全部30GB空間,區塊大小設為1MB)。
  • 主機二設定
    • 在第二台ESXi主機上,重複安裝軟體HBA、進行網路綁定和動態探索的步驟。
    • 關鍵點:當第二台主機成功探索到Target後,它會自動識別到先前已被第一台主機格式化為VMFS的資料存放區。無需重複格式化,該資料存放區會直接出現在其可用儲存清單中。
    • 至此,兩台主機便可共享同一個名為"netdisk"的網路硬碟,並將各自的虛擬機檔案存放於其上。

2026-0326-06.png