NVIDIA NVSwitch được xem là một trong những nền tảng kết nối GPU quan trọng nhất trong kỷ nguyên AI và HPC hiện đại. Công nghệ này được thiết kế nhằm giải quyết bài toán nghẽn băng thông khi nhiều GPU cần trao đổi dữ liệu đồng thời, đặc biệt trong các mô hình AI quy mô lớn và hệ thống tính toán hiệu năng cao.

Bằng cách cung cấp cơ chế kết nối all-to-all với độ trễ thấp, NVSwitch đóng vai trò nền tảng trong các trung tâm dữ liệu AI tiên tiến hiện nay.

Ý Chính Quan Trọng

NVIDIA NVSwitch là công nghệ chuyển mạch tốc độ cao, đóng vai trò kết nối các GPU trong hệ thống AI và điện toán hiệu năng cao (HPC). Đây là giải pháp then chốt giúp xóa bỏ nghẽn cổ chai băng thông, cho phép các GPU phối hợp như một bộ não khổng lồ duy nhất.

🚀 Bản chất công nghệ: NVSwitch là một switch fabric dựa trên giao thức NVLink, cho phép kết nối all-to-all giữa nhiều GPU trong cùng một node hoặc hệ thống rack. Thay vì chỉ kết nối trực tiếp hai thiết bị như NVLink, NVSwitch tạo ra mạng lưới giao tiếp đa điểm với băng thông cực lớn.
📊 Thông số ấn tượng: Tùy theo thế hệ (Volta, Ampere, Hopper), mỗi switch có thể sở hữu từ 18 đến 32 cổng NVLink. Tổng băng thông chuyển mạch có thể đạt tới hàng Terabyte mỗi giây (TB/s), giúp GPU trao đổi dữ liệu trực tiếp mà không cần thông qua CPU hay chuẩn PCIe chậm chạp.
🔄 NVLink vs NVSwitch: Trong khi NVLink là đường truyền điểm-điểm (point-to-point), NVSwitch đóng vai trò là bộ điều phối trung tâm. Sự kết hợp này giúp hệ thống mở rộng từ vài GPU lên đến hàng chục, hàng trăm GPU hoạt động song song với độ trễ cực thấp.
🏢 Ứng dụng Data Center: NVSwitch là thành phần cốt lõi trong các máy chủ siêu cấp như NVIDIA DGX và HGX. Trong các hệ thống hiện đại như DGX H200, NVSwitch liên kết các GPU H200 để phục vụ các mô hình AI ngôn ngữ lớn (LLM) và giả lập khoa học phức tạp.
🔮 Tương lai AI: Với sự ra đời của siêu chip GH200 Grace Hopper, NVSwitch tiếp tục tiến hóa để hỗ trợ các cluster quy mô rack với băng thông lên đến 57.6 TB/s. Đây là nền tảng không thể thiếu để duy trì vị thế dẫn đầu của NVIDIA trong cuộc đua hạ tầng AI toàn cầu 2026.

1. NVSwitch Là Gì?

NVSwitch là công nghệ kết nối tốc độ cao do NVIDIA phát triển, dùng để liên kết nhiều GPU trong cùng một hệ thống, cho phép chúng trao đổi dữ liệu trực tiếp với băng thông lớn và độ trễ thấp, thường được sử dụng trong máy chủ AI/HPC.

liên kết nhiều GPU bằng NVSwitch — NVSwitch là công nghệ liên kết nhiều GPU trong cùng một hệ thống.

Trái ngược với NVSwitch, Công nghệ MIG (Multi-Instance GPU) của NVIDIA cho phép phân bổ 1 GPU vật lý thành nhiều GPU ảo hoạt động độc lập và xử lý các tác vụ song song.

2. Thông Số Kỹ Thuật Của NVSwitch

Thông số kỹ thuật chính

Nhà phát triển: NVIDIA
Mục đích: Kết nối nhiều GPU trong cùng hệ thống
Chuẩn kết nối: NVLink
Số cổng NVLink: Thường từ 18 đến 32 cổng NVLink mỗi NVSwitch (tùy thế hệ)
Băng thông mỗi cổng: Khoảng 25 – 50 GB/s mỗi chiều (phụ thuộc thế hệ NVLink)
Tổng băng thông chuyển mạch: Có thể đạt vài TB/s (terabyte mỗi giây) cho một NVSwitch
Kiểu kết nối: All-to-all, GPU giao tiếp trực tiếp không cần qua CPU
Độ trễ: Rất thấp, tối ưu cho AI, Deep Learning, HPC
Khả năng mở rộng: Hỗ trợ hệ thống từ 8 GPU đến hàng chục GPU trong một node
Hình thức triển khai: Tích hợp trong dịch vụ cho thuê máy chủ GPU chuyên dụng (DGX, HGX)

Khác biệt theo thế hệ

NVSwitch (Volta): dùng với V100, NVLink gen 2
NVSwitch v2 (Ampere): tăng gấp đôi băng thông, dùng với A100
NVSwitch v3 (Hopper): băng thông cao hơn, dùng với H100

⚠️ Lưu ý: NVSwitch có nhiều thế hệ khác nhau, thông số cụ thể thay đổi theo kiến trúc GPU (Volta, Ampere, Hopper…). Dưới đây là các thông số kỹ thuật phổ biến, không áp dụng tuyệt đối cho mọi phiên bản.

3. So Sánh NVLink Và NVSwitch

NVLink và NVSwitch đều là công nghệ kết nối tốc độ cao do NVIDIA phát triển, nhằm tối ưu việc trao đổi dữ liệu giữa các GPU trong hệ thống tính toán hiệu năng cao.

Dưới đây là phần so sánh tóm tắt giúp làm rõ sự khác biệt cốt lõi giữa hai công nghệ này

Tiêu chí	NVLink	NVSwitch
Bản chất	Giao tiếp trực tiếp điểm-điểm giữa GPU (hoặc CPU-GPU) bằng liên kết tốc độ cao.	Một switch fabric trung tâm dựa trên nhiều liên kết NVLink để nối nhiều GPU với nhau.
Mục đích chính	Tăng băng thông giao tiếp giữa một số GPU trong một node.	Mở rộng all-to-all connectivity cho nhiều GPU trong hệ thống hoặc rack lớn.
Kiến trúc kết nối	Point-to-point (2 thiết bị trực tiếp).	Switch crossbar kết nối nhiều NVLink endpoints.
Quy mô GPU hỗ trợ	Thường vài GPU trong một node.	Hỗ trợ quy mô lớn (nhiều GPU, tới vài chục hoặc hơn tùy cấu hình).
Băng thông điển hình	Tùy thế hệ NVLink (ví dụ thế hệ 5 ~1,8 TB/s trên GPU).	Tích hợp nhiều NVLink giúp tổng băng thông toàn hệ rất lớn (ví dụ rack hàng trăm TB/s).
Độ trễ	Thấp (vì liên kết trực tiếp).	Thấp nhưng thường cao hơn NVLink đơn do qua switch fabric.
Ưu điểm chính	Đơn giản, tăng tốc độ trao đổi dữ liệu giữa GPU.	Mở rộng khả năng kết nối, mọi GPU có thể giao tiếp trực tiếp với nhau ở băng thông cao.
Ứng dụng điển hình	Máy chủ GPU đa GPU nhỏ/mid, giao tiếp GPU-GPU.	Hệ thống AI/HPC quy mô lớn, tối ưu all-to-all giữa nhiều GPU.

Tóm lại:

NVLink là liên kết trực tiếp giữa hai thiết bị (GPU hoặc GPU-CPU) với băng thông cao và độ trễ thấp.
NVSwitch là switch fabric dựa trên NVLink để kết nối nhiều GPU trong topology all-to-all, phù hợp cho các hệ thống quy mô lớn.

4. NVSwitch Trong Trung Tâm Dữ Liệu

NVSwitch là thành phần mạng liên kết tốc độ cao bên trong các hệ thống máy chủ GPU chuyên dụng giúp nhiều GPU trao đổi dữ liệu với nhau bằng băng thông cực lớn, thấp độ trễ hơn so với kết nối qua PCIe truyền thống.

Trong trung tâm dữ liệu, NVSwitch thường được dùng trong các nền tảng như NVIDIA HGX và DGX để xây dựng cluster GPU quy mô lớn, nơi các GPU cần phối hợp tính toán và chia sẻ dữ liệu nhanh chóng thay vì chỉ xử lý riêng lẻ.

Ví dụ: trong hệ thống NVIDIA DGX H200, có đến 4 NVSwitch để liên kết 8 GPU H200 trong cùng một node với hiệu năng tính toán cao cho workloads AI và HPC.

5. Tương Lai Của NVSwitch Với Siêu Chip H200 Và GH200

H200 và GH200 là GPU/siêu chip của NVIDIA nhắm tới tăng hiệu năng AI và data center quy mô lớn:

H200 là GPU dòng Hopper mà hiện tại được triển khai trong các hệ thống như DGX H200 kèm NVSwitch.
GH200 là kiến trúc tích hợp CPU Grace + GPU Hopper, hỗ trợ mô hình quy mô cực lớn trong data center và HPC.

Trong bối cảnh đó, NVSwitch tiếp tục là yếu tố quan trọng để:

Mở rộng khả năng kết nối giữa nhiều GPU/siêu chip trong một hệ thống hoặc rack, giúp mọi GPU có thể giao tiếp all-to-all với băng thông cao trong các cluster lớn.
Trong kiến trúc GH200, NVSwitch được dùng trong các hệ thống mở rộng quy mô rất lớn (tiếp cận hàng trăm GPU kết nối với băng thông all-to-all, ví dụ đến 57.6 TB/s trong một số cấu hình test).

Do đó, tương lai của NVSwitch là giữ vai trò ở trung tâm đột phá hiệu năng của các trung tâm dữ liệu AI/HPC, đặc biệt khi quy mô mô hình AI/phân tán tăng lên và yêu cầu trao đổi dữ liệu giữa các GPU ngày càng lớn hơn.

FAQ – Câu Hỏi Thường Gặp

NVSwitch có thể kết nối tối đa bao nhiêu GPU trong một hệ thống?

NVSwitch có thể hỗ trợ hệ thống 16 GPU hoàn chỉnh, điển hình như NVIDIA DGX-2, trong đó tất cả GPU đều được kết nối theo mô hình all-to-all với băng thông cao.

Sự khác biệt chính giữa NVSwitch và các giải pháp kết nối truyền thống là gì?

Khác với PCIe hoặc các kết nối truyền thống, NVSwitch kết hợp phần cứng chuyên dụng hiệu năng cao với cơ chế định tuyến thông minh, giúp tối đa hóa thông lượng dữ liệu và giảm tắc nghẽn khi nhiều GPU giao tiếp đồng thời.

NVSwitch có hỗ trợ giao tiếp trực tiếp giữa các GPU không?

Có. NVSwitch cho phép GPU-to-GPU communication trực tiếp, bỏ qua bộ nhớ máy chủ (CPU/host memory), từ đó giúp giảm độ trễ và tăng hiệu quả cho các tác vụ AI/HPC.

Làm thế nào để mở rộng hệ thống NVSwitch khi nhu cầu tính toán tăng lên?

Hệ thống có thể mở rộng bằng cách liên kết nhiều NVSwitch với nhau, tạo thành các cụm GPU lớn hơn, phù hợp cho trung tâm dữ liệu AI và các workload tính toán quy mô lớn.

Tóm lại, NVIDIA NVSwitch đóng vai trò then chốt trong việc giải quyết bài toán kết nối GPU ở quy mô lớn, giúp tối ưu băng thông, giảm độ trễ và nâng cao hiệu suất cho các hệ thống AI và HPC hiện đại, đồng thời tạo nền tảng mở rộng linh hoạt cho trung tâm dữ liệu trong tương lai.

Mời bạn truy cập thêm bài viết của VinaHost