Hai máy có thể phối hợp theo hai cách

Hai máy chia yêu cầu hay chia mô hình?

Chia các yêu cầu riêng

  1. Các yêu cầu đang chờMỗi câu hỏi hoặc tác vụ được xử lý thành một công việc riêng.
  2. Bộ phân phối yêu cầuChọn máy theo tải hiện tại và tài nguyên còn trống.
  3. Máy AI thứ nhấtNạp mô hình và xử lý những yêu cầu được chuyển tới.
  4. Máy AI thứ haiChạy các yêu cầu khác bằng mô hình và bộ nhớ riêng.

Các yêu cầu đang chờ đến Bộ phân phối yêu cầu. Bộ phân phối yêu cầu đến Máy AI thứ nhất. Bộ phân phối yêu cầu đến Máy AI thứ hai

Bộ phân phối chuyển từng yêu cầu tới một máy có sẵn mô hình và bộ nhớ để xử lý độc lập.

Chia một mô hình cho hai máy

  1. Phần mềm suy luận phân tánChia trọng số và phối hợp các bước tính toán giữa máy.
  2. Máy giữ phần mô hình đầuDùng bộ nhớ riêng để lưu và tính toán phần được giao.
  3. Mạng giữa hai máyChuyển dữ liệu trung gian giữa các bước tính toán.
  4. Máy giữ phần mô hình còn lạiXử lý phần được giao và đồng bộ với máy thứ nhất.

Phần mềm suy luận phân tán đến Máy giữ phần mô hình đầu. Phần mềm suy luận phân tán đến Máy giữ phần mô hình còn lại. Máy giữ phần mô hình đầu đến Mạng giữa hai máy. Mạng giữa hai máy đến Máy giữ phần mô hình còn lại

Phần mềm suy luận chia mô hình thành các phần trên hai máy và đồng bộ dữ liệu qua mạng.

Mỗi máy giữ bộ nhớ của mình. Ray phân phối công việc; phần mềm chạy mô hình xử lý việc chia mô hình và trao đổi dữ liệu qua mạng.

Nếu hai bộ phận dùng cùng trợ lý, bạn có thể chạy một bản mô hình trên mỗi máy rồi phân phối yêu cầu giữa chúng. Cách cân bằng tải này phục vụ các lượt hỏi độc lập. Với mô hình vượt bộ nhớ một máy, suy luận phân tán chia mô hình hoặc phép tính qua nhiều máy, đòi hỏi phần mềm hỗ trợ.

Mỗi máy trong cụm, gọi là node, vẫn giữ bộ nhớ riêng. Phần mềm quyết định dữ liệu nằm ở đâu và trao đổi qua mạng khi nào. Ray điều phối tác vụ dựa trên tài nguyên khai báo. Khả năng chia mô hình và quản lý bộ nhớ thuộc phần mềm chạy tác vụ; trao đổi giữa máy làm tăng độ trễ.

Chọn đường mạng và cáp theo thiết bị

Nối hai máy trực tiếp hoặc qua switch

Nối trực tiếp hai DGX Spark

  1. DGX Spark thứ nhấtDùng cổng ConnectX-7 ở chế độ Ethernet.
  2. Cáp nối hai máyChọn mã cáp được NVIDIA liệt kê cho kết nối hai DGX Spark.
  3. DGX Spark thứ haiĐặt địa chỉ mạng theo hướng dẫn kết nối hai máy.

DGX Spark thứ nhất đến Cáp nối hai máy. Cáp nối hai máy đến DGX Spark thứ hai

Cáp nối cổng ConnectX-7 của hai DGX Spark tạo đường trao đổi Ethernet giữa hai máy.

Các máy nối qua switch

  1. Máy AI thứ nhấtKết nối Ethernet tới switch bằng cổng và cáp được thiết bị hỗ trợ.
  2. Switch EthernetChuyển lưu lượng giữa các cổng theo tốc độ và cấu hình đã chọn.
  3. Máy AI thứ haiTham gia cùng mạng để nhận việc và trao đổi dữ liệu.
  4. Máy điều khiển cụmGửi yêu cầu và theo dõi các máy AI qua mạng quản trị được cấp phép.

Máy AI thứ nhất đến Switch Ethernet. Switch Ethernet đến Máy AI thứ hai. Máy điều khiển cụm đến Switch Ethernet

Switch Ethernet nối các máy AI để trao đổi dữ liệu và nhận yêu cầu từ máy điều khiển.

Sơ đồ thể hiện đường kết nối Ethernet giữa các thiết bị. Mã cáp và thiết lập mạng được chọn theo hướng dẫn của từng máy và switch; GX10 sử dụng tài liệu ASUS.

NVIDIA có hướng dẫn nối trực tiếp hai DGX Spark bằng cáp QSFP cho mạng 200GbE, cùng danh sách cáp được duyệt. Cổng ConnectX-7 trên DGX Spark hoạt động ở chế độ Ethernet. Với GX10, đối chiếu mã cáp, tốc độ và cấu hình theo ASUS; chỉ nhãn QSFP56 hoặc QSFP112 chưa đủ để quyết định mua.

RoCE cho phép truyền dữ liệu trực tiếp giữa các vùng nhớ qua Ethernet bằng RDMA, giúp giảm phần xử lý truyền dữ liệu trong cấu hình phù hợp. InfiniBand là công nghệ mạng khác; tên ConnectX-7 bao phủ nhiều biến thể sản phẩm. Khi đi qua switch, cả cổng, cáp và cấu hình Ethernet phải phù hợp với topology, tức sơ đồ kết nối được hỗ trợ.

Thử đường truyền trước khi thử mô hình

Kiểm tra mạng rồi thử mô hình phân tán

Kiểm tra từ cổng mạng đến mô hình

  1. Cổng mạng và cápXem trạng thái liên kết, tốc độ nhận được và tên giao diện.
  2. Địa chỉ IP và SSHThử kết nối bằng khóa và xác nhận còn đường quản trị.
  3. Bài thử truyền dữ liệuĐo băng thông và chạy bài kiểm tra NCCL theo hướng dẫn.
  4. Tác vụ AI phân tánChạy mô hình sau khi kết nối và truyền dữ liệu đã qua kiểm tra.

Cổng mạng và cáp đến Địa chỉ IP và SSH. Địa chỉ IP và SSH đến Bài thử truyền dữ liệu. Bài thử truyền dữ liệu đến Tác vụ AI phân tán

Kiểm tra liên kết, IP, SSH và truyền dữ liệu trước khi chạy mô hình giúp xác định lớp gây lỗi.

Đường quản trị giúp truy cập máy trong lúc thiết lập mạng tốc độ cao. Các thông số MTU và PFC đi cùng thiết kế mạng và hướng dẫn của thiết bị.

Làm theo hướng dẫn của thiết bị: nhận diện cổng, cấu hình địa chỉ IP rồi thiết lập SSH bằng khóa giữa các máy. SSH là kênh đăng nhập mã hóa để quản trị và khởi chạy việc từ xa. Giữ đường quản trị và phương án khôi phục khi đổi cấu hình mạng, nhất là khi thao tác từ laptop.

Đo liên kết và băng thông trước, sau đó thử NCCL, thư viện trao đổi dữ liệu giữa GPU, rồi chạy mô hình phân tán. MTU quy định kích thước gói mạng; PFC điều khiển luồng theo mức ưu tiên. Áp dụng MTU 9000 hoặc PFC khi tài liệu thiết bị, switch và phần mềm yêu cầu, với cấu hình nhất quán trên đường truyền.

Chốt phạm vi mở rộng bằng bộ thử

Dùng kết quả thử để quyết định mở rộng

Đánh giá cụm hai máy trước

  1. Hai máy chạy thửĐo thời gian xử lý, độ ổn định và cách khôi phục khi lỗi.
  2. Phạm vi hỗ trợ của hãngGhi số máy, sơ đồ kết nối, mã thiết bị và phiên bản được xác nhận.
  3. Tác vụ chạy trên cụmChọn cơ chế chia yêu cầu hoặc chia mô hình được phần mềm hỗ trợ.
  4. Phương án tăng số máySo kết quả cụm với phương án từng máy phục vụ độc lập.

Hai máy chạy thử đến Phạm vi hỗ trợ của hãng. Phạm vi hỗ trợ của hãng đến Tác vụ chạy trên cụm. Tác vụ chạy trên cụm đến Phương án tăng số máy

Thử hai máy với tác vụ thực tế rồi đối chiếu phạm vi hỗ trợ và kết quả khi mỗi máy phục vụ riêng.

Số máy và cách nối trong cụm đi theo phạm vi hỗ trợ của hãng. Cluster Assistant thiết lập kết nối; ứng dụng AI được cài và chạy trên cụm sau đó.

Cụm hai DGX Spark có hướng dẫn triển khai riêng. Tài liệu NVIDIA Sync hiện mô tả một số topology từ hai đến bốn DGX Spark/GB10. Với dự án từ ba đến tám máy, đề nghị hãng và đơn vị triển khai xác định tổ hợp thiết bị, phiên bản và sơ đồ được hỗ trợ trước khi đặt hàng.

Cluster Assistant giúp cấu hình mạng và SSH trong phạm vi hỗ trợ; bước cài ứng dụng và chia mô hình vẫn thuộc quy trình triển khai. Chạy bộ mẫu, đo thời gian phản hồi và thử khôi phục khi một node ngừng hoạt động. Nếu mục tiêu là phục vụ thêm người, so với phương án mỗi máy chạy riêng để chọn cách vận hành đơn giản hơn.

Tài liệu tham khảo

Các nguồn dưới đây cung cấp thông số thiết bị và hướng dẫn phần mềm được dùng trong bài. Khi cài đặt, hãy đối chiếu đúng mã máy và phiên bản đang sử dụng.