Dòng máy chủ EGX G191-H44 của GIGABYTE là một nền tảng điện toán mới, được thiết kế đặc biệt với khả năng sử dụng như một máy chủ biên hoặc một trung tâm dữ liệu biên vi mô. Máy chủ đã được tối ưu hóa để chuyên xử lý ứng dụng IoT thông tin cảm biến (video, dữ liệu âm thanh hoặc dữ liệu LIDAR), đồng thời dành cho đa truyền thông và tương tác như game trên công nghệ đám mây và thực tế ảo. Dòng sản phẩm này của GIGABYTE đã được tối ưu hóa cho card đồ họa GPU NVIDIA cũng như các khung phần mềm và ứng dụng của NVIDIA AI (Phần mềm METROPOLIS cho thành phố thông minh hoặc bán lẻ, CLARA cho chăm sóc sức khỏe thông minh hoặc ISAAC cho sản xuất thông minh) và nó cũng sẵn sàng sử dụng dịch vụ nền tảng điện toán đám mây của hãng RedHat như OpenShift.

Các tình huống sử dụng Edge AI

Chăm sóc sức khỏe

Sử dụng nền tảng điện toán trí tuệ nhân tạo tiên tiến giúp bác sĩ trong bệnh viện dễ dàng chẩn đoán ngay cho bệnh nhân sau khi chụp X-quang hoặc MRI...

Thành phố thông minh - Kiểm soát giao thông

Trong các giao lộ thông minh, các phương tiện được xác định và đèn giao thông có thể được điều khiển, vì vậy các phương tiện khẩn cấp cũng có thể được ưu tiên...

Thách thức

Có một sự thay đổi lớn đang xảy ra trong ngành công nghiệp máy tính và nó được thúc bởi khối lượng dữ liệu khổng lồ được tạo ra bởi hàng tỷ cảm biến IoT, cũng như những tiến bộ trong công nghệ AI, thuật toán có thể xử lý tất cả dữ liệu này. Để hữu ích, phân tích dữ liệu này cần phải diễn ra trong thời gian thực, với độ trễ tối thiểu, vì vậy các quyết định có thể được đưa ra và hành động nhanh chóng.

Công nghệ hiện tồn tại để cho phép đưa ra các quyết định theo thời gian thực này - cùng với các thuật toán AI và nhiều terabyte dữ liệu phi cấu trúc từ hàng tỷ cảm biến IoT, giờ đây chúng ta đã có mạng 5G và đám mây được điều hành trên phần mềm Kubernetes. Kết hợp chúng với nhau giờ đây chúng ta có thể triển khai công nghệ AI trên quy mô lớn ở trung tâm dữ liệu biên, nơi cách xa các trung tâm dữ liệu tập trung.

Triển khai máy chủ GIGABYTE từ Biên đến Đám mây

Tuy nhiên, vì các hệ thống này thường được phân phối trên nhiều vị trí từ xa, với nhiều tác vụ như cài đặt hệ điều hành, triển khai Kubernetes, cung cấp và cập nhật thiết bị, cũng như tiêu chuẩn hóa thời gian chạy, tính năng giám sát và trình điều khiển, v.v. khiến việc triển khai và quản lý các hệ thống này trở thành một thách thức lớn.

 

Do đó, GIGABYTE và NVIDIA đã hợp tác phát triển nền tảng điện toán biên G191-H44 EGX, không chỉ có giải pháp phần cứng mạnh mẽ nhưng lại tiết kiệm không gian và năng lượng lý tưởng cho khối lượng công việc GPU ở biên, mà còn giải pháp phần mềm NVIDIA Edge Stack, hỗ trợ đơn giản hóa và tinh gọn toàn bộ quá trình triển khai và quản lý máy chủ AI biên.

Lợi ích của nền tảng GIGABYTE EGX

Một bộ phần cứng và phần mềm Stack hoàn chỉnh cho AI Biên

Triển khai dễ dàng với hệ điều hành GPU

Dễ dàng triển khai công nghệ AI với Container và Framework của NGC

Bộ phần cứng và phần mềm Stack hoàn chỉnh cho AI Biên

Nền tảng EGX của GIGABYTE tích hợp máy chủ G191-H44 sử dụng bộ vi xử lý Intel Xeon Scalable Family thế hệ thứ 2, 4 card đồ họa NVIDIA Tesla® T4 và card mạng thông minh Mellanox Connect-X 5 cùng với NVIDIA Edge Stack, để tối ưu hóa phần mềm dành cho công việc huấn luyện khả năng suy luận của mô hình trí tuệ nhân tạo sử dụng containers. Phần mềm NVIDIA Edge Stack cung cấp môi trường quản lý containers cấp doanh nghiệp chạy trên máy chủ G191-H44 của GIGABYTE để hỗ trợ các loại mô hình trí tuệ nhân tạo và có thể kết nối với các dịch vụ IoT đám mây như RedHat OpenShift, AWS GreenGrass hoặc Azure IoT Edge.

NVIDIA Edge Stack bao gồm các trình điều khiển NVIDIA, một plug-in CUDA Kubernetes, một runtime container CUDA Docker, các thư viện CUDA-X và các khuôn khổ làm việc và ứng dụng trí tuệ nhân tạo nằm trong container, bao gồm TensorRT, TensorRT Inference Server và DeepStream, và có thể dễ dàng tích hợp với các nền tảng quản lý Kubernetes của bên thứ ba hàng đầu như Red Hat OpenShift và được sử dụng để triển khai nhiều loại container sẵn sàng cho trí tuệ nhân tạo từ NGC (NVIDIA GPU Cloud).

Máy chủ GIGABTYE G191-H44 với nền tảng EGX

Triển khai dễ dàng với hệ điều hành GPU

Máy chủ EGX của GIGABYTE tối giản hóa việc triển khai và quản lý các điện toán đám mây vi mô AI GPU cho mọi ngành. EGX Stack được tối ưu hóa để chạy các ứng dụng dựa trên container trên cơ sở hạ tầng Kubernetes cloud-native với khả năng cài đặt nhanh chóng thông qua Helm Charts. Cài đặt này đã trở nên đơn giản hơn với hệ điều hành NVIDIA GPU, hỗ trợ tiêu chuẩn và tự động hóa việc triển khai tất cả các thành phần cần thiết để cung cấp các cụm Kubernetes để hỗ trợ GPU.

Hệ điều hành NVIDIA GPU sử dụng các container để tự động thiết lập node hỗ trợ GPU. Trình điều khiển GPU, thời gian chạy, Kubernetes plug-in và giám sát plug-in hiện có thể được quản lý bởi hệ điều hành EGX GPU. Cuối cùng, cơ sở hạ tầng này cũng quản lý việc nâng cấp phức tạp của trình điều khiển dựa trên cụm Kubernetes.

Cấu trúc EGX

Dễ dàng triển khai AI với NGC Containers & Framework

Nền tảng EGX G191-H44 của GIGABYTE được tạo ra với mục đích sử dụng cùng NVIDIA NGC (NVIDIA GPU Cloud), một nền tảng trực tuyến miễn phí (và có lựa chọn hỗ trợ cấp doanh nghiệp) có các container được tăng tốc bằng GPU, một registry container và phần mềm để triển khai và chạy các container này. NGC là nơi dành cho các container được tối ưu hóa cho GPU và được chọn lọc, các mô hình học sâu và các tập lệnh cho phép người dùng tận dụng tối đa giá trị từ cơ sở hạ tầng GPU của họ. Các container NGC mới được xuất bản hàng tháng và cung cấp các tính năng mới nhất và hiệu suất vượt trội trên GPU NVIDIA, đồng thời có thể sử dụng trên các hệ thống đa GPU và đa node cho môi trường mở rộng, và hỗ trợ cho các runtime Docker & Singularity cũng như VMware vSphere.

GIGABYTE's G191-H44 đã được xác nhận là một máy chủ cho NGC Ready for Edge, giúp triển khai nhanh chóng và dễ dàng trên các container, mô hình hoặc tập lệnh của NGC để chạy các tác vụ inferencing hoặc các tác vụ được tăng tốc bằng GPU khác. NGC hiện đã mở rộng để hỗ trợ cho Helm Charts, thứ rất quan trọng để triển khai nhanh chóng trên bất kỳ nền tảng Kubernetes doanh nghiệp nào. NGC sẽ bao gồm một Helm Charts cho việc triển khai hệ điều hành GPU. Nền tảng NGC cũng có các khung ứng dụng NVIDIA có thể dễ dàng chạy trên NVIDIA EGX-Stack. Một ví dụ là NVIDIA Metropolis IoT, có thể sử dụng cho xử lý hình ảnh thời gian thực từ luồng camera CCTV hỗ trợ phân tích video thông minh và các ứng dụng có thể sử dụng cho các thành phố thông minh.

NVIDIA AI - Cloud to Edge

Nền tảng máy chủ GIGABYTE EGX

Hãy bắt đầu ngay, triển khai AI thời gian thực với máy chủ biên G191-H44 EGX của GIGABYTE, được cung cấp bởi GPU từ NVIDIA, các ứng dụng và khuôn khổ.

Máy chủ EGX

G191-H44 (phiên bản 200)

Máy chủ HPC - Hỗ trợ gắn 4 GPU