Giải Pháp Qualcomm cho Inferencing

Tận dụng thiết kế G292, G292-Z43 được xây dựng cho các ứng dụng AI Inferencing với bộ tăng tốc Qualcomm Cloud AI 100.

Tóm tắt

Cloud Qualcomm AI 100 đạt được hiệu suất hàng đầu về thông lượng và độ trễ trong khi hiệu quả hơn như các máy gia tốc HHHL tương tự để xử lý biên thông minh. Ngoài ra, AI 100 tỏa sáng với hiệu quả ấn tượng trong việc phát hiện và nhận dạng đối tượng. Giải pháp này giải quyết các khía cạnh quan trọng nhất của suy luận AI trên nền tảng đám mây - bao gồm tiêu thụ điện năng thấp, quy mô, giao nhau trong quy trình lãnh đạo và chuyên môn xử lý tín hiệu.

Máy chủ suy luận HPC và AI G292-Z43 G292-Z43 hỗ trợ tối đa 16 bộ tăng tốc một khe cắm, làm hệ thống lý tưởng cho khối lượng công việc suy luận của AI.

Lợi ích

Hiệu suất cao

Lên đến 400TOPS cho mỗi thẻ và tiêu thụ điện năng thấp, 75W, từ GPU một khe cắm, Qualcomm AI 100 cung cấp thẻ cho các trung tâm dữ liệu, viễn thông và biên.

Máy tính tăng tốc dày đặc

Thiết kế cấu hình thấp, HHHL, cho phép mật độ GPU vô lý sử dụng làn PCIe Gen4. G292-Z43 hỗ trợ tối đa 16 thẻ trong x8 khe cắm cho thông lượng cao.

Tiết kiệm tuyệt vời

Hiệu quả năng lượng mạnh mẽ chuyển thành giảm TCO cho điện toán biên và viễn thông trong khi AI 100 có khả năng thích ứng cao với môi trường.

Hiệu quả suy luận

Điểm chuẩn MLPerf v1.1 cho thấy hiệu suất hàng đầu của Cloud AI 100 trong inferences/second/watt. và cũng dẫn đầu trong các suy luận ngoại tuyến / giây.

Công cụ phần mềm mạnh mẽ

Các khung chính được hỗ trợ nguyên bản. Hơn 50 mô hình ML cho thị giác máy tính và xử lý ngôn ngữ tự nhiên. Cũng áp dụng python để phát triển.

Thông lượng cao

G292-Z43 có thể hỗ trợ mười sáu làn Gen4 x8 cho thẻ AI 100 để kết nối mạng nhanh hơn, và có thêm hai làn Gen4 x16 cấu hình thấp.

Nghiên cứu điển hình

Đám Mây Biên

Các ứng dụng suy luận với các công ty siêu cấp hàng đầu yêu cầu khối lượng công việc suy luận AI nặng cho các công cụ xử lý, đề xuất và dự đoán ngôn ngữ tự nhiên.

Cơ sở hạ tầng 5G

Định hình lại giao thông và thành phố thông minh với ăng-ten MIMO (nhiều đầu vào, nhiều định dạng) khổng lồ.

Hộp Biên 5G

Chuyển đổi trải nghiệm mua sắm, an toàn công cộng, sản xuất (theo dõi lỗi) và nông nghiệp.