Marvell Technology đã công bố bộ sản phẩm hạ tầng bộ nhớ mới nhất nhằm giải quyết những hạn chế về bộ nhớ đang cản trở hiệu suất AI trong các môi trường đám mây và quy mô lớn. Sản phẩm này tận dụng công nghệ Compute Express Link (CXL) và các công nghệ liên kết quang học để giảm thiểu tình trạng tắc nghẽn dữ liệu và nâng cao hiệu quả xử lý cho các khối lượng công việc inference (suy diễn).
Trong một buổi họp báo với EE Times, Khurram Malik, phó giám đốc marketing sản phẩm, cho biết việc ra mắt sản phẩm này bao gồm ba lĩnh vực chính, tất cả đều nằm trong chiến lược phân tán bộ nhớ của công ty. Bộ sản phẩm bao gồm bộ điều khiển SSD PCIe 6.0 Bravera SC6, dòng sản phẩm Structera CXL cho việc mở rộng và chia sẻ bộ nhớ, cùng với các thành phần Photonic Fabric của công ty cho kiến trúc bộ nhớ chia sẻ quang học.
Mục tiêu của Marvell là cung cấp cho các nhà cung cấp đám mây nhiều sự linh hoạt hơn trong việc nguồn cung, mở rộng và phân bổ bộ nhớ cho các khối lượng công việc AI ngày càng yêu cầu cao. Các sản phẩm này giải quyết ba cấp độ của hạ tầng AI: lưu trữ gắn với máy chủ, mở rộng và chia sẻ bộ nhớ ở quy mô rack, và bộ nhớ chia sẻ phân tán trên nhiều rack.
Cải thiện kiểm soát NAND
Bộ điều khiển Bravera SC6 được thiết kế để hỗ trợ các trường hợp sử dụng lưu trữ AI cấp máy chủ, bao gồm bộ nhớ cache key-value, nơi việc giữ nhiều dữ liệu trên SSD có thể cải thiện hiệu suất hạ tầng. Malik cho biết khách hàng đã bắt đầu áp dụng xu hướng này.
Bộ điều khiển Bravera SC6 thu hút sự quan tâm của các nhà cung cấp quy mô lớn nhờ khả năng hỗ trợ từ nhiều nhà cung cấp NAND, mang lại sự linh hoạt cho khách hàng trong bối cảnh các hạn chế về nguồn cung ảnh hưởng đến quyết định mua sắm.
Bộ điều khiển này cũng phản ánh cách mà các nhà cung cấp quy mô lớn ngày càng muốn điều chỉnh hành vi lưu trữ theo nhu cầu của khối lượng công việc. Nó được xây dựng dựa trên một lớp chuyển đổi flash được quản lý bởi máy chủ, cho phép khách hàng kiểm soát tốt hơn việc khuếch đại ghi, thu gom rác và cân bằng độ mòn.
Chia sẻ bộ nhớ cho khối lượng công việc AI
Sự ra đời của giao thức Compute Express Link (CXL) đã xảy ra trước cơn sốt AI gần đây, nhưng giờ đây nó đang trở thành một yếu tố quan trọng trong hạ tầng AI.
Malik cho biết dòng sản phẩm Structera CXL cho việc mở rộng và chia sẻ bộ nhớ phản ánh cách mà Marvell tự định vị mình như một nhà cung cấp đa dạng trong thị trường CXL đang nổi lên.
Khả năng mở rộng bộ nhớ của Structera X cho phép tái sử dụng dung lượng DDR4 hoặc DDR5 hiện có, điều này khiến nó trở thành lựa chọn đầu tiên cho các nhà cung cấp quy mô lớn đang tìm kiếm các giải pháp triển khai nhanh trong các trung tâm dữ liệu. Một ví dụ điển hình là công ty mẹ của Facebook, Meta, đang sử dụng mở rộng bộ nhớ dựa trên CXL trên hàng triệu máy chủ, tái sử dụng các mô-đun DDR4 từ các máy đã ngừng hoạt động thay vì loại bỏ chúng.
Malik cho biết khả năng nén của Structera X có thể cung cấp khoảng 2 đến 2,5 lần dung lượng bộ nhớ hiệu quả so với các phương pháp tiêu chuẩn.
Structera A, mặt khác, là một bộ tăng tốc tính toán gần bộ nhớ được thiết kế để giảm tải công việc từ CPU và GPU, phục vụ cho các khối lượng công việc như động cơ gợi ý, tìm kiếm vector, cơ sở dữ liệu và tính toán hiệu suất cao (HPC).
Ở cấp độ rack, Structera S4 là một công tắc CXL 3.1 có thể hỗ trợ các kiến trúc bộ nhớ phân tán được thiết kế để kết nối CPU và GPU với các tài nguyên CXL ngay cả khi không có các lane gốc. Malik cho biết: "Chúng tôi có một lớp chuyển đổi giao thức chuyển đổi PCIe sang CXL gốc trong công tắc."
Đẩy bộ nhớ AI ra ngoài rack
Sản phẩm Photonic Fabric của Marvell mở rộng ý tưởng phân tán bộ nhớ trên nhiều rack bằng cách sử dụng các liên kết quang học. Nó được thiết kế để cải thiện thông lượng cho các mô hình có kích thước bộ nhớ lớn và các cửa sổ ngữ cảnh dài.
Malik cho biết nó có thể tạo ra một lớp bộ nhớ chia sẻ cách xa tới 50 mét và hỗ trợ lên đến 32 TB bộ nhớ cache KV ấm. Công ty cũng tuyên bố rằng Photonic Fabric có thể cung cấp từ hai đến ba lần thông lượng token trong các không gian trung tâm dữ liệu hiện có và trong các giới hạn năng lượng, mặc dù những lợi ích thực tế sẽ phụ thuộc vào đặc điểm khối lượng công việc và cách triển khai hệ thống.
Việc ra mắt các sản phẩm này cùng nhau giải quyết sự chuyển đổi từ việc coi bộ nhớ như một tài nguyên cố định, gắn với máy chủ. Bằng cách tách bộ nhớ khỏi tính toán và kết nối lưu trữ, các thiết bị CXL và vải quang học trên các quy mô khác nhau, các nhà điều hành đám mây có thể phân bổ dung lượng một cách linh hoạt hơn trong khi giảm thiểu các tài nguyên bị bỏ rơi.
Malik cho biết Marvell tin rằng những cải tiến tiếp theo trong hiệu suất AI sẽ không chỉ đến từ các bộ xử lý nhanh hơn, mà còn từ những cách tốt hơn để lưu trữ, chia sẻ và di chuyển bộ nhớ. "Chúng tôi đang ở tuyến đầu để cho phép sự phân tán này bằng cách làm việc với các nhà cung cấp quy mô lớn dựa trên kiến trúc của họ."
TH (phapluatxahoi.kinhtedothi.vn)
