Akamai dan Nvidia Luncurkan AI Grid untuk Infrastruktur Terdistribusi

Akamai Technologies mengumumkan penerapan Nvidia AI Grid dalam upaya mengubah infrastruktur AI. Kerja sama dengan Nvidia ini bertujuan untuk memindahkan model AI dari sistem terpusat ke sistem terdistribusi yang berbasis jaringan edge. Langkah ini merupakan bagian dari pengembangan sebelumnya, yaitu Akamai Inference Cloud.

Dalam penerapannya, Akamai menggunakan ribuan GPU Nvidia RTX PRO 6000 Blackwell Server Edition untuk mendukung berbagai beban kerja AI. Ini termasuk aplikasi berbasis agen dan aplikasi yang memerlukan respon secara real-time. Akamai menyatakan bahwa pendekatan ini bertujuan untuk melampaui konsep pabrik AI yang sebelumnya berfokus pada pelatihan model di pusat data terpusat. Dengan adanya AI Grid, proses inferensi—atau eksekusi model AI—dapat dilakukan lebih dekat dengan pengguna melalui jaringan edge yang tersebar di lebih dari 4.400 lokasi di seluruh dunia.

Adam Karon, Chief Operating Officer dan General Manager di Cloud Technology Group Akamai, menjelaskan bahwa pabrik AI dirancang khusus untuk beban kerja pelatihan dan model terdepan. Infrastruktur terpusat tetap diperlukan untuk kasus penggunaan tertentu. Pendekatan baru ini diharapkan dapat mengurangi latensi dan meningkatkan efisiensi biaya.

Akamai mengandalkan orkestrasi beban kerja untuk mengatur distribusi komputasi secara dinamis. Ini termasuk penggunaan teknik seperti caching semantik dan routing cerdas untuk mengoptimalkan performa. Secara teknis, Akamai menggabungkan infrastruktur edge dengan klaster GPU berkapasitas tinggi di pusat data. Kombinasi ini memungkinkan pemrosesan AI skala besar tetap berjalan di core, sementara inferensi yang membutuhkan respon cepat dilakukan di edge.

Beberapa sektor yang menjadi fokus implementasi termasuk game, layanan keuangan, media, dan ritel. Misalnya, studio game dapat menawarkan interaksi NPC berbasis AI dengan latensi di bawah 50 milidetik. Sektor keuangan memanfaatkan sistem ini untuk deteksi penipuan dan personalisasi layanan secara real-time. Selain itu, sektor penyiaran dan media dapat menggunakan jaringan ini untuk transkoding dan dubbing berbasis AI secara langsung tanpa jeda yang signifikan.

Nvidia menyebut bahwa implementasi ini membuka peluang untuk pengembangan aplikasi AI generatif, agen, dan AI fisik yang memerlukan respons cepat serta skalabilitas global. Akamai meyakini bahwa model terdistribusi ini merupakan langkah evolusi selanjutnya dalam infrastruktur AI, seiring meningkatnya kebutuhan untuk inferensi dibandingkan pelatihan model. Dengan memindahkan komputasi lebih dekat kepada pengguna, perusahaan berharap dapat memberikan performa yang lebih stabil dan efisiensi operasional bagi pelanggan korporat.