AWS propose des clusters cloud avec 4000 NVIDIA A100

AWS a introduit une nouvelle génération d'instances EC2 avec des accélérateurs NVIDIA A100 appelés AWS P4d. Les instances AWS P4d sont prises en charge par huit processeurs Ampere A100 connectés via NVLink, fournissant 2,5 pétaflops de performances en virgule flottante et 320 Go de mémoire GPU à large bande passante sur une seule machine.

En plus de cela, les nouvelles instances P4d comporteront également 96 processeurs virtuels basés sur la génération Intel Xeon Scalable Cascade Lake, un total de 1,1 To de mémoire système et 8 To de stockage NVMe.

Selon AWS, les nouvelles instances sont les premières à disposer d'un réseau à 400 Gbit / s utilisant Elastic Fabric Adapter (EFA) et prenant en charge la technologie NVIDIA GPUDirect RDMA, qui déchargera les processeurs des serveurs de virtualisation. 16 fois plus de bande passante réseau totale que les instances P3 de dernière génération avec les GPU NVIDIA V100.

Amazon affirme que les nouvelles instances P4d offrent des coûts de machine learning jusqu'à 60% inférieurs et plus de 2,5 fois les performances du deep learning. Les nouvelles instances Amazon P4d aideront à former les modèles plus grands et plus complexes qui deviennent de plus en plus courants aujourd'hui.

En outre, Amazon offre également la possibilité de créer des instances P4d avec EC2 UltraClusters. Conçus pour les cas d'utilisation nécessitant une puissance de traitement maximale, les EC2 UltraClusters peuvent évoluer jusqu'à 4000 unités de GPU A100, soit le double de tout autre fournisseur de cloud.

En termes de prix, AWS ne propose actuellement qu'une seule configuration pour les instances P4d. Une configuration p4d.24xlarge avec 8 GPU NVIDIA A100, 96 processeurs virtuels, une connectivité 400 Go, un SSD NVMe 8 To, des volumes EBS 19 Gbps et des commutateurs NVSwitch 600 Gbps coûtera 32,77 USD par heure. Si vous réservez un exemplaire pour un ou trois ans, les coûts horaires chuteront respectivement à 19,22 $ et 11,57 $.