AWS offre cluster cloud con 4.000 NVIDIA A100

AWS ha introdotto una nuova generazione di istanze EC2 con acceleratori NVIDIA A100 denominata AWS P4d. Le istanze AWS P4d sono supportate da otto processori Ampere A100 collegati tramite NVLink, fornendo 2,5 petaflop di prestazioni in virgola mobile e 320 GB di memoria GPU a larghezza di banda elevata su una singola macchina.

Inoltre, le nuove istanze P4d includeranno anche 96 vCPU basate sulla generazione Intel Xeon Scalable Cascade Lake, per un totale di 1,1 TB di memoria di sistema e 8 TB di storage NVMe.

Secondo AWS, le nuove istanze sono le prime ad avere una rete a 400 Gbps utilizzando Elastic Fabric Adapter (EFA) e il supporto per la tecnologia NVIDIA GPUDirect RDMA, che scaricherà le CPU dei server di virtualizzazione. Larghezza di banda di rete totale 16 volte superiore rispetto alle istanze P3 di ultima generazione con GPU NVIDIA V100.

Amazon afferma che le nuove istanze P4d offrono fino al 60% di riduzione dei costi di machine learning e oltre 2,5 volte le prestazioni del deep learning. Le nuove istanze Amazon P4d aiuteranno ad addestrare i modelli più grandi e complessi che stanno diventando sempre più comuni oggi.

Inoltre, Amazon offre anche la possibilità di creare istanze P4d con EC2 UltraClusters. Gli UltraCluster EC2, progettati su misura per i casi d'uso che richiedono la massima potenza di elaborazione, possono scalare fino a 4.000 unità GPU A100, il doppio rispetto a qualsiasi altro provider cloud.

In termini di prezzo, AWS attualmente offre solo una configurazione per le istanze P4d. Una configurazione p4d.24xlarge con 8 GPU NVIDIA A100, 96 vCPU, connettività da 400 Gb, SSD NVMe da 8 TB, volumi EBS da 19 Gbps e switch NVSwitch da 600 Gbps costerà $ 32,77 l'ora. Se prenoti una copia per uno o tre anni, i costi orari scenderanno rispettivamente a $ 19,22 e $ 11,57.