AWS oferece clusters em nuvem com 4.000 NVIDIA A100

A AWS introduziu uma nova geração de instâncias EC2 com aceleradores NVIDIA A100 chamados AWS P4d. As instâncias AWS P4d são suportadas por oito processadores Ampere A100 conectados via NVLink, fornecendo 2,5 petaflops de desempenho de ponto flutuante e 320 GB de memória de GPU de alta largura de banda em uma única máquina.

Além disso, as novas instâncias P4d também apresentarão 96 vCPUs com base na geração Intel Xeon Scalable Cascade Lake, um total de 1,1 TB de memória do sistema e 8 TB de armazenamento NVMe.

De acordo com a AWS, as novas instâncias são as primeiras a ter rede de 400 Gbps usando Elastic Fabric Adapter (EFA) e suporte para a tecnologia NVIDIA GPUDirect RDMA, que irá descarregar as CPUs dos servidores de virtualização. 16x mais largura de banda total de rede do que instâncias P3 de última geração com GPUs NVIDIA V100.

A Amazon afirma que as novas instâncias P4d oferecem custos de aprendizado de máquina até 60% mais baixos e mais de 2,5 vezes o desempenho do aprendizado profundo. As novas instâncias do Amazon P4d ajudarão a treinar os modelos maiores e mais complexos que estão se tornando cada vez mais comuns hoje.

Além disso, a Amazon também oferece a capacidade de criar instâncias P4d com EC2 UltraClusters. EC2 UltraClusters, adaptado para casos de uso que requerem potência máxima de processamento, pode escalar até 4.000 unidades de GPU A100, o dobro de qualquer outro provedor de nuvem.

Em termos de preço, a AWS atualmente oferece apenas uma configuração para instâncias P4d. Uma configuração p4d.24xlarge com 8 GPUs NVIDIA A100, 96 vCPUs, conectividade de 400 Gb, SSD NVMe de 8 TB, volumes EBS de 19 Gbps e switches NVSwitch de 600 Gbps custará US $ 32,77 por hora. Se você reservar uma cópia por um ou três anos, os custos por hora cairão para $ 19,22 e $ 11,57, respectivamente.