Amazon SageMaker ahora es compatible con Elastic Fabric Adapter para el entrenamiento distribuido

Amazon SageMaker ahora es compatible con Elastic Fabric Adapter (EFA) para el entrenamiento de modelos de machine learning. EFA es una interfaz de red para las instancias de Amazon EC2 que permite a los clientes ejecutar aplicaciones que requieren altos niveles de comunicación entre nodos a escala en AWS. EFA puede acelerar notablemente el entrenamiento distribuido en SageMaker sin costo adicional. A modo de ejemplo, entrenamos el modelo de procesamiento de lenguaje natural BERT con la biblioteca paralela de datos distribuidos de SageMaker en 32 instancias ml.p4d.24xlarge. El entrenamiento resultó ser hasta un 130 % más rápido con EFA en comparación con Elastic Network Adapter (ENA).