Netflix Exploite Les Processeurs AMD Epyc Pour Augmenter La Bande Passante Jusqu’à 400 Gbit/s

L’ingénieur logiciel senior de Netflix, Drew Gallatin, s’est confié sur les efforts de la société pour optimiser son architecture matérielle et logicielle, permettant la diffusion en continu de grandes quantités de divertissement vidéo à plus de 209 millions d’abonnés.

La société est actuellement en mesure de presser jusqu’à 200 Go par seconde à partir d’un seul serveur, mais en même temps veut le mettre à niveau. Les résultats de l’effort ont été présentés lors de la conférence EuroBSD 2021, cités par Tom’s Hardware, mercredi 22 septembre.

Gallatin a déclaré que Netflix est capable de pousser le contenu jusqu’à 400 Go par seconde en utilisant une combinaison de processeur Epyc 7502p (Rome) à 32 cœurs, de 256 Go de mémoire DDR4-3200, de 18 lecteurs de 2 téraoctets Western Digital SN720 NVMe et de deux cartes réseau PCIe 4.0 x16 Nvidia Mellanox ConnectX-6 Dx, chacune capable d’accueillir deux connexions de 100 Go.

Pour avoir une idée du débit théorique maximal de ce système, il existe huit canaux de mémoire qui fournissent une bande passante d’environ 150 Go par seconde et 128 lignes PCIe 4.0 qui permettent une bande passante d’E/S allant jusqu’à 250 Go. En unités réseau, il est d’environ 1,2 To par seconde et 2 To par seconde, respectivement. Il convient également de noter que c’est ce que Netflix utilise pour présenter son contenu le plus populaire.

Cette configuration peut généralement servir jusqu’à 240 Go de contenu par seconde, principalement en raison des limitations de bande passante mémoire. Netflix a ensuite essayé une configuration NUMA (Non Uniform Memory Architecture) différente, avec un nœud NUMA capable de produire 240 Go par seconde et quatre nœuds NUMA générant environ 280 Go par seconde.

Cependant, cette approche présente un certain nombre de problèmes propres, tels qu’une latence plus élevée. Idéalement, il devrait stocker autant de données en vrac que possible à partir de NUMA Infinity Fabric pour éviter les goulots d’étranglement et les arrêts du processeur résultant de la concurrence avec l’accès normal à la mémoire.

Gallatin explique qu’il est possible de surmonter ces limitations en utilisant l’optimisation logicielle. En décompressant les tâches de chiffrement TLS sur deux adaptateurs Mellanox, la société a augmenté le débit total à 380 Go par seconde (jusqu’à 400 Go avec des ajustements supplémentaires), ou 190 Go par seconde par carte d’interface réseau (NIC).

Le processeur n’ayant plus à effectuer de chiffrement, l’utilisation globale tombe à 50 % avec quatre nœuds NUMA et à 60 % sans NUMA. Netflix explore également des configurations basées sur d’autres plates-formes, dont une avec un processeur Intel Xeon Platinum 8352V (Ice Lake) et le géant Altra Q80-30 d’Ampère avec 80 cœurs Arm Neoverse N1 fonctionnant jusqu’à 3 GHz.

Le banc d’essai Xeon est capable d’atteindre 230 Go par seconde sans démontage TLS, et le système Altra atteint 320 Go par seconde. Non satisfaite du résultat de 400 Go par seconde, la société construit déjà un nouveau système qui gère une connexion réseau de 800 Go par seconde. Cependant, certains des composants nécessaires n’arrivent pas à temps pour effectuer des tests.