Salut,
J'ai une question bête :
Je dispose de deux switchs très similaires : netgear JGS516 et netgear GS724T. La différence des latences des pings sur les réseaux branchés sur ces deux machines est énorme :
GS724T : rtt min/avg/max/mdev = 0.176/0.191/0.266/0.030 ms
JGS516 : rtt min/avg/max/mdev = 0.033/0.043/0.074/0.012 ms, pipe 2
Soit donc un facteur 4 environ. Je me demande s'il peut s'agir d'un problème de configuration des ordinateur (RHEL d'un côté, centos de l'autre), ou si cela est intrinsèque ou optimisable sur les switchs (le GS724T est "manageable niveau 2"). Quelqu'un a-t-il une idée sur la question ? (NB: les connectiques sont équivalentes de parts et d'autres : des ports ethernets gigabits intégrés au carte mère et des cables de 3 mètres catégorie 6).
Par ailleurs, et de manière plus général, je me demandais s'il existe des méthodes pour optimiser la vitesse de petits réseaux locaux peu susceptible de modifications (en l'occurence un petit réseau servant pour le NFS d'une grappe de calcul) ?
# Forcer vitesse + duplex
Posté par tuxsmouf . Évalué à 2.
par ex : 100mb/s full duplex.
Sous linux, j'ai déjà utilisé ethtool pour forcer ces parametres sur ma carte réseau.
[^] # Re: Forcer vitesse + duplex
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
En fait les interfaces réseaux impliquées (les quatres donc) rapportent toutes être entre en :
Speed: 1000Mb/s
Duplex: Full
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: Forcer vitesse + duplex
Posté par fcartegnie . Évalué à 2.
(84*8)/10^9=0.6µs par paquet
Soit 28.8µs de latence dans le switch
http://www.netgear.fr/produits/ft.php?prod=GS724TS
"- Temps de latence : 20 microsecondes avec des trames de 64 octets (de 1G à 1G)"
[^] # Re: Forcer vitesse + duplex
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 4.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: Forcer vitesse + duplex
Posté par fcartegnie . Évalué à 2.
64octets ping standard icmp + headers
20 octets trame ethernet + pad
0.030ms = 0.00003 = 30x10^-6 = 30µs
30 - 0.6 * 2 = 28.8 µs
Soit 28.8µs de latence dans le switch
[^] # Re: Forcer vitesse + duplex
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
# La réponse aidant la question
Posté par Kerro . Évalué à 3.
La réponse est dans la question.
Si tu veux moins de latence, tu peux tenter en supprimant toutes les règles, mais tu n'arriveras pas au même niveau qu'une puce simple comme sur ton autre modèle (démonte, dedans c'est du Realtek tout bête, imbattable niveau performance/prix puisque ça ne traite presque rien).
Pour ne pas avoir d'aussi grosses latences (parce que là, effectivement, c'est moche) il faut taper dans des modèles bien plus chers, avec l'OS embarqué capable de configurer les puces évoluées qui vont faire le tri rapidement, et surtout avec un processeur bien plus rapide. Dans ton modèle, tous les en-têtes passent par l'OS, donc même en désactivant les règles, tu n'auras pas la même pêche.
Note: quelqu'un peut me donner un exemple en PME où un commutateur "évolué" est utile ? C't'une vraie question.
[^] # Re: La réponse aidant la question
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
Question subsidiaire : les switchs non "manageable" ne peuvent pas supporter le 802.3ad ? J'avais choisi le modèle GS724T pour pouvoir fusionner les ports de mon serveur NFS (et avec un peu de chance, si je n'ai pas eu tort, cette remarque est une réponse à votre question)…
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: La réponse aidant la question
Posté par Kerro . Évalué à 3.
Agréger les ports Ethernet implique qu'on dépasse les 50 Mo/s sur des périodes étendues, c'est peu courant. Dans ce cas il est effectivement préférable d'avoir un commutateur évolué. Mais pas les entrées de gamme. Il faut regarder les spécifications pour avoir une meilleure idée (paquets traités par seconde par exemple). Attention aux autres commutateurs situés sur le trajet, ils font perdre le bénéfice à ceux qui sont derrière.
[^] # Re: La réponse aidant la question
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
le netgear était le moins cher que j'ai pu trouver avec ce type de support.
on dépasse les 50 Mo/s sur des périodes étendues
C'est typiquement ce qui arrive sur une grappe de calculs quand plusieurs processus décident d'écrire où de lire des données (souvent des dizaines de GO) simultanément sur un NFS ou d'échanger des informations.
Il faut regarder les spécifications
Certes, encore faut-il y comprendre quelque chose. Pour moi c'est plus ou moins du charabia, je n'ai qu'une vague idée de ce qu'ai un packet. Par exemple d'après les bribes de spécifications fournies par le constructeur la latence du GS724T pouvait sembler deux fois moindre que celle du JGS516… J'aurais cru que les pings s'en ressentiraient.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
# différence latence énorme, mais valeur absolue pas si énorme
Posté par Old Geek . Évalué à 4.
Tu as 2/10 de milliseconde de latence en moyenne sur GS724T, c'est quelle appli qui
te demande autant de réactivité !,
Un ping localhost consomme 0.3/10 de milliseconde ...
Un ping entre 2 serveurs hébergés chez OVH renvoie 0.243 ms d'avg (en cisco j'imagine)
Pour répondre à ta questions, seuls les switchs manageables peuvent êtres configurés pour
optimiser le temps de latence.
exemple :
http://www.cisco.com/en/US/docs/switches/lan/catalyst1700/ug(...)
avec les modes FastForward, FragmentFree ou Store-and-Forward
A+
Nicolas
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 3.
- les transferts de données de NFS — et là, la latence importe peu c'est plutôt le débit qui m'intéresse;
- des calculs parallèles — et là, en fonction du code, la latence peut devenir un paramètre critique. Les gens riches évitent l'ethernet et se tournent souvent vers d'autres technologies pour lesquelles les cartes réseaux valent plus que mes ordinateurs…
Mon problème c'est que je n'y connaît rien en réseau donc même naviguer dans les menus tentaculaires de mon GS724T, à la recherche de paramètres potentiellement utiles me paraît compliqué.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par NeoX . Évalué à 3.
il faut peut-etre voir si c'est vraiment la latence de 0,000.01s qui te pose souci
pcq meme si on prend les latences MAXs de tes deux appareils.
Premier appareil : GS : 0,266 ms
Deuxieme appareil JS : 0,074ms
ok y a un ratio de 3 entre les deux appareils
mais le GS fait plus de chose, c'est ce qu'on t'expliquait precedemment.
pour infos chez moi entre mon laptop et mon routeur netgear je suis deja à
~ neox$ ping 192.168.0.1
PING 192.168.0.1 (192.168.0.1): 56 data bytes
64 bytes from 192.168.0.1: icmp_seq=0 ttl=64 time=1.372 ms
soit 5 fois la latence de ton pire appareil
et je suis en direct dessus.
entre deux dedibox
rtt min/avg/max/mdev = 0.183/0.204/0.266/0.030 ms
si on compare à tes valeurs du GS (le pire de tes deux appareils)
GS724T : rtt min/avg/max/mdev = 0.176/0.191/0.266/0.030 ms
on voit que tu es plutot bien placé comparé à de grands reseaux de groupe et taille plus complexe que ton systeme
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par Old Geek . Évalué à 3.
Cisco InfiniBand PCI-E HCA MTLP25208-C 2x 10 Gbit/s , 30 euros la carte 2x10Gbits ;) , et le cable c'est environ 20 euros.
http://cgi.ebay.fr/Cisco-InfiniBand-PCI-E-HCA-MTLP25208-C-2x(...)
C'est ce qu'on a fait de notre côté, j'ai même fini par craquer
pour le switch qui va avec, mais pour commencer avec quelques cables et cartes directement reliées, ca fait très bien l'affaire.
A+
Nicolas
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par Old Geek . Évalué à 1.
tu n'as que le mode "store and forward", les autres modes
ne sont pas présents, donc pas d'optimisation possible ;)
A+
Nicolas
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par Old Geek . Évalué à 1.
je dirais que 60% de notre matos vient de là, (serveurs et réseau)
il n'y a guère plus que les imprimantes, et les portables qui sont achetés neufs au prix fort.
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 3.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par Old Geek . Évalué à 4.
Pour info en IPoIB, j'ai du :
ping 10.0.0.4
PING 10.0.0.4 (10.0.0.4) 56(84) bytes of data.
64 bytes from 10.0.0.4: icmp_req=1 ttl=64 time=0.134 ms
64 bytes from 10.0.0.4: icmp_req=2 ttl=64 time=0.113 ms
64 bytes from 10.0.0.4: icmp_req=3 ttl=64 time=0.111 ms
64 bytes from 10.0.0.4: icmp_req=4 ttl=64 time=0.112 ms
64 bytes from 10.0.0.4: icmp_req=5 ttl=64 time=0.133 ms
^C
--- 10.0.0.4 ping statistics ---
5 packets transmitted, 5 received, 0% packet loss, time 3997ms
rtt min/avg/max/mdev = 0.111/0.120/0.134/0.016 ms
Mais l'IPoIB n'est pas ce qu'il y a de mieux pour l'infiniband, il y a le mode RDMA, et les protocoles de cluster spécifiques. Les derniers noyaux linux ont du nfs over rdma qui marche pas mal.
http://infiniband.sourceforge.net/
http://www.mjmwired.net/kernel/Documentation/filesystems/nfs(...)
Un netperf m'indique un débit de 4.6Gbit/s mais je suis bridé par la vitesse du port PCIX, c'est tout de même pas mal.
A+
Nicolas
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: différence latence énorme, mais valeur absolue pas si énorme
Posté par Old Geek . Évalué à 2.
la latence:
ib_rdma_lat 10.0.0.3
Latency typical: 8.15697 usec
Latency best : 4.92138 usec
Latency worst : 74.8032 usec
et la bande passante:
ib_rdma_bw 10.0.0.3
2385: Bandwidth peak (#0 to #980): 522.651 MB/sec
2385: Bandwidth average: 522.595 MB/sec
2385: Service Demand peak (#0 to #980): 4286 cycles/KB
2385: Service Demand Avg : 4287 cycles/KB
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.