Alors que le franchissement du téraflops datait de 1996 avec le superordinateur Asci Red (4510 processeurs Pentium Pro cadencés à 200 MHz) nous voici, 12 ans plus tard, à la veille de franchir la marche supérieure, le pétaflops (un million de milliards de calculs par seconde).
Pour la première place au classement Top500 du mois prochain la course est donc engagée entre le Ranger du centre de calcul de l'université du Texas et le Roadrunner du laboratoire de Los Alamos. Les superordinateurs ont, depuis toujours, été la chasse gardée des systèmes d'exploitations exotiques spécialisés ou des Unix propriétaires. Par exemple ASCI Red utilisait un mélange de T O/S pour les entrées/sorties et de Cougar pour les noeuds de calcul. Cela signifie qu'ASCI Red reposait sur deux OS très spécialisés et non standards et qu'il était difficile de capitaliser sur une base commune de code quand il fallait changer d'architecture. Pourtant, à partir de 1999 et surtout depuis 2003, le système d'exploitation libre Linux a réussi une incroyable percée et il est en voie de remplacer complètement ses concurrents sur ce créneau très particulier. Lors du dernier classement Top 500 de novembre 2007 les machines fonctionnant avec l'OS libre représentaient plus de 85% du total ! On assiste donc à une standardisation de la composante OS dans les superordinateurs et, dans le rôle de ce standard, à un véritable plébiscite de Linux.
La course qui oppose le Ranger et le Roadrunner pour atteindre la première place du prochain classement sera donc, dans tous les cas, un succès pour Linux.
Ranger est une machine qu'on pourrait qualifier de classique puisqu'il s'agit d'un cluster de noeuds de calcul et qu'il n'y a qu'un seul type de microprocesseurs dans ces noeuds. Basé sur l'architecture Sun constellation, Ranger possède 15744 processeurs quadri-coeurs Barcelona cadencés à 2 GHz (cela représente donc 62976 coeurs de la famille Opteron d'AMD). Le système d'exploitation est basé sur la distribution CentOS, une Red Hat Linux rebaptisée et recompilée depuis les sources, et le noyau est le 2.6.18.8 en version x86_64. La vitesse de pointe est de 504 téraflops et cette machine est donc bien placée pour prendre la première place dans le prochain classement Top 500 du mois prochain...à moins que Roadrunner ne la coiffe au poteau !
Alors que Ranger est une machine vraiment traditionnelle on peut dire que l'architecture de Roadrunner est beaucoup plus intéressante. Au lieu de n'employer que des processeurs x86 classiques, Roadrunner mélange des opterons double-coeur d'AMD avec des microprocesseurs Cell d'IBM. C'est l'approche "Hybrid Computing" et cela consiste à coupler des noeuds d'Opterons qui se chargent des entrées/sorties, de la communication et des calculs légers avec des Cells qui s'occupent eux des calculs intensifs et répétitifs.
Comme vous le savez sans doute le Cell est lui-même doté d'une architecture très originale. Elle est divisée en deux grands blocs fonctionnels : Tout d'abord le PPE (PowerPC Processing Element) qui est une unité généraliste double-thread de type PowerPC classique. Ensuite on trouve les SPU (Synergistic Processing Units) qui sont huit unités vectorielles 128 bits possédant chacune une mémoire locale de 256 Ko accessible par le programmeur. Ce mode d'accès est insolite car d'habitude on trouve des mémoires caches qui sont gérées automatiquement par le processeur sans que le programmeur ne puisse avoir la main sur le chargement des données. La technique de la mémoire locale permet une bien plus grande souplesse et ouvre de grandes possibilités d'optimisations pour les auteurs des programmes.
Développé par une alliance entre IBM, Toshiba et Sony le microprocesseur Cell a tout de suite intéressé le milieu du calcul scientifique à hautes performances. Les chercheurs ont voulu savoir quel était le potentiel du Cell et une comparaison détaillée a été effectuée avec des microprocesseurs classiques comme l'Opteron, des microprocesseurs VLIW comme l'Itanium et enfin des microprocesseurs purement vectoriels comme ceux du Cray X1E. Le résultat de cette comparaison c'est que le Cell écrabouille ses concurrents mais que la précision du calcul des nombres à virgule à 32 bits (bien suffisante pour le marché du jeu vidéo) constitue une limitation sévère.
C'est pour résoudre ce problème qu'IBM a sorti en début d'année la version PowerXCell 8i qui propose une précision en 64 bits pour les nombres flottants. La page 12 de cette présentation détaille les améliorations supplémentaires du powerXCell 8i (passage à la mémoire DDR2, gestion de 16 Go de mémoire par puce au lieu de 2, réduction de la latence de 13 cycles à 9 cycles, etc). Le résultat brut c'est que la performance d'une puce Cell traditionnelle était de 25 gigaflops en double précision (64 bits donc) alors qu'avec le Cell 8i on passe à 102 gigaflops.
Pour construire Roadrunner la recette est donc simple: On prend une carte LS21 contenant deux Opterons dual-coeur cadencés à 1,8 GHZ et deux cartes QS22 contenant chacune deux Cell 8i cadencés à 3,2 GHz. Ces trois cartes forment une "TriBlade" et on en entasse 180 dans un gros rack nommé une "Connected Unit". Chacune de ces "Connected Unit" possède également 24 Opteron double-coeur à 2,6 GHz pour gérer les entrées/sorties ce qui fait qu'elle contient en tout 384 Opterons et 720 Cells.
Maintenant il n'y a plus qu'à relier 18 de ces "Connected Unit" pour avoir Roadrunner ! Si vous vous amusez à faire les multiplications cela représente 13824 coeurs Opteron et 12960 Cell 8i et, si on ajoute les noeuds de disques, on obtient un monstre qui consomme quand même la bagatelle de 3,9 mégawatts.
La puissance en pointe sera de plus de 1,6 pétaflops et, pour le test LINPACK qui conditionne le classement du Top500, la puissance soutenue sera de 1 pétaflops. La vitesse extraordinaire du Cell est bien illustrée par le fait qu'en dépit d'une quasi-égalité en nombre de coeurs la répartition de la capacité de calcul est très inégalitaire. Sur les plus de 1,6 pétaflops il y en a 1,3 qui viennent des Cell et seulement 0,4 qui viennent des Opterons.
Le Roadrunner est actuellement en phase de tests (on peut voir des photos de l'assemblage ici) et il ne serait pas surprenant qu'IBM lance un petit run de LINPACK afin d'essayer de figurer dans le Top 500 de juin en brisant le mur du pétaflops. Si ce n'est pas le cas alors il faudra attendre celui de novembre pour coiffer la couronne.
La présentation pdf de l'architecture de Roadrunner souligne en page 29 que la distribution Linux utilisée est basée sur une Fedora (avec bien entendu une compatibilité Red Hat Entreprise Linux). Cette même présentation annonce en haut à droite de la page 16 que le futur du microprocesseur Cell est d'ores et déjà défini. Cela va consister essentiellement à doubler le PPE (on aura donc 2 coeurs PowerPC gérant chacun 2 threads) et à quadrupler les SPU (32 unités vectorielles au lieu de 8) pour obtenir une puissance de calcul estimée à un téraflops en simple précision (5 fois la puissance du PowerXCell 8i).
Incidemment on peut noter que cette présentation du futur super-Cell nous dévoile aussi peut-être le coeur de la future console de jeu de Sony. En effet la si particulière architecture Cell a nécessité d'énormes investissements de la part des éditeurs de jeux. Après des débuts très difficiles et des sueurs froides devant la complexité de programmation, les moteurs de jeux arrivent maintenant doucement à maturité et on peut penser que Sony voudra préserver cet investissement. Il serait impensable que le géant japonais s'aliène les développeurs en basculant sur une architecture complètement différente et il ne faut donc pas être grand clerc pour subodorer que ce super-Cell est destiné à équiper la future Playstation 4 (sans doute dans une version simple précision). Cela permettrait de profiter facilement des acquis et du code qui ont été produits pour la Playstation 3.
Quoi qu'il en soit, le combat actuel pour la tête du Top 500 entre Ranger et Roadrunner fait rage et le suspense reste entier pour savoir qui va sortir vainqueur le mois prochain. La domination écrasante de Linux n'est donc pas prête de s'interrompre puisque maintenant pratiquement tous les constructeurs de superordinateurs utilisent l'OS libre (seules les machines purement vectorielles comme le NEC SX-9 résistent encore). Cray y est venu avec son XT-5 basé sur une distribution Suse Linux, IBM utilise également Suse Linux pour les noeuds d'entrées/sorties de son architecture BlueGene (mais pas encore pour les noeuds de calcul) et utilise Fedora Linux pour Roadrunner, SGI offre depuis longtemps Linux pour sa famille de superordinateurs Altix. Enfin Sun est obligé de manger son chapeau et de bâtir le superordinateur Ranger en utilisant Linux au lieu de Solaris, son propre système d'exploitation.
Dans le domaine du calcul scientifique l'avenir est donc rose pour l'OS libre et le rendez-vous est pris en 2019 pour le franchissement de la barrière symbolique suivante. Prochain arrêt l'exaflops !
Aller plus loin
- Présentation générale de Roadrunner (16 clics)
- L'architecture détaillée de Roadrunner (pdf - 1,3 M) (8 clics)
- Spéculations sur le futur numéro 1 du Top 500 (10 clics)
# Comme d'habitude
Posté par briaeros007 . Évalué à 6.
Il l'a promis, et il l'a fait.
Merci bien ;)
(ben voui, c'est au premier de dire ça, non ?)
[^] # Re: Comme d'habitude
Posté par schizoid . Évalué à 4.
Du coup comment voulez-vous rester objectif sur le contenu en sachant qui l'a écrit?
Blague à part, c'est que du bonheur, comme d'hab'. Change rien ;)
[^] # Re: Comme d'habitude
Posté par Pierre Tramo (site web personnel) . Évalué à 4.
Je pense qu'il n'y a pas besoin de faire la remarques à propos de la qualité des ses articles à CHAQUE FOIS qu'il y en a un. Non?
[^] # Re: Comme d'habitude
Posté par Gyro Gearllose . Évalué à 6.
Alors de là à dire que ce genre de commentaire sont inutiles, c'est certes vrai par rapport au sujet abordé, mais je pense qu'au minimum ça doit faire plaisir à l'auteur de voir son travail autant apprécié.
Voilà, continue patrick !
[^] # Re: Comme d'habitude
Posté par Sylvain Sauvage . Évalué à 5.
Bon, pas premier non plus ⟶[]
[^] # Re: Comme d'habitude
Posté par Tux_Beginner . Évalué à 3.
J'ai découvert "patrick_g" avec l'article sur le "Big Kernel Lock". Je ne suis pas spécialiste, je n'ai ni base ni formation mathématique ou scientifique et pourtant... j'ai bien dû comprendre 85% de ce qui était écrit. Normalement, me rapport au kernel... c'est tous les 6 mois (voire moins) et que je le recompile pour l'excuse X ou Y. Là, j'ai trouvé l'article intéressant, bien écrit, bien vulgarisé mais pas trop. Ca m'a rappelé "e=m6" à se débuts (avant que ça devienne le cirque) ou "C'est pas sorcier" (sous mon clavier, c'est un compliment).
Et euh ben voilà...
-- END OF TRANSMISSION --
# PowerPC
Posté par yellowiscool . Évalué à 7.
Sinon, 3.9MW c'est la production d'une grosse éolienne dans des conditions optimales. Ils n'ont plus qu'à en planter autour du data-center.
Envoyé depuis mon lapin.
[^] # Re: PowerPC
Posté par briaeros007 . Évalué à 3.
Sinon, 3.9MW c'est la production d'une grosse éolienne dans des conditions optimales. Ils n'ont plus qu'à en planter autour du data-center.
ou alors faire comme google : mettre des panneaux solaires sur leurs différents building ;)
[^] # Re: PowerPC
Posté par alexissoft . Évalué à 4.
[^] # Re: PowerPC
Posté par maston28 . Évalué à 10.
pour rappel, 1000m² de panneaux solaires dans une région plutot ensoleillée, disons la vallée du rhone, ca produit 160 kw. rajoutez à cela que c'est amorti en 10 ans et que ca a une durée de vie de 10 ans et vous comprenez pourquoi c'est pas terrible, et encore je parle même pas du coüt écologique de la fabrication et du recyclage des panneaux.
Pour préciser ce qui est dit au dessus sur les éoliennes, 3,9Mw ca commence à faire une bonne grosse éolienne. Une éolienne moyenne, type mat de 50m, pales de 12m, en pleine vallée du rhone toujours (==> mistral à gogo), ca produit en gros 700kw, 60% du temps. si sur les grosses on double cette production, on reste à ma connaissance loin des 4MW...
pour rappel, à titre de comparaison et sans polémique, un réacteur nucléaire "classique" ca produit 900MW, ou 1300 pour les plus récents en France, et ils marchent par 2 ou par 4 suivant les centrales. Bon, par contre, y a des déchets et des risques, ca, c'est sur...
[^] # Re: PowerPC
Posté par briaeros007 . Évalué à 2.
Moi j'avais plutot entendu parler de 20 à 25% avec 95% du rendement initial (par exemple ici : http://forums.futura-sciences.com/thread148985.html )
sinon, ok pour le reste
pour rappel, à titre de comparaison et sans polémique, un réacteur nucléaire "classique" ca produit 900MW, ou 1300 pour les plus récents en France, et ils marchent par 2 ou par 4 suivant les centrales. Bon, par contre, y a des déchets et des risques, ca, c'est sur...
J'ai entendu dire que certains CEA avaient leur propre petit réacteur pour leur supercalculateur.
[^] # Re: PowerPC
Posté par med . Évalué à 9.
Euh. J'en doute fortement. Le CEA a des réacteurs mais ce sont des réacteurs de recherche, pas pour produire de l'électricité. Ils s'en servent pour faire plein de choses mais pas ça pour autant que je sache.
[^] # Re: PowerPC
Posté par Gilles G. . Évalué à 8.
En plus l'article fr:Panneau_solaire de wikipedia est très bien fait:
Dans l'état actuel des choses, un panneau photovoltaïque monocristallin au silicium électronique doit fonctionner deux ans pour « amortir » l'énergie qui a été nécessaire à sa fabrication[...]
Tu aurais pu parler du problème du stockage de l'énergie par contre...
[^] # Re: PowerPC
Posté par ndesmoul . Évalué à 4.
Évidemment le passage du prototype au produit commercialisable n'est pas évident et rapide, mais on peut tout de même penser que les panneaux solaires vont devenir de plus en plus intéressants à moyen terme.
[^] # Re: PowerPC
Posté par argt (site web personnel) . Évalué à 7.
Personnellement, je pense que tant que les panneaux solaires seront fait avec des matériaux du style silicium+métaux assez rares, les couts seront élevés par rapport à l'investissement, et ce d'autant plus que la quantité vendu sera importante, parce que si on essaye de faire de la production de masse de panneaux solaires, le cout des matières premières va devenir très cher.
En revanche, il existe des projets de panneaux solaires à base de nanotubes de carbone. Vu que le carbone, c'est pas ça qui manque, ça me semble plus facile de passer à une production de masse, tout en restant dans des couts faibles. Bon, mais tout ça ce sont des hypothètiques prototypes, alors en attendant...
[^] # Re: PowerPC
Posté par maston28 . Évalué à 3.
Pour les deux ans d'amortissement je parlais pas de cout écologique mais de cout tout court, ce qui est au moins aussi important...
[^] # Le mistral ? Pas bon pour les héolienne ça !
Posté par Bigou . Évalué à 2.
Entre les moments où le vent n'y est pas assez fort et ceux où le vent est trop fort, obligeant à bloquer les hélices, les éoliennes y passerait plus de temps à l'arrêt qu'en fonction.
Enfin, les éoliennes sont quand même de moins en moins fragile (même si c'est pas encore ça), espérons que dans le futur on pourra en installer.
Ah, et pour ce qui est des panneaux solaires, ils sont plus rentable désormais, mais hélas dans certains centre villes ont n'a pas le droit de les installer. « Ça ne respecte pas le style architecturale historique du coin » qu'ils disent. (En même temps c'est tellement récent, que forcément...)
[^] # Re: PowerPC
Posté par Troy McClure (site web personnel) . Évalué à 3.
[^] # Re: PowerPC
Posté par barmic . Évalué à 0.
Tous les contenus que j'écris ici sont sous licence CC0 (j'abandonne autant que possible mes droits d'auteur sur mes écrits)
[^] # Re: PowerPC
Posté par reno . Évalué à 9.
Non! Quand on parle de RISC, on parle du jeu d'instruction du CPU qui est par certains coté *plus simple* a utiliser pour les compilateurs que le CISC: + de registres, registres orthogonaux, conception, etc.
La ce qui est compliqué a utiliser dans le Cell, ce sont les unités vectorielles SPU, qui ne sont un concept qui n'a rien a voir avec le jeu d'instructions du CPU principal..
D'ailleurs les future CPU hybride d'AMD et d'Intel qui "intégreront" un GPU se rapprochent de ce concept, et comme le Cell ils seront compliqués a programmer même si le coeur principal sera un x86: ce sont les unités vectorielles qui sont dure a utiliser efficacement, pas le coeur principal.
[^] # Re: PowerPC
Posté par Perthmâd (site web personnel) . Évalué à 9.
Le goût du RISC !
[^] # Re: PowerPC
Posté par Dr BG . Évalué à 5.
P.S. : à l'heure où je poste ce commentaire hein :-)
[^] # Re: PowerPC
Posté par thedidouille . Évalué à 2.
De plus, la consommation électrique d'un Cell n'est pas très élevé. Je crois que le Cell de la PS3 ne dispose "que" de 188 millions de transistor. Pour un cluster, c'est très important.
[^] # Re: PowerPC
Posté par Olivier Grisel (site web personnel) . Évalué à 10.
Par contre si les dimensions des données du problème sont trop petites, la latence du bus de communication entre les cores SPU est rédhibitoire et dans ce cas un SPE sera bien bon qu'un processeurs généralistes avec son système de cache automatique.
Pour ceux que la programmation sur Cell BE intéresse, j'ai fait une présentation lors du dernier fosdem. Vous trouverez les slides ainsi que la vidéo enregistrée par l'équipe de free-electrons.com ici : http://oliviergrisel.name/2008-02-24-fosdem-programming-with(...) (avec une liste de liens sur des tutoriels pour approfondir).
[^] # Re: PowerPC
Posté par Kerro . Évalué à 7.
C'est comme dire que le processeur intégré dans un disque-dur ne participe pas beaucoup aux calculs effectuées sur un ordinateur: il n'est pas là pour ça (alors qu'il a tout de même une certaine puissance).
Les machines scientifiques sont faites pour mouliner des opérations en virgule flottante, et presque uniquement cela. Le CELL est fait pour cela. Les x86 sont fait pour mouliner du code et peu de virgule flottante. Donc un x86 n'a que moyennement sa place dans un supercalculateur.
[^] # Re: PowerPC
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 4.
D'où le ranger ...
Blague à part je suis un peu étonné des performances crètes cités pour les [[éolienne]]s dans ce fil de discussion. J'ai vraiment du mal à croire un truc pareil. Mais apparemment wikipedia est d'accord. En tout cas ce chiffre montre que les économies d'énergie ne sont pas d'actualités uniquement chez les pauvres ; si même les candidats numéros un du top 500 ne sont pas excessivement gourmants : la puissance de calcul suit sa courbe exponentiel, mais pas la consommation électrique. Le green500 (http://www.green500.org/) semble devenir très tendance.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: PowerPC
Posté par Kerro . Évalué à 2.
Pour la consommation, je ne trouve pas ça particulièrement économe. 20.000 processeurs qui consomment 3,9 Mw, ça fait tout de même 200 watts par processeur (avec la mémoire et les disques). C'est plus que pour un ordinateur "normal" sans carte vidéo ultra-gourmande. Un AMD 4200+ avec 4 Go de mémoire et deux disque de 160 Go consomme un peu moins de 100 watts, alimentation comprise et à pleine charge (sans écran). Avec un gros Opteron on est je crois à 30 watts de plus. Donc ce supercalculateur est TRES gourmand en énergie, surtout qu'avec 20.000 processeurs on est sensé optimiser les choses de ce côté, pas comme un "simple" ordinateur de bureau. Je pense que la mémoire doit beaucoup consommer: très rapide, très chère, très gourmande.
[^] # Re: PowerPC
Posté par Bigou (site web personnel) . Évalué à 7.
[^] # Re: PowerPC
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
+ les UPS
(si je me souviens bien tout ces trucs sont pris en compte en général dans les chffres de consommation. Mais sans que ça garantisse que ce soit bien le cas ici.)
Au final il me semble que c'est super économique au contraire. Quand je pense qu'il fallait à peu près la même chose pour la première machine tera du CEA (~2001-2002) et ces ~3000 alpha... Il me semble que les progrés sont consiérables.
On peut aussi comparer avec une machine faite maison : qui oserait mettre une alimentation de ~300 W pour un biproc de nos jours ? Les différents tests que j'ai pu voir l'année dernière avec des barcelona (par exemple) semblaient plutôt indiquer qu'il fallait copmpter dans les 500 W min pour faire tourner ce genre de bécanes.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: PowerPC
Posté par alexissoft . Évalué à 1.
[^] # Re: PowerPC
Posté par guppy . Évalué à 4.
Les gens raisonnables. ;)
J'ai un CPU pas tout neuf (AMD BE2300 => 2 coeurs, 1,9 Ghz, TDP de 45 W, acheté l'année dernière). On peut monter une config complète autour de ce CPU qui ne dépassera pas 100 Watts en charge. C'est le cas de la mienne par ex.
Même avec un CPU moins économe en énergie, une station de travail (comprendre sans carte graphique energivore) quel que soit le CPU, ne demandera pas 300 W.
Ces dernières années ont vu l'augmentation démesurée et complètement inutile de la puissance des alimentations. A ma connaissances, il existe des alims de plus de 1500 W, alors que rares sont les configs de joueurs qui dépassent les 500 Watts.
La seule façon de les dépasser largement c'est d'utiliser un SLI (ou plus) de cartes graphiques de compétition.
[^] # Re: PowerPC
Posté par Kerro . Évalué à 6.
J'ai pris l'exemple de nos serveurs. Ce sont des serveurs hein, pas des PDA, qui ont 2 disques-dur, un lecteur CD-ROM, un processeur AMD 4200+, 4 Go de mémoire en 4-4-4-12 800 Mhz (donc bien rapide), 5 ventilateurs (plus celui pour le processeur, donc 6 ventilateurs). Le tout ne dépasse pas les 100 Watts à pleine charge.
En remplaçant l'AMD par un Core2Duo E6600 (et la carte-mère qui va bien, et la mémoire), on a à peine plus à pleine charge. Par contre le processeur étant nettement plus puissant, la pleine charge en question dure moins longtemps "dans la vraie vie".
Donc j'insiste: 200 watts par processeur, c'est beaucoup. Surtout pour un monstre de puissance qui permet en principe de rationnaliser cela nettement mieux qu'avec un ou deux processeurs.
[^] # Re: PowerPC
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
http://xbitlabs.com/articles/cpu/display/intel-v8_15.html#se(...)
Je ne parlais à partir de mon experience personnel (je n'ai pas la chance de disposer de tels machines) mais plutôt des chiffres donnés sur ces pages où encore celle-ci :
http://xbitlabs.com/articles/cpu/display/dualcore-shootout_8(...)
Évidemment il faut y retirer les cartes graphiques monstrueuses.
Reste qu'apparemment un quadcore AMD seul consomme dans les 100 W. Donc 200 W total quand on rajoute un système autour, un réseau basse latence gigantesque, du stockage, des UPS géantes ... ça ma paraît plus que raisonnable quand même :-).
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Eolienne de ouf !
Posté par Kerro . Évalué à 4.
Pour avoir 3.9MW il va falloir que le data-center soit en pleine mer :-)
Ca va résoudre en même temps les problèmes de refroidissement.
# Pour être exhaustif...
Posté par Laurent Vivier (site web personnel) . Évalué à 6.
[^] # Re: Pour être exhaustif...
Posté par Rémi PALANCHER (site web personnel) . Évalué à 7.
En fait, aujourd'hui, c'est une demande de la part des clients HPC (monde universitaire et scientifique principalement) de se baser sur du standard et de l'open source.
C'est d'ailleurs pour cette raison que IBM fait évoluer son offre vers SLED/xCAT/Perceus et on le voit avec RoadRunner.
[^] # Le petaflop est déjà explosé....
Posté par EraZerg . Évalué à 10.
cf: http://securisphere.blogspot.com/2007/01/la-nsa-du-mal-boucl(...)
Regardez comme la ville de Baltimore s'est plainte récemment de la conso. d'electricité des services secrets américains (donc uniquement sur le site attaché à Baltimore): 75 MégaWatts..... à côté "Ranger" ça fait petite maquette..... La NSA ils doivent avoir tout un bataillon de Rangers :-)
Faites le calcul avec n'importe qu'elle architecture de processeur, le pétaflop est déjà du passé pour ces gens là..... et il ne s'agit que d'un seul site et d'un seul pays.....
En fait le top500 devrait s'appeller top600.... et commencer à la 100ème position. Dommage qu'on ne puisse pas prendre de paris....
pour ce qui est des architectures Cells versus x86, moi je n'ai plus aucun doute, c'est Intel qui a gagné, et c'est avec le x86 qu'il va continuer..... pas la peine de perdre son temps avec les autres architectures, elles sont plus que jamais exotiques même si techniquement elles avaient un quelconque coté sexy. Et pour le système d'exploitation c'est Linux.
Une remarque sur ce dernier point, le HPC est loin d'être un domaine examplaire pour le libre, parceque mis-à-part linux pour le kernel, les stacks sotftware utilisées dans la majorité de ces machines sont propriétaires de chez propriétaire, batchs schedulers, applications, debuggers parallèles, profileurs, middlewares (comme MPI), drivers, logiciels de managements.....
Peut-être qu'un jour on verra plus souvent des vraies machines HPC à base de libre mais pour le moment c'est le dernier souci de cette industrie et à la limite ce n'est pas étonnant mais je voulais le mentionner.
PS: merci pour l'article, il est très intérressant.
[^] # Re: Le petaflop est déjà explosé....
Posté par reno . Évalué à 2.
Certes mais les architectures futures d'Intel se rapprocheront fort probablement du Cell..
Donc les futures CPU hybrides d'Intel seront autant des x86 qu'un Cell est un PowerPC: c'est pas faux, mais pas tout a fait vrai non plus (ça doit être mes origines Normandes qui reviennent :-) ).
[^] # Re: Le petaflop est déjà explosé....
Posté par patrick_g (site web personnel) . Évalué à 7.
Tu a raison mais on peut quand même citer la librairie OpenMPI (Message Passing Interface) qui est sous licence BSD et le système de fichiers distribués Lustre qui est sous GPL. Je crois que ces deux softs sont très utilisés dans le monde du calcul scientifique.
Quand à la problématique de la NSA c'est sûr qu'il faut être conscient que le top 500 ne recense que les ordis de ceux qui veulent bien passer le test LINPACK et soumettre leur résultat. Donc il doit manquer pas mal de machines.
[^] # Re: Le petaflop est déjà explosé....
Posté par EraZerg . Évalué à 4.
On parle de performance là, donc les compilos c'est de la techno centrale (core) et il me semble que les 'investissements' des industriels sur gcc sont trop légers.
alors que sur linux par contre il s'est passé des tonnes de choses interessantes (par exemple sur les gros SMPs mais pas uniquement) que les gros acteurs de l'HPC ont contribué.
[^] # Re: Le petaflop est déjà explosé....
Posté par Rémi PALANCHER (site web personnel) . Évalué à 5.
À propos du hardware, je suis de l'avis que rien ne remplacera du multicore x86 sur InfiniBand dans les prochaines années même si les accélérateurs (Cell, CUDA et futurs Larabee) ont leur place pour certaines applications.
En revanche, sur la pile logicielle, je n'ai pas la même vision de la chose. AMHA, elle sera libre : c'est bientôt reglé pour les logiciels de management, les drivers sont en général remontés sur la LKML par les constructeurs, les batchs schedulers les plus prometteurs sont libres et le middleware devient trop complexe pour continuer à le développer en interne.
Et le phénomène s'accentue quand on parle de grilles.
L'industrie est loin de ne pas s'en soucier. Il n'y a qu'à voir les personnes que Ian Foster a rassemblé à l'OSGC.
Encore une fois, ce marché est à la carte pour les clients, et les clients veulent de plus en plus de l'open source. Sans ça, je ne vois pas pourquoi IBM irait investir dans une offre alternative 100% libre.
[^] # Re: Le petaflop est déjà explosé....
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 1.
À propos de ceci : j'ai passer quelques jours à chercher vainement des batch scheduler au début de l'année sans rien trouver qui me semble bien documenté et libre (mauvaises techniques de recherche probablement). Quelques un aurait-il des suggestions ?
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: Le petaflop est déjà explosé....
Posté par patrick_g (site web personnel) . Évalué à 1.
[^] # Re: Le petaflop est déjà explosé....
Posté par bogdan . Évalué à 3.
De plus, après avoir lu la doc du produit, il me semble manquer de fonctionnalités essentielles pour un Job Scheduler : personnalisation des start/stop job, mise en place de ressources pour la gestion des licences, intégration des codes de calcul.
Bref, un produit qui n'apporte rien et qui manque de fonctions.
[^] # Re: Le petaflop est déjà explosé....
Posté par BAud (site web personnel) . Évalué à 2.
[^] # Re: Le petaflop est déjà explosé....
Posté par bogdan . Évalué à 6.
Ensuite si on a un minimun de moyens (de l'ordre de 25euro par core/proc) je recommande PBS Pro qui est très complet; pas la peine d'aller chercher LSF (ok c'est très complet aussi, ca marche sur toutes les plate-formes mais ca coute énormément plus cher).
Après sur des plus gros systèmes de tout de facon votre vendeur de hard essayera de vous vendre son soft (je pense notamment à IBM ou SGI) mais je trouve que PBS comme d'ailleurs SGE marchent très bien sur des grappes d'Altix ou de Bleugene si on les configure correctement (en faisant des virtual nodes par lames, ...)
[^] # Re: Le petaflop est déjà explosé....
Posté par bogdan . Évalué à 1.
[^] # Re: Le petaflop est déjà explosé....
Posté par patrick_g (site web personnel) . Évalué à 3.
Pour ce qui est de ton apport il est indéniable puisqu'à la suite de mon post tu a argumenté et tu m'a expliqué pourquoi Open Source Job Scheduler n'était pas un bon choix. Donc merci pour tes informations.
[^] # Re: Le petaflop est déjà explosé...
Posté par bogdan . Évalué à 0.
[^] # Re: Le petaflop est déjà explosé...
Posté par Benoît Sibaud (site web personnel) . Évalué à 2.
Pour avoir cette info, il faudrait connaître la valeur (ou son absence) du cookie de seuil, par visite (ou par visiteur mais ça promet d'être plus difficile pour les anonymes). Et cette info n'est pas actuellement stockée côté serveur DLFP, donc on n'en a aucune idée...
38% des visiteurs actifs utilisent la barre d'outils du site. Je suppose que le pourcentage d'utilisation du seuil de filtrage est encore inférieur.
En même temps le bon lieu pour discuter de cela est le système de suivi...
[^] # Re: Le petaflop est déjà explosé....
Posté par bogdan . Évalué à 3.
La déclaration de ressources dynamiques (c'était pour des licences logicielles qui n'étaient pas entièrement gerées par SGE) m'a aussi posé problème : impossible sur la version que j'avais d'appeler un script pour lire le nombre de licences restantes....
Sinon le meilleur rapport qualité/prix d'aujourd'hui c'est PBS Pro (qui se base sur OpenPBS, que je ne conseille pas car vieux et non maintenu :) ); très complet, avec interface HTTP permettant de soumettre les jobs, intégration de beaucoup de codes, intégration des lib MPI, fairshare, etc.
[^] # Re: Le petaflop est déjà explosé....
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
Pour PBS: je n'ai pas vraiment trouvé de doc sur openPBS non plus. Quant à une solution payante : pas de crédit dans l'éducation national pour des trucs comme ça. Les gens préfèrent mettre l'argent dans des licences word et windows. Et moi je n'ai pas du tout l'intention de faire du travail non rémunérer (heures sup gratuite comme tous les fonctionnaires) et hors de mes attributions pour apprendre à manipuler des codes propriétaires non libres...
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: Le petaflop est déjà explosé....
Posté par gorva . Évalué à 3.
Je n'ai pas vu quoi que ce soit pour gérer l'intégration de code propriétaire (mais je dois avouer que c'est un problème auquel je n'avais même pas songé), mais pour le reste les fonctionnalités me semblent correctes, et pour le voir fonctionner quotidiennement sur un cluster d'une centaine de noeuds il a l'air de bien tourner :)
[^] # Re: Le petaflop est déjà explosé....
Posté par bogdan . Évalué à 2.
Comme tu le dis aussi il faut Maui pour faire la gestion de ressources ce qui prouve à mon goût que le projet n'est plus vraiment actif au niveau dév.
Oui, il doit "bien tourner", après tout dépend de ta politique de scheduling : dans la plupart des cas que j'ai rencontré l'idéal était de classer ses jobs par type de code, walltime, memory used et priorité puis d'organiser soit en suspendant des jobs longs (donc forcément peu prioritaires), ou/et en priorisant les utilisateurs qui ont moins consommé de ressources que d'autres (fairshare); après on peut affiner en créant des queues prime et non prime (queues qui tournent le jour ou la nuit), etc ... Ce genre de politique de scheduling n'était pas implémentée (ou du moins pas en changeant 1 seule ligne de conf) dans OpenPBS donc je ne pense pas qu'on puisse le faire facilement avec Torque.
Si vous devez faire une étude comparative pour votre cluster, vous pouvez considérer Torque et/ou OpenPBS dans votre liste de soft, mais les fonctions de ces derniers se retrouvent dans SGE ou PBS Pro avec pas mal d'autres truc sexy (j'ai fait l'exercice plusieures fois avec différentes contraintes à chaque fois et le couple SGE / PBS Pro a toujours été gagnant et pour pas chèr).
[^] # Re: Le petaflop est déjà explosé....
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 2.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
# un truc qui fait peur
Posté par PegaseYa . Évalué à 10.
cela fait quelques temps que microsoft nous harcèle (un coup de téléphone par jour en moyenne, mais rien à voir avec notre achat récent) pour essayer de nous caser leur solution. Vu que nous avons ce qu'il faut pour l'instant, microsoft se donne les moyens, c'est à dire qu'ils nous proposent de nous mettre à disposition, dans nos locaux, la machine et le système gratuitement, pour une durée illimitée. C'est pas beau ça ?
Il parait que leur OS est pourri (je dis bien il parait !), mais vu les moyens qu'ils ont, il vont finir par faire quelque chose de potable. Et ça peut faire très mal...
comme dirait l'autre, la première dose est gratuite... ;)
PS: linux a été validé sur leur machine ? :D
[^] # Re: un truc qui fait peur
Posté par ǝpɐןƃu∀ nǝıɥʇʇɐW-ǝɹɹǝıԀ (site web personnel) . Évalué à 7.
« IRAFURORBREVISESTANIMUMREGEQUINISIPARETIMPERAT » — Odes — Horace
[^] # Re: un truc qui fait peur
Posté par Choplair . Évalué à 6.
# Bonne nouvelle
Posté par petit_bibi . Évalué à 5.
On va enfin pouvoir faire tourner Vista dans emacs en gardant sa machine en vi !
Trop gros, m'a échappé ->[]
# Moore, c'est trop lent!
Posté par Temsa (site web personnel) . Évalué à 2.
"Les processeurs doublent de puissance tous les 18 mois".
A présent, un peu de math (étant fatigué, j'espère que je fais pas d'erreur).
12 ans, c'est 12*12/18=8 * 18 mois, on est donc sensé avoir doublé 8 fois de puissance par rapport à l'Asci Red, ce qui veut dire qu'on doit avoir multiplié la puissance par 2 ^ 8 = 256.
Le facteur pour passer du téraflop au pétaflop, est de 1000, soit environs 256*2*2, ce qui nous donne 2*18 mois = 3 ans d'avance pour parvenir à ce résultat.
Si on considère les incertitudes sur la date qu'on peut majorer à 1 an sur la différence (l'un au premier janvier, l'autre le 31 décembre, j'ai pas regardé la date de sortie de l'Asci Red), ceci fait entre 2 et 4 ans d'avance, soit entre 16.67% et 33.33% d'avance par rapport à cette loi.
Les super calculateurs sont donc toujours, relativement à cette loi, de plus en plus gros par rapport à leur prédécesseur, bref la course à la puissance s'accélère!
Mais bon, si l'on fait des super calculateurs à base de carte graphique, si l'on en croit wikipedia ( http://en.wikipedia.org/wiki/FLOPS ) , on devrait exploser facilement le nombre de FLOPs, puisqu'en 2007, une carte NVidia 8800 Ultra pouvait faire 576 gigaflops tandis qu'un quadriprocesseur haut de gamme sortait 30 gigaflops. Pour autant, d'apres l'article, la carte graphique ne fait pas les memes "flops" qu'un processeur, elle est limitée à 32 bit de précision dans ce cadre.
[troll]
De toute façon, les CPU, c'est has been ( http://www.lesnumeriques.com/news_id-5127.html ). A quand un GIMP qui exploite réellement la carte graphique ?
[/troll]
[^] # Re: Moore, c'est trop lent!
Posté par briaeros007 . Évalué à 5.
[^] # Re: Moore, c'est trop lent!
Posté par briaeros007 . Évalué à 1.
Pas réveiller le matin moi
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.