Aller plus loin
- L'Article sur CNET (14 clics)
Top-500 (385 !) pour un super cluster sous Linux
5
oct.
2001
Un article très intéressant de CNET nous apprend comment HP et une équipe de l'INRIA ont mis au point un super-ordinateur s'inscrivant au Top-500 des machines les plus puissantes du monde, en l'occurence à la place 385 ! Constitué uniquement à partir de PCs de bureau (HP e-PC à base de PIII 733) qui n'ont même pas été ouverts, le i-Cluster - c'est son petit - nom a aussi la particularité de tourner sous Linux-Mandrake 7.0, ce qui est quand même à souligner et prouve la capacité de notre distro nationale à dépasser sa réputation de système Linux pour débutants ! Le projet complet a couté dans les 1,5 MF ce qui est assez faible pour un cluster de classe Top-500. Il est également dit dans cet article que le choix de Mandrake 7.0 a permis des modifs bas-niveau qui n'auraient pas été possible avec un OS Microsoft sans un accord spécial. Article complet à lire absolument !
# mdk
Posté par Pascal M . Évalué à 9.
[^] # Re: mdk
Posté par Anonyme . Évalué à -10.
Ca ne refuse jamais de la capacité de calcul :)
[^] # Re: mdk
Posté par Dav S . Évalué à 10.
Un jour peut-étre que ces gens ( les trolleurs de base qui apprecie defequer sur une distro ... ) comprendront que à la base, ben ... c'est du linux.
Du linux packagé d'une certaine façon ou d'une autre ça reste du linux !!!
DavS qui utilise une debian mais qui en a un peu marre de la gueguerre entre utilisateurs fanatique de distro.
[^] # Re: mdk
Posté par Alain Tésio . Évalué à -9.
Faudra voir ce qu'ils en passe si après quelques dizaines d'upgrade de softs sur les 200 machines.
[^] # Re: mdk
Posté par Anonyme . Évalué à 7.
De toutes façons, il n'y a pas d'intérêt d'avoir 200 machines installées. Si c'est la puissance de calcul que tu veux, le boot via bootp et un montage root via NFS est très bien.
[^] # Re: mdk
Posté par Anonyme . Évalué à 5.
[^] # Re: mdk
Posté par Damien . Évalué à 7.
Il ne faut pas oublier que dans un cluster, où l'on effectue des calculs en les répartissants sur différentes machines, il y a un grand besoin de communication.
Exemple simple: imaginons que l'on désire effectuer une multiplication de matrices. Bien souvent, ce ne sont pas des matrices 4*4 qui sont utilisées... alors on réparti des bouts de chaque matrice sur chaque noeud. Ensuite chaque noeud calcul un bout de la matrice résultat. Eh bien il va falloir faire transiter des données pour avoir les bonnes lignes et les bonnes colonnes sur la bonne machine.
C'est ce qu'on appelle le "message passing". Beaucoup on dû entendre parler de pvm utilisé avec povray (pvmpov) pour calculer des rendus sur plusieurs machines. Eh bien c'est en réalité une bibliothèque qui permet de faire du message passing. Les deux plus connues sont pvm ( http://www.epm.ornl.gov/pvm/pvm_home.html(...) ) et mpi ( http://www-unix.mcs.anl.gov/mpi/(...) ).
Tout ça pour dire qu'en réalité la ressource "réseau" est extrêmement importante dans un CoW, et que c'est pour cela qu'en général les technologies utilisées ne sont pas "banales" (myrinet & co.)
# Même /. en parle
Posté par Thomas Pedoussaut . Évalué à 3.
Forcément avec "Mandrake" le troll accourt à grands pas.
# Lien vers la liste top500
Posté par Anonyme . Évalué à 10.
Voilà. Il est là, en 385ème position. Juste devant un autre cluster Linux il me semble.
[^] # Re: Lien vers la liste top500
Posté par GP Le (site web personnel) . Évalué à 1.
Le delta de puissance de compense pas le nombre.
AMHA, C'est dommage... Il aurai du optimiser leur cluster !
[^] # Re: Lien vers la liste top500
Posté par Anonyme . Évalué à 2.
Après faut surtout voir le reseau qui est derrière. (gigabit ethernet dans ce cas)
# La 7.0.
Posté par Obsidian . Évalué à 10.
Je m'en suis déjà servi au travail pour monter un firewall-passerelle qui me servait aussi de poste de travail et de console VNC pour administrer des Win2000. Sur quelle machine ? P233 32Mega de RAM !
J'avais en outre le temps de relancer deux fois Linux, le temps que NT4 soit utilisable sur la même machine mais avec 128M.
J'étais déjà plus décu par la 7.1, et depuis les 8.x, les 64 megas de ma machine perso ne suffisent plus (PII/350).
Je n'encense pas une distribution plus qu'une autre, mais je pense que quiquonque veut faire des démonstrations de Linux aux néophytes devrait avoir un CD de la Mandrake "7.0" à coté de Debian, et éventuellement de Suse, puisque je sais que beaucoup de personnes affectionnent cette dernière :-) C'est la plus adaptée à la catégorie de machine autour du PII, je trouve.
Amitiés
[^] # Re: La 7.0.
Posté par Anonyme . Évalué à -6.
pour tester, et puis j'ai voulu jouer avec le MDK control center...
et pis j'ai modifier la souris... et elle marche plus.. help!
13:25 suite 13:17 --> J'ai bien essayé d'annuler la modif en utilisant le
Control Center avec le clavier, mais c'est tellement graphique
qu'on peut même pas utiliser le clavier >:-(
[^] # Re: La 7.0.
Posté par gino . Évalué à -3.
j'ai un collegue qui avait le mm problem avec sa souris USB,
on a essayer de configurer tt au clavier mais y'a en effet qq bugs.
pareil en utilisant harddrake en console, ca coince a un moment.
Il lui a suffit de redemmarer sans la souris (comme ca kudzu a detecte quand y'en avait plus,puis rebooter avec et kudzu l'a detecte a nouveau, donc il a pu la configurer. Ok c'est bourrin mais quand on connait pas la syntaxe exacte de XF86Config...
bon encore du -1 car ca n'a rien a foutre la....
[^] # Re: La 7.0.
Posté par Guillaume Rousse (site web personnel) . Évalué à -1.
[^] # Re: La 7.0.
Posté par gino . Évalué à 6.
j'ai une suse 7.0 qui tourne pas mal, une redhat 6.2 alpha Firewall, et apres avoir teste avec succes des mdk 7.x, je teste la mdk 8.0 et suse 7.1 et l'une comme l'autre sont un peu lente et produisent des choses bizarre. Du genre voila l'etat de la mem apres avoir ferme X (y'a pas enorme de services qui tournent) sur ma becane (k6II 350 + 256 M RAM):
total used free shared buffers cached
Mem: 255800 233416 22384 0 96456 62916
-/+ b/c: 74044 181756
Swap: 257032 12 257020
alors c la faute a quoi ces 233 M de RAM used !!!
la machine est a environ 30 M utilise apres boot.
j'ai le mm pb si je lance juste E comme gestionnaire de fenetre, que je bricole un peu et que je repasse en console uniquement.
du coup les copains qui veulent essayer, je leur file des rh 6.2, mdk 7.0 et suse 7.0 (je n'ai pas encore eu le temps de plonger dans debian)
si d'autres personnes rencontrent ces pbs, j'suis interesse.
bon j'ai toujours pas tout compris dans les scores et les points and co., mais je crois qu'il faut mettre -1 quand on fait du hors sujet, alors va pour -1 mais je tenais quand mm a partager mes interrogations sur mes pbs de memoire.
a+
Gino
[^] # Re: La 7.0.
Posté par Schneider Dark . Évalué à 6.
http://kt.zork.net/kernel-traffic/back-issues.html(...)
[^] # Re: La 7.0.
Posté par Delahaye Matthieu . Évalué à 4.
Si tu regardes la taille du buffer et du cache, tu consommes presque 155Mo avec. Si tu rajoutes la memoire libre, tu trouves 177Mo. En fait la memoire "cache" et "buffer" sont utilisees pour accelerer les I/O, un peu comme la memoire cache du processeur et la memoire vive.Ces memoires sont allouees et desallouees par le noyau. Si tu lances une application qui bouffe de la memoire, il va commencer par desallouer ces zones memoires pour les rallouer a ton appli.
Ca ralenti legerement le systeme de temps en temps.
[^] # Re: La 7.0.
Posté par lucaramel . Évalué à 4.
Et bien apres tous ces tests, je constate que la Mandrake a enfle comme pas possible. Le fait que des qu'on parle de Mandrake ca trolle a fond provient de ca : a chaque release, la Mandrake grossit. Avec la 8.0, mon PC etait un 486 compare a ce que ca donnait sous Win98. Avec la 8.1 ca va mieux, mais je ne retrouve pas la rapidite de la 7.0. En plus, je ne peux pas acheter de RAM parce que j'ai un PC Dell et que 64 Mo coutent 800 balles !!! Je me suis dit que la Debian me sauverait la vie, mais comment upgrader vers Woody avec un modem RTC ?
Enfin bon, tout ca pour dire que la Mandrake est (etait ?) de bonne qualite mais avec sa politique de "je me tourne vers les anciens utilisateurs de Windows", et bien elle ne devient utilisable que sur du matos (trop ?) recent. Et ca me saoule.
De toutes facons, des que j'aurai l'ADSL, ca sera Debian et point barre.
[^] # Re: La 7.0.
Posté par Schneider Dark . Évalué à 8.
+ on est passé au 2.4 qui a une VM de merde et qui swappe à tout bout de champ => la distro n'est pas en cause. Tu installes kernel2.2 et tu oublies les scripts qui utilisent iptables et des fois la DRI ( vive nvidia ).
http://kt.zork.net/kernel-traffic/back-issues.html(...)
+ kde 1.x -> 2.x : et oui, KDE est aussi devenu plus lourd avec les nombreuses features ajoutées et l'emploi massif de Kparts et Cie.
tu peux optimiser le chargement avec objrelink sinon ensuite ...
Peut être que KDE 3.x sera plus léger si ils continuent à vouloir optimiser car cela devient chiant.
+ peut être plus de services lancés. Pour un :
chkconfig --del service
ou
drakxservices
et le problème est réglé.
+ gnome 1.1 -> 1.4 : lui aussi est devenu plus lourd notamment avec cette merde de gconf et cie. Quand a Nautilus n'en parlons pas.
+ plus de polices, notamment si on ajoute celle de windows avec drakfont. Même si XFree 4 à amélioré la gestion du cache cela reste cependant problématique. Il faut alors modifier le fichier à la main pour enlever certaines entrées qui ne servent à rien mais qu'il scan quand même. Ces entrées étant ajoutées pour que si tu installes un soft qui utilise ces propres polices, qui plus est un soft commercial tu n'ai pas à te plonger dans XftConfig.
+ XFree 3.x -> XFree 4.x : semble lourd que XFree 3.x même si il est meiux en perf pure ( OpenGL, DRI, Render, XVideo, etc ... ). Tu peux toujours lui dire de remettre XFree 3x mais tu perdras niveau fonctionnalités.
XFdrake --expert
+ Netscape 4.x -> Mozilla
Rien à dire, Mozilla est beacoup plus lourd et galeon a quelques fuites de mémoire. Netscape 4.x reste disponible.
Donc ce n'est pas vraiment la distribution qui est plus lourde. ce sont surtout les applications qui le sont devenues du fait des ajouts de nouvelles features. le problèmes des services lancés par défaut est un faux probleme vu qu'il suffit de les arréter et que do this is a piece of cake !
[^] # Re: La 7.0.
Posté par gino . Évalué à 3.
j'avais entendu que le 2.4 et la vm ca faisait deux mais je suis pas encore assez hacker pour faire le parallele avec mes 233 Mo de RAM used alors qu'il n'y a plus rien qui tourne. Au bout de combien de temps le noyau afficherait a nouveau un truc comme 34 Mo used ? sur ma RH alpha 6.2 (32 Mo de RAm) c'est vrai "qu'au repos" j'suis autour de 30 Mo used et que j'explose en lancant X mais une fois X arrete, je retombe rapidement autour de 30 Mo.
comme je disais aussi,le probleme est aussi vrai sans passer par Kde ou Gnome, en lancant juste E.
tu dis aussi de rester en 2.2, mdk 8.0 le permet ??? ou faut revenir a mdk 7.x
a+
Gino
ps : bon d'accord la jolie signature que je voulais utiliser est un peu longue, mais n'est-ce pas un bug quelle soit coupee (pas de limite lors de la saisie)??
la voila au complet : " Il y a quatre cents milliards d'étoiles là-haut, uniquement dans notre galaxie.
Si seulement une sur un million était une planète,
et enfin si seulement une sur un million avait la vie,
et si une sur un million avait une vie intelligente,
ca signifie qu'il y aurait des millions de civilisations dans le ciel.
Et si ce n'était pas le cas ? ...
ce serait un beau gâchis d'espace... "
[^] # Re: La 7.0.
Posté par Schneider Dark . Évalué à 0.
libax25:summary:Libraries for Amateur AX25 (kernel >= 2.2)
emu10k1-tools:summary:The emu-tools work with the emu10k1 driver include in the kernel.
kernel-mosix:summary:The Linux kernel with the MOSIX patch (process migration).
knetfilter:summary:KNetFilter - A GUI for configuring the 2.4 kernel IP Tables
perf:summary:Perf - report kernel statistics visually
tux:summary:User-space component of TUX kernel-based threaded HTTP server
modutils:summary:The kernel daemon (kerneld) and kernel module utilities.
kernel:summary:The Linux kernel (the core of the Linux operating system).
kernel-enterprise:summary:The Linux Kernel compiled with options for Enterprise server usage.
kernel-linus2.4:summary:The Linux kernel (the core of the Linux operating system).
kernel-smp:summary:The Linux Kernel compiled for SMP machines.
sysklogd:summary:System logging and kernel message trapping daemons.
kernel-headers:summary:Header files for the Linux kernel.
kernel22:summary:The Linux kernel (the core of the Linux operating system).
iptables:summary:Tools for managing Linux kernel packet filtering capabilities
acpid:summary:ACPI kernel daemon and control utility
adjtimex:summary:A utility for adjusting kernel time variables
kernel-doc:summary:Various documentation bits found in the kernel source.
kernel-linus2.2:summary:The Linux kernel without patch (the real core of the Linux operating system).
kernel-pcmcia-cs:summary:The daemon and device drivers for using PCMCIA adapters.
kernel-source:summary:The source code for the Linux kernel.
kernel22-secure:summary:The Linux Kernel compiled for SMP machines.
kernel22-smp:summary:The Linux Kernel compiled for SMP machines.
kernel22-source:summary:The source code for the Linux kernel.
ksymoops:summary:Tool for decoding Ooops from the kernel
xsysinfo:summary:An X Window System kernel parameter monitoring tool
Comme tu peux le voir les packages sont là. Il suffit de les installer et booter dessus après azvoir modifié lilo/grub -> http://perso.wanadoo.fr/linux_wizard/howto_migration.html(...)
Bien sûr il faut éviter d'avoir des partoches en xfs/jfs ( non supporté dans le 2.2 ) voire reiserfs.
[^] # Re: La 7.0.
Posté par Anonyme . Évalué à 0.
On peut encore augmenter les perf de KDE avec objprelink, et le patch low latency si on veut.
Il y a un gars de Suse qui bosse sur la diminution de l'occupation mémoire de KDE: un problème lié au linker pour le C++.
Pour le coup du cache, il me semble que XFree4.x ne lisait plus la liste des répertoire que au démmarage? Donc à part au boot, les entrées en trop ne devraient pas trop géner..
Même si c'est vrai que ce n'est pas très propre..
Je n'ai jamais compris pourquoi Mandrake était censé être plus lourd que Debian ?
Mandrake est compilé pour 586 par défaut..
Debian c'est pour 386 il me semble, non ?
A part que Mandrake a tendance a être un poil généreux dans la liste des services lancés par défaut (ce qui prend environ 30s a corriger comme tu disais), à mon avis c'est plutot une réputation injustifiée.
Quand j'aurait la place disque suffisante, je ferait la comparaison..
reno
[^] # Re: La 7.0.
Posté par lucaramel . Évalué à 1.
c'est vrai que ca rame a fond pour mon swap et je sais que le probleme vient de ce kernel
-Pour KDE :
je n'utilise pas KDE parce que justement c'est trop demandant en ressources
-Pour les services :
j'ai deja resolu le probleme, j'ai mis le minimum de services
-Pour Gnome et Nautilus :
Je suis tout a fait d'accord
-Les polices :
c'est vrai, j'ai trop de polices mais j'en ai besoin pour bosser avec Gimp !
-XFree :
Mon XFree marche tres bien, et je ne pouvais pas mettre 1152 X je sais plus quoi avec le 3.3.6
-Les browsers :
ca va, Galeon marche bien et puis les polices sous Netscape sont pas belles
Tout ca pour dire que j'ai resolu la plupart de mes problemes et que pourtant mon Linux est toujours assez lent... Je ne critique pas la Mandrake : une fois configure, c'est vraiment genial, mais je n'aime pas leur politique de surequipement (le kernel fait 1 Mo sur la 8.1!!!)
Enfin bon, merci pour ta reponse.
# ca va troller chérie ...
Posté par void . Évalué à -4.
bon cicie dit on voit tout de même que MDK n'est effectivement pas que pour le newbie ... mais bon ils ont pas mis la dernière version non plus. Je comprend pas trop le choix (à moins que ceux-ci aient été fait il y a déja longtemps).
[^] # Commentaire supprimé
Posté par Anonyme . Évalué à 2.
Ce commentaire a été supprimé par l’équipe de modération.
[^] # Re: ca va troller chérie ...
Posté par Anonyme . Évalué à 1.
A un detail pres:
apres verification, c'est des mandrakes 7.1 !!! pas 7.0
PS: les machines ont été installées il y a deja quelques temps et à l'époque c'était 7.1.
[^] # Re: ca va troller chérie ...
Posté par jpph . Évalué à 4.
[^] # Re: ca va troller chérie ...
Posté par Pascal Terjan (site web personnel) . Évalué à 1.
Les écrans ne leur auraient pas servi à grand chose, par contre ont-ils demandé à ne pas avoir de carte son ou bien prevoient-t'ils de composer un morceau pour 900 enceintes et 225 caissons de basse ?
bon ca vaut pas plus que -1...
[^] # Re: ca va troller chérie ...
Posté par Anonyme . Évalué à 1.
Le seul probleme est qu'on ne peut pas les refermer automatiquement...
PS: y a bien 225 cartes sons integrées aux CM.
Pour ces machines, on ne demande pas que ce dont on a besoin... ca coute plus cher a enlever qu'a garder.
[^] # Re: ca va troller chérie ...
Posté par Anonyme . Évalué à -2.
Putain, le bordel que ca doit foutre si elle jouent toutes papa pinguoin en meme temps !
[^] # Re: ca va troller chérie ...
Posté par Anonyme . Évalué à -1.
# English
Posté par Ramón Perez (site web personnel) . Évalué à -4.
Je trouve ça débile d'écrire : "INRIA (France's National Institute for Research in Computer Science)"
[^] # Y'a pire
Posté par kadreg . Évalué à -5.
[^] # Re: English
Posté par Anonyme . Évalué à -1.
# ^_^
Posté par Anonyme . Évalué à -1.
k`
-1
# Cluster CGG
Posté par Christophe Suire . Évalué à 8.
Je pense que le classement au top 500 ne sera pas mal du tout :)
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.