Forum général.général Recherche de solution pour cluster de calcul

Posté par  .
Étiquettes : aucune
0
29
juin
2005
Je suis à la recherche d'une solution pour monter un cluster de calcul avec 12 serveurs (bi-pro).

J'ai regardé du côté de beowulf, openmosix, et d'autres, mais je n'arrive pas à trouver mon bonheur.

Mes applications de calcul ont le fonctionnement suivant:

1/ pas de programmation parallèle - un programme n'utilise qu'un seul CPU
2/ un processus de calcul fait de la lecture / écriture via NFS
3/ un processus de calcul se connecte à une base de données

Le point le plus bloquant semble être le point 3, des projets comme openMosix gérant principalement la répartition et la migration de processus entre machines... impossible ici pour cause de connexion TCP.

Pour résumer, il me faudrait un soft :
- qui ne fasse pas de migration de processus après lancement - quand un programme est lancé sur un noeud X par le scheduler, il reste dessus;
- qui sache gérer un load balancing "basique" (nb de process par exemple) au moment du lancement de l'exécution d'un nouveau programme;
- qui centralise la gestion des exécutions - les utilisateurs n'ont besoin de se connecter que sur une seule et même machine pour la gestion - lancement d'une exécution, arrêt d'une exécution, visualisation des ressources consommées par une exécution.

Si quelqu'un à des pistes...

  • # kerrighed

    Posté par  . Évalué à 2.

    je crois que tu peux aller faire un tour du coté de kerrighed

    http://www.kerrighed.org(...)

    je n'ai pas eu l'occasion de déployer cette solution mais j'ai discuté avec un de ceux qui travaillent sur ce logiciel. En particulier je sais que meme si kerrighed a son propre système de fichiers distribué, tu peux utiliser NFS (kerrighed est modulaire). Pour un utilisateur lambda, ton cluster ressemble à une machine SMP.

    • [^] # Re: kerrighed

      Posté par  . Évalué à 1.

      Je connaissais pas... ça a effectivement une bonne tête, je creuse...
      merci !

      • [^] # Re: kerrighed

        Posté par  . Évalué à 1.

        pour info (si d'autres recherchent la même chose) la roadmap est très intéressante, mais montre les limites actuelles - ci dessous les plus importantes par rapport à mon besoin (juin 2005):

        - pas de support multi-processeur des noeuds
        - pas d'ajout à chaud de noeud - il faut tout arrêter pour ajouter une machine
        - pas de suppression à chaud de noeud - si une machine meurt ou plante, tout le cluster tombe

        normalement la roadmap planifie tout ça pour juin et août 2005... A suivre.

  • # batch system

    Posté par  (site web personnel) . Évalué à 1.

    En fait ce que tu cherches c'est un systeme de batch.
    Il y a par exemple OpenPBS :

    http://www.openpbs.org/(...)

    Sinon tu peux jeter un coup d'oeil a cette page, mais ca date un peu :

    http://www.cmpharm.ucsf.edu/~srp/batch/systems.html(...)

    Hope this helps,
    Vincent

  • # Condor

    Posté par  . Évalué à 1.

    J'avais testé il ya quelques années "Condor" sur 8 machines, ca marchait plutot bien, enfin pour notre application (simulation de propagation d'onde dans une fibre optique).
    (voir http://www.cs.wisc.edu/condor).(...)

  • # OSCAR

    Posté par  . Évalué à 2.

    OSCAR (Open Source Cluster Application Resources) is a snapshot of the best known methods for building, programming, and using HPC clusters. It consists of a fully integrated and easy to install software bundle designed for high performance cluster computing. Everything needed to install, build, maintain, and use a Linux cluster is included in the suite, making it unnecessary to download or even install any individual software packages on your cluster.

    http://oscar.openclustergroup.org/(...)

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.