Forum Linux.général Hébergement web en cluster

Posté par  (site web personnel) .
Étiquettes : aucune
0
25
avr.
2005
Je cherche à me documenter sur les différentes possibilités pour faire de l'hébergement mutualisé sur un cluster Linux/Apache/MySQL.

Les points important pour le projet:

- Transparent pour l'utilisateur (accès FTP, phpmyadmin, compatible avec les applications GPL du marché, typo3, spip, ...)
- Pouvoir ajouter le plus simplement un nouveau noeud dans le cluster
- Supporter les logiciels suivants:
- Apache / MySQL / PHP / Postfix
- L'administration du cluster ne doit pas être trop lourde
- Le cluster doit pour être tolérent aux pannes hardware (on doit pouvoir simplement se passer d'un noeud, manuellement pour les maintenance ou automatiquement lors de crash).
- Si possible la structure de base du cluster ne devrait pas être trop onéreuse afin de pouvoir faire des test au plutôt.

Merci d'avance pour votre aide.
  • # cluster in a nutshell

    Posté par  (site web personnel) . Évalué à 2.


    - Le cluster doit pour être tolérent aux pannes hardware

    ca n'existe pas vraiment
    outre le fait qu'il faille utiliser un ensemble de patchs, il faut aussi patcher à la mano l'ensemble.
    Et actuellement, tout cluster aillant un noeud défaillant doit être stabilisé ( comprendre "redémarré" ) AU PLUS VITE.


    - L'administration du cluster ne doit pas être trop lourde


    - Si possible la structure de base du cluster ne devrait pas être trop onéreuse afin de pouvoir faire des test au plutôt.


    ces deux propositions sont contradictoire :
    - si plein de thunes, l'admin se résume à : remplacer le noeud foireux et renvoi chez le vendeur
    - si pauvre, l'admin se résume à : manque de sommeil plus jusqu'à ma mort sauf si pouvoir payer un autre admin pour aider



    - Transparent pour l'utilisateur (accès FTP, phpmyadmin, compatible avec les applications GPL du marché, typo3, spip, ...)


    il faut savoir que mettre du PHP sur un serveur, c'est offrir un serveur au tout venant à l'oeil sauf si tu maintiens les codes en PHP et les patche pour qu'ils respectent ta politique de sécurité.

    sinon que fait tu si un "boulet" te colle une boucle infini en PHP ou des requetes pourris dans MySQL ? il me semble que ton cluster mourra vite ...

    tiens par exemple, j'ai un bug aléatoire qui se produit si squirrelmail est avec drupal sur un serveur ... comment geres tu ces "super fonctionnalités" PHP ?
    • [^] # Re: cluster in a nutshell

      Posté par  (site web personnel) . Évalué à 0.

      Pour PHP j'ai déjà des configurations fonctionnelles, limitation du temps d'exécution, du nombre de process par vhosts, de la mémoire, ... donc le cas de la boucle infini sera automatiquement arrêter dans un certain délai.
      • [^] # Re: cluster in a nutshell

        Posté par  (site web personnel) . Évalué à 2.

        tu as des configs fonctionnelles ?
        genre tu es déjà hébergeur d'une vrai quantité de vrais gens dans la vrai vie ?

        compte tenu de ta non réponse, je te pose qq questions directs :
        - une expérience significative dans l'hébergement ?
        - une expérience significative dans l'admin "haute" dispo de serveur ?
        - une expérience significative dans le dev "haute" dispo ?

        apres, se pose la question du datacenter :
        - est il pres de chez toi / ton bureau ?
        - si il est chez toi as tu electricité redondante, et fibre redondante ?

        enfin se pose la question de la bande passante & du net :
        - sais tu combien cela coute ?
        - as tu routeurs / switches / bastillons ?

        puis reste les dernieres questions :
        - avec combien de machines compte tu commencé ?
        - combien d'associés ?
        - combien d'associés non informaticiens ?
        - que se passe t il si tu es malade et qu'il y a une panne ?
        - ton assurance te couvre t elle ?

        tu vas me dire qu'avec un cluster à tolerance de pannes tout se fait tout seul ... ben non. plus exactement, si tu as qq dizaines de milliers d'euros de machines, cela est possible. par contre, avec 4 PC à 1000 euros ca va être chaud sans faire des patchs lourds dans ton noyau ( ce qui revient à mettre qq dizaines de milliers d'euros dans du dev ).

        pour l'anecdote, il y a 6 ans, j'avais 2 machines en réplication l'un des autres pour reduire le risque de pannes puisque le budget pour ces 2 machines étaient inferieur au budget d'un serveur avec un contrat de support serieux. les attaches ventilos CPU ont tous claqué à 24h d'intervalle ... conclusion, avec un contrat de support 24/7 sous 4h, je n'aurai eu que 4h de blanc sur le net ... j'ai eu 7h de blanc à cause d'un choix à la con.
        • [^] # Re: cluster in a nutshell

          Posté par  (site web personnel) . Évalué à 1.

          Je pense que la question qu'il faut se poser est :
          "Quel est le coût d'une interruption de service"

          apparement Moun's avait des contraintes fortes et il a fait le mauvais choix.

          Maintenant il faut ce que tu peux tolérer.
          Et aussi préparer les plans d'interventions car si tu dois restaurer ton joli volume Raid 5 mais que tu dois te taper 2heures de docs pour le faire, c'est pas le bon choix non plus
          • [^] # Re: cluster in a nutshell

            Posté par  (site web personnel) . Évalué à 2.

            3 qualités sont à prendre en considération pour le calcul du coût d'interruption :
            - l'expertise dans le domaine du mainteneur
            - le risque d'indisponibilité du mainteneur
            - le temps de changement d'une piece et de retablissement de la machine

            pour ce qui est de cette vieille anecdote, elle ne sert qu'à illustrer mes questions et mettre le doigt sur ce que sous-entend le message de Dominique Feyer.

            tout comme pour mon matériel perso, je prefere voir large. les rares fois où j'ai du faire des consessions sur ces points, la réalité m'a rappelé à l'ordre dans les moments les plus ennuyeux.
        • [^] # Re: cluster in a nutshell

          Posté par  (site web personnel) . Évalué à 1.

          Pour la "non réponse" ... merci, mais je ne vis pas sur le site ... je bosse aussi ;-)

          Oui je suis admin chez un hébergeur (10'000 sites), mais on travaille uniquement sur du single server (en séparant web, db, mail et DNS sur des serveurs séparé). ça fonctionne très bien. Je cherchais simplement des infos sur le clustering vu que j'y connais rien.

          - une expérience significative dans l'hébergement ?
          Admin Linux pour environ 10'000 domaines depuis 4 ans (avant je bossais dans le milieu universitaire comme admin système)

          - une expérience significative dans l'admin "haute" dispo de serveur ?
          Qu'entend tu pas haute dispo ? POur l'instant notre système single server fonctionne très bien en rapport avec les prix de nos prestations (98-99% de disponibilité). L'objectif ne serais pas vraiment d'augmenter la disponibilité, mais plutot de mieux dispatcher la charge.

          - une expérience significative dans le dev "haute" dispo ?
          Là aussi tout dépend ce que tu entends par dev HA. J'ai développé toute l'application qui permet la gestion de comptes que nous hébergeons (web service SOAP, php, perl/python) mais rien de vraiment haute disponibilité.

          apres, se pose la question du datacenter
          - est il pres de chez toi / ton bureau ?
          1h en voiture du bureau, ligne loué et VPN Cysco pour accès disant. On loue une chambre dans un datacenter certifié ISO. Pour la bande passante, on a déjà 40-50 Mbps

          - si il est chez toi as tu electricité redondante, et fibre redondante ?
          Alimentation redondante + UPS + Génératrice (72 d'autonomie pour tous le datacenter).

          puis reste les dernieres questions :
          - avec combien de machines compte tu commencé ?
          Pour l'instant le cluster ne serait que dans le labo pour test. Sinon la société existe depuis 5 ans. La structure est solide et une croissance parfaitement correct pour le secteur.

          Actuellement on a un parc d'une cinquantaine de machine.
  • # heu...

    Posté par  . Évalué à 2.

    - apache n'est pas clusterisable car les differents fils travaillent avec la memoire partagee.
    - par contre les SGBD sont clusterisables mais c'est generalement specifique a chaque systeme

    l'archi la plus courante est :
    - une entree avec un dns round-robin qui dispatche vers les serveurs apaches
    - n serveurs apache chacun sur une seule machine. qui se connectent a un sgbd
    - le sgbd peut lui etre un cluster mais pas forcement.


    quand la charge augmente , on peut rajouter des machine apache (et on update le dns a la volee) voire une machine sgbd. mais ce n'est pas un veritable cluster où les process se baladent en fonction de la charge. chaque machine a un usage bien precis.

    c'est en tout cas comme ca que je vois les choses.
    • [^] # Re: heu...

      Posté par  (site web personnel) . Évalué à 0.

      Alors je me suis mal exprimé, c'est plutôt ce genre d'archi qui m'intéresse.

      Acutellement, j'administre une cinquantaine de serveur pour le compte d'un hébergeur (~10'000 domaine) sur du single server (web, db, dns, mail sur serveur distinct).

      Dans ce genre d'archi, il faut que tous les serveurs apache partage les même disque (via NSF ou un truc du genre) ? Y a mieux que NFS dans ce cas ?

      Merci pour vos réponses.
  • # Xen

    Posté par  . Évalué à 1.

    Sans être spécialiste, je me dis que cela doit avoir un rapport:

    http://www.cl.cam.ac.uk/Research/SRG/netos/xen/(...)
    • [^] # Re: Xen

      Posté par  (site web personnel) . Évalué à 0.

      D'après ce que je connais de Xen c'est de la virtualisation ... donc transformer un machine physique en plusieurs machines virutel ... pour de l'hébergement dédié virtuel par exemple.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.