Ca y est le POD a passé son premier hiver et plutôt bien d'ailleurs, pas de grippe ni gastro, juste un peu frais de temps à autre.
Pour rappel, le projet RuggedPOD est un projet collaboratif de conception de micro datacenter développé sous license Open Hardware, avec des logiciels libres (FreeCAD, KiCAD, linux etc …). Une des caractéristiques forte du POD est de soutenir un PUE de 1. Le PUE mesure le ratio entre l'énergie totale consommée par un datacenter et l'énergie réelle consommée à la production informatique.
A titre d'exemple, les meilleurs DC de nos amis d'online sont aux environs de 1.2, ceux de Facebook de 1.07. Globalement cela veux dire que pour 1 MW de délivré aux machines, 200kW sont perdus pour s'assurer que les machines vont bien (dans le cas d'Online).
Pour atteindre un PUE de 1, il n'y a pas beaucoup de miracle, il a fallu s'affranchir de l'usage de l'air comme fluide caloriporteur. Dans la plupart des datacenters l'air sert à refroidir les machines, mais il a 2 vices. Un premier, sa temperature initiale est dépendante de l'énergie qu'il contient, énergie qui vient du soleil et donc de la période de l'année à laquelle on se trouve, et il faut donc dans certains cas le refroidir, le second, il peut être chargé en humidité, ce que les ordinateurs détestent le plus.
On a donc basculé sur de l'huile de transformateur électrique et immergé l'électronique dedans. Pour ceux qui ont suivis l'histoire, ca a été rocambolesque les huiles s'oxydant, il a fallu maitriser cela. La stratégie adoptée a été de faire fonctionner la machine sous vide. On a donc tous retenu notre souffle et depuis fin octobre, soit 5 mois on a un POD au dessus de notre tête sur le plateau de Saclay qui tourne et sert des pages web (ok pas un contenu avec un traffic de fou, l'équipe ayant refusée de laisser apparaitre un carre de chaire sur le site ;)).
Toutefois, et comme vous le savez nous avions des problèmes de fuites (pas d'huile mais d'air qui veut absolument rentrer). Et ben sur ces 5 derniers mois on a pas eu besoin de donner un coup de pompe , pas un seul (la pompe sert à faire le vide). On est resté sous la barre fatidique des -50 (-100 étant le vide parfait), et on est plutôt content de partager cela avec vous.
Qu'est-ce que cela veut dire concrètement ? Cela veut simplement dire que la machine a tourné avec un PUE de 1. Pas besoin d'énergie pour la ventiler ou la conserver dans un état stable d'un point de vue humidité. Le tout au travers d'un projet ouvert et publique, là ou nos chères hébergeurs nationaux essaient en interne de rattraper Facebook et consort.
Je peux sembler être un peu lourdingue sur le sujet, simplement parce que les moyens financiers dont le projet dispose sont infiniment plus petit que n'importe quel autre projet, et que cela devient d'ailleurs une sacre épine dans le pied. Pour que le POD progresse, il nous faut maintenant trouver un partenaire / mécène susceptible d'aider Horizon (qui est actuellement le seul fabricant de POD) et la communauté autour, à franchir une étape qui consiste à deployer des POD en mode "datacenter", en claire interconnectés entres eux et idéalement avec des énergies renouvelables, typiquement du solaire ou éolien.
On a besoin d'en mettre 16, voir 48 sur un seul site et valider que tout se passe bien. Notre approche consiste maintenant à créer un circuit de vide comme dans les hôpitaux qui activera les pompes uniquement en cas de besoin et probablement tout les 6 mois durant une période très courte (environ 2 minutes max), soit atteindre un PUE de 1.0001.
Fabriquer 16 POD coute environ 180 000$, ils restent des prototypes, et à l'échelle d'Horizon et de la communauté derriere ce projet c'est quasi impossible, même si on y travaille dur. On a bien essayé il y a quelques temps le crowd funding, mais les plateformes ne sont pas adaptées. Alors si parmi vous il y a des pionniers des datacenters qui ont envie d'essayer ce type de technologie, on est près, mais on a aussi conscience que les couts sont non négligeables, ce qui nous ammène à reflechir sur les modèles économiques de l'Open Hardware qui sont complexes à mettre en oeuvre. On a bien quelques idées, mais elles feront partis d'un prochain journal.
Dans tous les cas, je suis extrêmement fier du résultat et d'avoir collaboré avec autant d'équipes différentes (FreeCAD, KiCAD etc) sur ce projet.
Et pour finir une courbe de temperature sur une des blades du POD cet hiver (Blade chargée à fond sauf en décembre)
# Et pour les transformateurs ?
Posté par ptit_poulet . Évalué à 5.
Question concernant les transformateurs. Tu utilises la même huile qu'EDF pour ces transformateurs.
Comment fait EDF pour ne pas avoir de fuites ? Je peux me tromper mais j'imagine qu'ils ne s'amusent pas à faire le vide tous les mois sur tous les transformateurs de France ?
[^] # Re: Et pour les transformateurs ?
Posté par vejmarie (site web personnel) . Évalué à 8.
Yep, on utilise les memes huiles (en version vegetale mais cela n'a pas d'impact). EDF utilise des vessies de compensation (on a bien etudie le truc) et depose de l'azote au dessus de l'huile (l'azote etant plut lourd que l'air il cree une etancheite avec l'oxygene). La vessie sert a contrer les phases d'expansion et de contraction des huiles.
La grosse difference entre un transformateur et un POD, c'est que pour ouvrir un transformateur il faut le purger. Le niveau de l'huile etant au dessus du joint principale, ce que nous ne voulions pas faire sur un POD, pour des raisons de facilite de maintenance.
On pourrait tres bien appliquer le principe complet du transformateur, mais on avait pas de sous pour prototyper les vessies (ca coute chere) ni les systemes de compensations. On a donc fait un choix, qui marche pas si mal au final.
Mais si on part du principe qu'il y a pas de maintenance le systeme d'EDF est probablement plus efficace encore d'un point de vue energetique (pas de fuite). C'est tout ces petits trucs qu'on a envie de tester maintenant.
[^] # Re: Et pour les transformateurs ?
Posté par Philip Marlowe . Évalué à 4. Dernière modification le 27 mars 2017 à 10:49.
Deux ou trois questions. L'huile de transformateur contient-elle des additifs délétères, tels que de la dioxine ou des PCB ? Pour empêcher l'oxydation de l'huile, devoir mettre l'environnement de celle-ci sous vide n'est-il pas très contraignant ? L'utilisation de gaz neutre, argon par exemple ou azote, n'aurait-il pas simplifié la conception et la réalisation ?
[^] # Re: Et pour les transformateurs ?
Posté par vejmarie (site web personnel) . Évalué à 5.
Pas de PCB ni de dioxine dans les huiles. On est sur des huiles 100% bio degradable (ce qui explique leur cout plus elevee que les huiles traditionnelles) et s'etait un enjeux du projet. L'usage sous vide est contraignant, mais plutot marrant au final. Il garantie la non mixite de l'eau residuelle contenu dans les huiles (l'eau passe a l'etat gazeux en dessous d'une certaine pression et est evacuee au moment de la mise sous vide). La viscosite de l'huile est aussi meilleurs ce qui permet de faire du convectif.
L'usage de gaz neutre pourrait simplifier le design, c'est sure, mais rendrait la maintenance plus difficile (necessite d'avoir une cuve de transfert)
[^] # Re: Et pour les transformateurs ?
Posté par Anonyme . Évalué à 2.
sinon les transfos ont aussi des fuites, même si c'est plus rare, honnêtement sur les entreprise de plus de 20 ans j'ai toujours vu des fuites sur les transfo HT.
une plaie a réparer si associer à des sectionneurs COQ du même age :p
# Rayonnement infrarouge
Posté par Christophe HENRY (site web personnel) . Évalué à 3.
Avez-vous mesuré le rayonnement infrarouge ? Même s'il n'y a plus (trop) d'air qui accumule la chaleur, il reste le rayonnement. Celui-ci reste nécessairement confiné à l'intérieur un petit temps et ne sort peut-être pas aussi vite que nécessaire.
[^] # Re: Rayonnement infrarouge
Posté par vejmarie (site web personnel) . Évalué à 6.
On a une camera Flir qui mesure le rayonnement externe (en interne c'est tendu, on pourrait le faire, mais il nous faut plus de prototypes). Le pb c'est qu'on est sur de l'aluminium et les perfs de la camera ne sont pas tres bonnes. L'avantage de tourner sous vide c'est aussi de limiter ces problemes de dilatation lie a la presence de gaz ou liquide qui ont des coefficients d'expansions non nul.
[^] # Re: Rayonnement infrarouge
Posté par freejeff . Évalué à 8.
Salut,
Lorsque l'on veut faire des mesures IR en général, on rajoute une surface émissive. Une peinture à base polymère (bombe) fait bien l'affaire avec une émissivité >0.9. Une autre solution est l'anodisation de l'alu qui lui permet avec la couche d'oxyde ainsi crée d'augmenté considérablement l'émissivité,du coup tu protège ton montage et tu peux mesurer des flux radiatifs pas débiles. N'hésites pas si tu veux plus d'infos c'est un de mes champs de recherche.
[^] # Re: Rayonnement infrarouge
Posté par vejmarie (site web personnel) . Évalué à 3.
Merci, je garde les idees en tete ;)
# froid
Posté par guppy . Évalué à 3.
Le premier janvier par exemple on dirait que la température du disque dur était inférieure à 10°C, soit très proche de la limite basse (5° C la plupart du temps, exemple au hasard : http://www.seagate.com/staticfiles/maxtor/en_us/documentation/data_sheets/diamondmax_16_data_sheet.pdf). Il semblerait d'ailleurs que la température optimale de fonctionnement soit aux alentours de 40° (vieux mais ça donne un ordre d'idée : http://www.tomshardware.fr/articles/Google-disque-dur,1-19761.html). On peut donc imaginer qu'à moins de 10°C on réduit fortement son espérance de vie.
J'imagine que vous ne pouvez pas y faire grand chose, mais vous y avez déjà réfléchi ?
[^] # Re: froid
Posté par vejmarie (site web personnel) . Évalué à 4.
Oui, et s'etait d'ailleurs un des objectifs des tests de cet hiver. On travaille avec l'engineering de Western, et les disques qu'on utilisent sont des disques rotatifs prototypes qui ont pour objectif de fonctionner dans des solutions de "edge computing". Ce qui nous "inquiete" le plus ou interesse le plus c'est l'analyse des differences de temperature jour/nuit plutot que des temperatures basses. Les "chocs" thermiques sont mauvais pour les disques mais on peut en faire fonctionner a des temperatures tres basses (ca depend de qqs reglages dans le firmware). L'idee est de faire fonctionner l'huile du POD comme une "atmosphere" tampon
[^] # Re: froid
Posté par Mimoza . Évalué à 3.
Testez vous aussi des SSD au lieu de HDD méca ? Ça enlève le problème des tolérance aux température extrême.
[^] # Re: froid
Posté par vejmarie (site web personnel) . Évalué à 2.
Exact. Les blades demarrent actuellement sur des SSD, les disques rotatifs sont testes avec des benchs comme bonnie++.
[^] # Re: froid
Posté par gUI (Mastodon) . Évalué à 3.
J'ai toujours pensé que votre soucis c'était plutôt l'été et le refroidissement. Certes les disques durs aiment pas trop, mais l'électronique adore.
Comment pensez-vous aborder l'été ? Pas de risque de surchauffe attendu ?
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: froid
Posté par vejmarie (site web personnel) . Évalué à 5.
En fait l'huile aime bien la chaleur, et on aborde l'ete plus serein que l'hiver ou on avait peur de phenomene de cristalisation et de faux contacts lies au gel sur les connecteurs et/ou brouillard. La chaleur ca se gere toujours en augmentant la surface de contact avec l'air (epaisseur du radiateur), et on est plutot serein (peut-etre a tord)
[^] # Re: froid
Posté par gUI (Mastodon) . Évalué à 4. Dernière modification le 27 mars 2017 à 12:43.
Ok, on attend le rapport en octobre/novembre alors :)
EDIT : ce qui me fait penser que selon la saison, vous aimeriez peut-être avoir un échangeur à géométrie variable. On peut imaginer des échangeurs connectés ou pas hydrauliquement. Évidemment, ça rajoute de la complexité là où justement le concept de base de ce que je comprends est de rester le plus simple pour être le plus efficace.
Vous envisagez éventuellement un tel truc ?
En théorie, la théorie et la pratique c'est pareil. En pratique c'est pas vrai.
[^] # Re: froid
Posté par vejmarie (site web personnel) . Évalué à 3.
En fait on peut faire un echangeur fluide/fluide (le truc de chaudiere numerique que certains proposent) pour maintenir de l'eau a une temperature constante par exemple, et ne fonction du debit dans l'echangeur on dissipe dans l'air ou dans l'eau. On l'envisage mais on manque de bras
[^] # Re: froid
Posté par Storm . Évalué à 1.
J'ai un peu le même commentaire. Le test a été fait à Paris, donc les températures extrêmes de l'hiver sont de quoi ? https://fr.wikipedia.org/wiki/Saclay#Climat semble donner des températures positives en moyenne.
Que donnerait le pod dans une région un peu moins clémente ? (je pense à du -10 en moyenne en hiver par exemple).
[^] # Re: froid
Posté par vejmarie (site web personnel) . Évalué à 3.
Theoriquement cela ne devrait pas changer grand chose. On a eu cet hiver sur Saclay des nuits tres froides mais seches. Il nous faudrait plus de POD en test pour valider nos calculs theoriques (qui jusqu'a present semblent etre bons en tout cas sur Saclay)
# Maintenance
Posté par ptit_poulet . Évalué à 4.
Concernant le fonctionnement toi et ton équipe vous avez cherché à mettre au point un fonctionnement le plus simple possible afin que la maintenance soit facilitée… mais est-ce vraiment la meilleure approche ?
Je m'explique comment je vois ton système.
Client : Bonjour, je voudrais passer commande d'un cluster de 10 RuggedPOD avec telle configuration à installer sur le toit de mon entreprise.
RuggedPOD : Oui pas de soucis on vous installe ça…. blablabla
Fonctionnement pendant X mois.
Client : Je vous contacte car j'ai un RuggedPOD qui est tombé en panne.
RuggedPOD : Pas soucis on intervient cet après-midi.
Et pour l'intervention tu arrives avec un RuggedPOD identique, tu inverses les RuggedPOD et tu repars avec le RuggedPOD HS pour le remettre en état dans ton atelier afin qu'il reparte dans le circuit chez le client ou un autre client d'ailleurs.
Donc au final même si la maintenance nécessite une certaine qualification, pas grave c'est ton bébé donc tu le connais. Et puis côté client la panne est très courte car tu arrives et en 10min ça refonctionne avec du matos déjà contrôlé et prêt à fonctionner.
Donc le système peut peut-être complexifié afin d'apporter le meilleur rendement possible en mettant un peu de côté le côté "pratique" de la maintenance.
[^] # Re: Maintenance
Posté par vejmarie (site web personnel) . Évalué à 5.
C'est prevu comme ca, mais on a pousse le vice encore plus loin, on voudrait totalement automatiser la maintenance. La faire faire par des robots et du coup le transfert on le sens moyen pour le moment on a un concept de panier qui sort du pod et s'egoutte au dessus avec les cartes electroniques le temps de reperer la panne. Je sens qu'il va falloir qu'on refasse qqs meetup ;)
[^] # Re: Maintenance
Posté par ptit_poulet . Évalué à 4.
Par des robots ? Autant le concept des RuggedPOD me parait totalement crédible concernant sa mise en place et sa commercialisation mais les robots ???
Je reviens sur mon exemple du dessus. Le client a 10 RuggedPOD et un robot sur son toit ? Je vois pas comment c'est possible/crédible par rapport au système qui se veut basique.
A la limite mettre en place 11 RuggedPOD pour 10 RuggedPOD utilisés chez le client afin que le 11ème démarre pour palier la perte d'un RuggedPOD en attendant son remplacement, pourquoi pas, ça me parait même une super sécurité. Mais je ne comprends pas trop le principe d'un robot qui vient faire la maintenance sur le RuggedPOD chez le client. On a déjà des T-800 sur le marché ? :D
[^] # Re: Maintenance
Posté par Toto . Évalué à 3.
Le Pb d'un truc comme ça, c'est si un client te dit qu'il refuse de sortir les données présente sur les disques et prévoit une procédure de blanchissement / mise à dispo d'autre disques en cas de panne et renvoi en SAV.
Si tu ne peux pas retirer les disques, tu ne pourras pas t'adresser à ce type de clientèle. Et à mon avis, ce besoin risque à être grandissant.
En tout cas, super projet, je lis les news et actualité avec intérêt, et je garde toujours cette solution sous le coin du coude si un jour j'ai ce type de besoin, car l'approche me plait beaucoup, tant dans la démarche que dans les choix fait. Malheuresement, pour l'instant, je n'ai pas (encore ;)) identifié de besoin pouvant justifier un POD
[^] # Re: Maintenance
Posté par KiKouN . Évalué à 3.
L'accès au disques et leur changement devrait même être LA manipulation que puisse faire le client. La manipulation des disques est nécessaires pour l'entretien des raids. Un problème hardware autre qu'un problème de disques peut facilement se résoudre en mettant les disques sur un autre hardware. Un boitier sans hotswap des disques n'a plus rien à faire dans une baie chez nous.
On peut prévoir un rack étanche. Le boitier du rack serait simplement plongé dans l'huile.
[^] # Re: Maintenance
Posté par claudex . Évalué à 4.
En même temps, je ne suis pas sûr que beaucoup de client acceptent que le Ruggedpod reparte avec les disques plein de données.
« Rappelez-vous toujours que si la Gestapo avait les moyens de vous faire parler, les politiciens ont, eux, les moyens de vous faire taire. » Coluche
[^] # Re: Maintenance
Posté par ptit_poulet . Évalué à 0.
Tout dépend de l'architecture retenue.
On peut très bien avoir un Ruggedpod SAN dans lequel se trouve les HDD, donc pour celui-ci effectivement la maintenance se fera sur place.
Mais pour les autres Ruggedpod qui ne sont que de simples serveurs sans données, je ne vois pas le problème.
[^] # Re: Maintenance
Posté par CrEv (site web personnel) . Évalué à 2.
Ça sert quoi un serveur sans donnée ?
[^] # Re: Maintenance
Posté par ptit_poulet . Évalué à 5.
Ba c'est que tu retrouves un peu partout. Ton serveur fait tourner par exemple ESX et les images sont stockées sur le SAN. Ce qui permet de migrer très rapidement des VM d'un serveur à l'autre afin de faire de l'équilibrage de charge, éteindre des serveurs lors des moments plus calme (la nuit par exemple)…
[^] # Re: Maintenance
Posté par Pierre Jarillon (site web personnel) . Évalué à 3.
On peut imaginer 1 ou 2 disques de rechange qui seraient mis en service à distance.
# Le thermicien n'est pas convaincu
Posté par aurelienpierre . Évalué à 2.
Sous vide d'air, ça veut dire pratiquement pas de conduction et pas du tout de convection interne, donc pratiquement pas d'échange thermique. Vous avez fait des tests sous températures extérieures plus élevées ? Sur le papier, ça me semble une mauvaise idée. L'hiver, ça peut aller mais vous risquez d'avoir de mauvaises surprises en juin-juillet. D'après la loi de Fourier sur la convection/conduction, la puissance thermique échangée est fonction de la différence de températures intérieur/extérieur et d'une constante de conduction/convection qui dépend du fluide, de sa vitesse et de son domaine de température : Q = h (Text - Tinfinie) + C (Tint - Text). En ce moment, le facteur (Tint - Tex) est grand et compense le petit facteur C, mais gare au moment où Tint va avoisiner Text
Il aurait un moyen plus élégant d'assurer un refroidissement passif, en fixant la carte-mère sous un caisson scellé en alu (avec de la pâte thermique). Dans le caisson, vous pourriez mettre un fluide frigorigène dont la température d'ébullition serait autour de 80°C et la température de liquéfaction autour de 25°C. Ainsi, la chaleur générée dans la partie basse par l'électronique ferait évaporer le fluide qui viendrait se refroidir sur la partie haute à température ambiante, et redescenderait (comme l'eau dans une casserole).
Je n'ai par contre aucune garantie qu'un tel fluide existe et soit approuvé pour utilisation (CFC & Cie).
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.