L'accès a cette ferme est gratuit et se fait via un portail (http://rendering-portal.cpc.wmin.ac.uk/). Le but de l'initiative est de comprendre les besoins de la communauté et d'essayer de répondre au mieux a leur problématiques en utilisant le "grid-computing".
Essayez le!
L'annonce originale:
We are the Centre for Parallel Computing (CPC) at the University of Westminster, London. As the name suggest, we are interested in parallel computing, particularly in computer grids. We would like to promote Blender on the Grid and we kindly ask for your help.
We created a simple rendering portal, which uses our 256 CPU AMD Opteron cluster. You can use it to render your Blender projects and we are offering this free of charge. Please give it a try!
We are looking for feedback because we wish to understand the needs of Blender users and to improve the portal.
# Merci ...
Posté par tom120934 . Évalué à 5.
Le lien du journal provoque une 404.
Peux-tu détailler les conditions de calcul ? Notamment :
- Images fixes ou animées ? Limite de résolution ?
- Limite de temps de calcul : par image ? par job soumis ?
- Limite de nombre de CPU par job ? de RAM ?
- Moteurs de rendus : YafRay, Yaf(a)Ray, SunFlow, Kerkythea, Indigo sont-ils disponibles ?
- OS ? (impact éventuel sur la disponibilité de certains renderers)
- Quel moyen de soumettre / récupérer des données.
- Licence / termes d'utilisation des données fournies et des images / vidéos calculées chez vous.
- Durée (approximative) prévisionnelle de disponibilité du service : en gratuit ? en payant ?
Bon courage pour ce projet, tiens nous au courant !
[^] # Re: Merci ...
Posté par Sarcastic . Évalué à 5.
La faute de la parenthèse et du point :
http://rendering-portal.cpc.wmin.ac.uk/
[^] # Re: Merci ...
Posté par tom120934 . Évalué à 1.
[^] # Re: Merci ...
Posté par nextgens (site web personnel) . Évalué à 10.
- Images fixes ou animées ? Limite de résolution ?
Les deux... aucune limite spécifique concernant la resolution... si ce n'est que les fichiers .blend uploadés sont limités a 100Mo
- Limite de temps de calcul : par image ? par job soumis ?
600 frames max et 5mins par frame pour les comptes standards (sera ajusté en fonction de la disponibilité du service dans le futur)
- Limite de nombre de CPU par job ? de RAM ?
Hmmm, chaque "frame" est rendue sur un noeud du cluster et a 5mins pour s'exécuter:
64 machines avec :
o 2 x AMD Opteron 2218 (2.6 GHz, 4 cores per node)
o 4GB memory
o 20Gbps Infiniband
- Moteurs de rendus : YafRay, Yaf(a)Ray, SunFlow, Kerkythea, Indigo sont-ils disponibles ?
Pas pour l'instant... mais c'est une des choses que l'on peut faire :) Il y a deja eu des demandes pour YafaRay
- OS ? (impact éventuel sur la disponibilité de certains renderers)
SLES10/Linux/amd64
- Quel moyen de soumettre / récupérer des données.
Via le portail (http)
- Licence / termes d'utilisation des données fournies et des images / vidéos calculées chez vous.
La je ne peux pas paraphraser ce qui est écrit sur le site ouaibe (il n'y a que la license en anglais qui a une valeur legale)... Mais en gros les donnees vous appartiennent toujours et on s'engage a ne pas les publier ni meme a y acceder sauf en cas de probleme technique
- Durée (approximative) prévisionnelle de disponibilité du service : en gratuit ? en payant ?
C'est une des questions pour laquelle je n'ai pas de reponse: ca dependera de l'usage qui est fait du portail...
[^] # Re: Merci ...
Posté par tom120934 . Évalué à 2.
Pas de chance pour moi, mes images durent largement plus de 5 minutes a priori, et je n'utilise pas l'internal. Bonne chance à ton équipe et au projet en tous cas !
[^] # Re: Merci ...
Posté par nextgens (site web personnel) . Évalué à 5.
Quelle taille font tes images? combien de temps faut-il par frame? Quel moteur de rendu utilises-tu? Ces images, c'est personnel/professionnel/pour un projet libre? As tu deja utilise les services d'une "rendering farm"?
Comme tu t'en doutes surement toutes les limites évoquées sont des "soft-limits"...
[^] # Re: Merci ...
Posté par tom120934 . Évalué à 5.
- Mes images sont en général en 1920x1080, format de sortie PNG. Que des images fixes jusqu'à présent, aucune vidéo, mon travail n'est pas encore assez bon pour y consacrer le temps de rendu nécessaire.
- Le temps de rendu d'une image est entre 10 minutes et 2 heures (rendu de test clay / rendu final ou en qualité équivalente) sur une config Core2Duo ~3GHz avec 2Go de RAM. Sans parler des micros rendu type 10s pour équilibrage de lumière par exemple.
- Les rendus sont faits avec Yaf(a)Ray pour mon projet actuel (modèle réaliste et détaillé d'une voiture : Lamborghini Murcielago LP640 Roadster) et YafRay dans mes projets précédents.
- Uniquement des projets personnels, c'est seulement un "hobby" (voir mon site perso ou SMC sinon : www.smcars.net, mon nick est tom120934) Pas de projet libre faute d'avoir trouvé un projet que je serais susceptible d'aider.
- Je n'ai jamais utilisé une rendering farm (j'ai une machine bi xéon 8 coeurs 2.66 GHz pas loin si besoin), par contre j'ai été utilisateur de clusters type IBM SP ou Bull NovaScale pour des calculs aérodynamique. Les problématiques de soumission de jobs, de gestion des entrées et des sorties, de l'allocation de ressources, etc. sont identiques de mon point de vue.
Un bon élément pour quantifier la perfo de vos machines / configurations serait de poster le temps d'un noeud pour le benchmark : http://www.eofw.org/bench/. Ca permettrait à vos utilisateurs d'estimer les temps de rendus sur vos machines à partir de celui de leur machine.
Une dernière remarque : la possibilité pour vos utilisateurs/clients de conserver certaines ressources pour plusieurs jobs est importante : par exemple, une image HDRI de fond de bonne résolution peut peser plusieurs dizaines de Mo, devoir la réuploader à chaque changement de la scène serait très pénible.
[^] # Re: Merci ...
Posté par BAud (site web personnel) . Évalué à 7.
Bon, je ne sais pas trop si les modèles peuvent être issus de blender, il y a sans doute du boulot supplémentaire pour la physique liée au véhicule retenu...
Sinon autour de blender, nous hébergeons quelques projets qui font du libre
http://projects.tuxfamily.org/tagsearch.pl?tag=226
[^] # Re: Merci ...
Posté par tom120934 . Évalué à 6.
J'ai proposé mon aide, on verra ce qu'il en est.
[^] # Re: Merci ...
Posté par NickNolte . Évalué à 2.
À défaut d'avoir adapté le moteur de rendu pour qu'il se parallélise sur tout un cluster, ça reste de l'ordonnoncement de tâche par noeud libre, non?
Sinon, j'ai cru comprendre que Yafray permettait réellement de tirer avantage d'un grid, avez-vous des infos à ce sujet?
[^] # Re: Merci ...
Posté par Frédéric COIFFIER . Évalué à 2.
SunFlow ne semble plus maintenu depuis le début de l'année (et SunFlow est écrit en Java ce qui est peut-être une contrainte pour une ferme de rendu)
Je n'ai pas trouvé de version récente d'Indigo pour Linux et d'après les forums, ils conseillent d'utiliser la version Windows avec Wine
YafRay est encore maintenu depuis qu'une première version de Yaf(a)Ray est sorti ?
Par contre, je ne connaissais pas Kerkythea mais il ne semble pas OpenSource.
[^] # Re: Merci ...
Posté par tom120934 . Évalué à 3.
Indigo est quant à lui victime de ses temps de rendus par trop prohibitifs.
YafRay n'est effectivement plus maintenu, et ce pas seulement depuis la sortie de Yaf(a)Ray 0.1.0. Blender n'est d'ailleurs plus compatible avbec YafRay 0.0.9 depuis la version (je crois) 2.46 (incluse)
Par contre, YafRay a été présent sur la scène plus de temps que les autres (réunis ?) Il semble encore opportun de le supporter, vu la masse probable d'utilisateurs et la jeunesse de Yaf(a)Ray (pas au sens jeune = moindres qualités, plutôt au sens jeune = peu de temps pour se faire adopter massivement)
Kerkythéa n'est effectivement pas libre, mais il est dans la série des autres (sa masse d'utilisateurs me semble comparable, même si pas identique) Sa licence interdit la redistribution en quasiment toutes circonstances : seul le point à point est accepté et encore, sans modifications et sans bénéfices.
Il semble clair que peu de gens travaillent en prod avec tous ces moteurs (sauf pour faire une étude comparative) : le paramétrage fin des shaders de chacun demanderait trop de temps. Mais la diversité étant une force, j'ai souhaité citer les grands noms. J'aurais pu rajouté MentalRay ou VRay, car certains utilisent Blender avec ce genre de moteurs commerciaux.
# Une dépèche
Posté par Benjamin Poulain (site web personnel) . Évalué à 10.
# Le vrai but ?
Posté par Kerro . Évalué à 0.
Le but de l'initiative est de comprendre les besoins de la communauté et d'essayer de répondre au mieux a leur problématiquesJe suis dubitatif c'est le moins qu'on puisse dire. 256 processeurs un peu haut de gamme juste comme ça, pour qu'un labo sache ce dont certains utilisateurs ont besoin ?
Le moins cher des Opteron coûte dans les 70 € HT. On ajoute une carte-mère bas de gamme (35 €), un poil de mémoire (15 €), une alimentation pourrie (10 €), un ventirad basique (5 €), un semblant de boîtier (15 €), ça fait 150 € par machine (prix mini-mini-mini, sans compter les locaux, les alimentations électriques, le stockage) soit presque 40.000 € les 256 machines. Et si c'est en rack 19" c'est le double. Utiliser des Opteron en bi ou quadri processeur coûte encore bien plus cher.
C'est forcément en rack d'ailleurs :-) Donc 80.000 € mini-mini-mini.
On ne dépense pas 80.000 € sans arrières pensées.
[^] # Re: Le vrai but ?
Posté par nextgens (site web personnel) . Évalué à 10.
On a d'autre applications qui l'utilisent... et le scheduler gère les priorités. Vu que l'on est très loin de l'utiliser a 100% et que ces machines doivent rester up 24h/24 ... on met a disposition les ressources que l'on n'utilise pas. Pourquoi faut-il tout le temps que les gens voient le mal partout?
Pour les stats d'utilisation:
http://ganglia.ngs.wmin.ac.uk/
[^] # Re: Le vrai but ?
Posté par Thomas Douillard . Évalué à 1.
Parce qu'ils aiment bien se dire que si ça marche pas comme ils veulent c'est parce que d'autres en profitent pour faire des trucs pas bien dans leur dos et qu'ils ne veulent pas aller chercher plus loin la plupart du temps ;)
[^] # Re: Le vrai but ?
Posté par Kerro . Évalué à -4.
Pourquoi faut-il tout le temps que les gens voient le mal partout?Le mal non, mais je me doutais qu'il manquait des infos importantes. Ca n'a pas raté.
Tu relaies l'information comme quoi ton labo met librement à disposition 256 processeurs pour Blender (en oubliant de préciser que ce n'est que partiellement, comme si c'était anodin) et que le but est de connaître les besoins de la communauté. Quelques temps plus tard tu affirmes que finalement c'est fait sur le temps libre de la grappe de calcul. Ah déjà ça sent le coup de communication bien comme j'aime. Informations incomplètes et/ou biaisée et arguments "on est là pour vous aider, promis".
Il n'empêche que derrière "we wish to understand the needs of Blender users and to improve the portal" il y a bien un but. Ce n'est pas juste pour écrire un article sur Wikipedia ou pour se faire plaisir. "to improve the portal" pour quoi faire ?
[^] # Re: Le vrai but ?
Posté par nextgens (site web personnel) . Évalué à 10.
C'est anodin; Le service est gratuit: tu soumets un job ... et il sera fait quand ton tour viendra dans la queue. Qu'il y ait 256 processeurs ou pas ne changera rien au fait que tu n'as pas l'acces exclusif aux ressources!
Encore une fois, le portail est publique: que ce soit "nous" qui lancions des taches non-blender sur le cluster ou ton voisin qui lance son job de rendu, ca ne change rien au fait que *TON* job ne tournera que quand ce sera son tour.
Il y a deja 520 utilisateurs enregistres... tu partages deja les processeurs avec eux.
> Quelques temps plus tard tu affirmes que finalement c'est fait sur le temps libre de la grappe de calcul
Benh... oui. Et si t'avais regarde les stats, tu verrais que y'a quand meme beaucoup de temps libre.
>Ah déjà ça sent le coup de communication bien comme j'aime. Informations incomplètes et/ou biaisée et arguments "on est là pour vous aider, promis".
Heuh, a partir du moment ou le service est mis *gratuitement* a disposition et sans contre partie, je ne vois pas le probleme.
>Il n'empêche que derrière "we wish to understand the needs of Blender users and to improve the portal" il y a bien un but. Ce n'est pas juste pour écrire un article sur Wikipedia ou pour se faire plaisir.
Ah bon? A ce que je sache, la ferme de rendu blender doit etre le seul projet du labo qui n'a pas de financement!
> "to improve the portal" pour quoi faire ?
Benh le portail ne sert pas qu'a faire du rendu blender... Regardes le site du labo si les activites annexes t'interessent... Tu y trouveras des informations "completes" (pour autant que ca existe) par opposition au journal que j'ai poste ici.
[^] # Re: Le vrai but ?
Posté par Kerro . Évalué à -8.
a partir du moment ou le service est mis *gratuitement* a disposition et sans contre partie, je ne vois pas le probleme.MSN est également gratuit, je suppose que tu ne vois aucun problème à cela, hum ? De même que tout un tas de choses "au service de la communauté" tels que les outils fermés de Canonial et bien d'autres. Tu as raison, lorsque c'est gratuit il n'y a aucune question à se poser.
La question de base est: quel est votre but ? Tu n'y as toujours pas répondu. Tu noies le poisson avec tout un tas d'arguments. Encore une fois, on ne mets pas à disposition une grappe pour le simple plaisir. Si tu es naïf au point de croire à la communication officielle de ton labo, grand bien t'en fasse :-)
[^] # Re: Le vrai but ?
Posté par briaeros007 . Évalué à 4.
Sauf ton respect, il me semble qu'il y a répondu, par exemple
We are looking for feedback because we wish to understand the needs of Blender users and to improve the portal.Ensuite que cette réponse te semble insuffisante, c'est un autre problème.
Ils proposent un service gratuit, ne t'enlève pas tes droits sur tes oeuvres, et il ne me semble pas qu'ils veuillent récupérer toutes les données nominatives à des fins autre qu'assurer le bon fonctionnement du service, qu'est ce qui te gêne ?
La situation est complètement différente de msn (qui interdit l'accès au service par autre chose que le client officiel, qui se réserve le droit de logger toutes les conversations, ...) ou de canonical (qui ne met pas franchement des cpu pour faire du grid computing, mais offre un framework collaboratif pour par ex la traduction).
[^] # Re: Le vrai but ?
Posté par benoar . Évalué à 4.
Par contre, je me demande ce que vous allez faire des informations renvoyées par les utilisateurs sur leur utilisation de la grille. C'est pour sortir une étude publique ? Ou seulement pour améliorer votre process interne ?
Je n'utiliserai pas votre service puisque je n'utilise pas blender, mais c'est juste pour essayer de reformuler les sortes de "craintes" de certains.
[^] # Re: Le vrai but ?
Posté par Kerro . Évalué à -3.
Par contre je sais pertinemment qu'on ne met pas ce genre d'engin à disposition juste "pour connaître les besoins". Les connaître et puis quoi ? Vu le temps et l'argent que ça leur coûte, soit ils ont trop d'argent (on y croit), soit il y a un objectif qui est pour l'instant dissimulé. Ceux qui vivent au pays des Bisounours croient éventuellement à la jolie fable "on vous prête notre joujou qui coûte des dizaines de milliers d'euros car on vous aime, et tout le monde il est beau, tout le monde il est gentil".
On peut cependant avoir une petite idée lorsqu'on lit les forums traitant de ce projet: ça fonctionne très mal et il y a au moins une personne qui s'occupe de lire les forums, de répondre aux messages et de corriger les problèmes. Donc en gros ils mettent au point une grille pour Blender, profitent de publicité "virale", et de retours d'expériences des utilisateurs. Pour l'instant c'est une version béta, et bientôt ce sera une spin-off.
[^] # Re: Le vrai but ?
Posté par pasBill pasGates . Évalué à 10.
Oh oui c'est sur, t'as juste oublie de remarquer que c'est une universite qui fait ca, pas une societe, que ce cluster est utilise a d'autres fins aussi, qu'ils ne font pas de publicite virale car ils ne visent absolument pas les entreprises, ...
Et le plus drole, il ne t'est pas passe par l'esprit un instant qu'une universite a besoin d'observer une phenomene (utilisation du cluster lors de ce type de calculs) avant de trouver des moyens d'ameliorer le fonctionnement, bref le boulot typique d'un labo de recherche.
Mais bon, il est toujours plus facile d'accuser et etre negatif que faire qqe chose de positif et dire merci, c'est connu.
[^] # Re: Le vrai but ?
Posté par Kerro . Évalué à 2.
ils ne visent absolument pas les entreprisesLes universités, en particulier anglaises et étasuniènnes, vendent leurs services. C'est d'ailleurs écrit sur la page web de ceux qui fournissent "gracieusement" ce service. Ils indiquent que si tu as un besoin à but commercial, tu peux les contacter.
C'est comme au labo du BRGM près de chez moi. C'est à l'université, c'est un labo, mais ils vendent aussi leurs services. Idem pour un labo de physique que j'ai vaguement connu. Et c'est surement le cas dans (presque) tous les labo et toutes les universités qui arrivent à interesser du monde.
[^] # Re: Le vrai but ?
Posté par pasBill pasGates . Évalué à 5.
C'est d'une logique assez ... originale pour ne rien dire d'autre.
[^] # Re: Le vrai but ?
Posté par kowalsky . Évalué à 7.
Les gars se sont pris la tête à mettre à dispo le temps libre de leur CPU. J'imagine que ça à demandé un investissement au moins en temps, pour mettre ça en place. Il aurait été beaucoup plus simple pour eux de juste la fermer et voila...
Ils vont clairement rien y gagner, regarde leur site !
C'est pas une méchante boite capitaliste !
Arrête un peu la parano...
[^] # Re: Le vrai but ?
Posté par Quikeg . Évalué à 0.
[^] # Re: Le vrai but ?
Posté par Loïs Taulelle ࿋ (site web personnel) . Évalué à 1.
> très loin de l'utiliser a 100% et que ces machines doivent rester up 24h/24 ... on met a
> disposition les ressources que l'on n'utilise pas. Pourquoi faut-il tout le temps que les
> gens voient le mal partout?
Je salue l'initiative.
Je travaille aussi dans un établissement ayant moults clusters. On a les mêmes problèmatiques : Même avec les meilleurs schedulers du monde de demain, les grilles ou les morceaux de grilles sont rarement utilisés à 100%.
Et c'est pas tous les jours que cette ressource est mise à disposition du public.
(ici, on fait du climateprediction ou du decrypthon sur les "vieux" clusters avant recyclage)
A+
Proverbe Alien : Sauvez la terre ? Mangez des humains !
[^] # Re: Le vrai but ?
Posté par djibb (site web personnel) . Évalué à 5.
Pourquoi pas.
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.