Journal Boobathon le Samedi 17-03-2012

Posté par  (site web personnel) . Licence CC By‑SA.
Étiquettes :
12
9
mar.
2012

Monjour Nal,

J'imagine que tu connais probablement Weboob, qui bénéficie sur linuxfr d'une couverture médiatique comparable à celle de l'UMP dans le figaro.

Un bref rappel tout de même : Weboob est un outil permettant d'accéder à des données sur des sites de l'interWeb sans être obligé d'utiliser un navigateur.

On pourrait parler pendant des heures des avantages et des bénéfices apportés,
mais rapidement on peut citer quelques points :

  • Permet d'automatiser des tâches (graphe de ses comptes en banque, récupération automatique de sa dernière émission télévisée pour visionnage à postériori), etc.
  • Facilite l'accessibilité : Les handicapés visuels ou moteurs n'ont pas tous les désavantages lies à des sites codés avec les pieds ou comportant un clavier virtuel (il s'agit d'un ou non exclusif ici).
  • Mutualisation : Une commande est lancée sur tout les modules chargés (ce qui peut correspondre à une dizaine de sites). -> Rapidité
  • Économie de ressources : pas de chargement de js ou de css. Pas d'interprétation de la page par le navigateur. -> Moins de sollicitation de la RAM ou du CPU.
  • Réutilisable et pluggable avec d'autres outils.
  • etc.

Weboob dispose de plus de 50 modules stables qu'on peut consulter à l'adresse suivante : http://weboob.org/modules

Plus il y a de modules, plus c'est le bien, plus Weboob est utile dans la vie de tous les jours.

Ce n'est pas forcément simple d'intégrer un projet déjà existant et avec une bonne dynamique comme l'est Weboob.

C'est pourquoi un boobathon est organisé le Samedi 17 mars à partir de 10:00 à la Fondation pour le Progrès de l'Homme, 38 rue Saint Sabin à Paris dans le 11e arrondissement. Métros Chemin Vert ou Bréguet-Sabin. Un grand merci à la FPH notamment à Vincent Calame d'avoir accepté d'héberger l'évènement.

La journée commencera doucement par un petit-dej/présentation, pendant laquelle on fera un tour des personnes présentes et des attentes.

Après quoi, on commencera à lancer la coding party.

Le but sera de coder un maximum de modules en un minimum de temps et d'aider les personnes à s'approprier la façon de faire dans weboob de manière plus conviviale que ce qu'on pourrait faire via irc + emails + bugtrackers, etc.

La connaissance de python n'est pas un pré-requis indispensable pour une personne motivée souhaitant aider (mais c'est tout de même un gros plus).

Viendez proposer des modules !

La liste des modules à ajouter est virtuellement infinie. Un bug similaire au bug #1 d'Ubuntu pourrait être : Supporter tous les sites webs existants. Mais sans en arriver à cet extrême, on pourrait faire une liste (non exhaustive) de modules qu'ils serait intéressant d'avoir :

  • Le support de toutes les banques françaises non encore supportés (une bonne partie l'est déjà)
  • Ajouter un module pour mobile.free.fr (c'est une demande récurrente désormais).
  • Ajouter d'autres modules non spécifiques à la France afin de ne pas intéresser que des Français. Il y a déjà quelques modules comme 4chan et youtube. On pourrait aussi avoir des modules pour slashdot, twitter, les banques hors de France, les sites vidéos des chaines US, UK, allemandes, italiennes, du parlement européen, etc. (au même titre que canalplus ou arte),
  • etc.

On pourra également consulter la liste des demandes de nouveaux modules sur le bugtracker de Weboob.

L'entrée est (bien sûr) libre et gratuite, mais une inscription préalable serait appréciée afin de pouvoir estimer le nombre de personnes présents. Un sondage framadate a été ouvert pour ça.

N'hésitez pas à faire suivre ce message auprès de vos connaissances/communautés qui parlent le python couramment.

  • # mobile.free.fr

    Posté par  . Évalué à 10.

    En fait, mobile.free.fr est déjà géré dans la version de développement (0.b).

    Il existe d'ailleurs un plugin munin permettant de grapher l'évolution de sa consommation.

  • # À vos souhaits

    Posté par  . Évalué à 2.

    Si on peut exprimer ses souhaits, voici le mien : à l'instar des modules pour Youtube ou Dailymotion, avoir la même chose pour Vimeo.

    • [^] # Re: À vos souhaits

      Posté par  (site web personnel) . Évalué à 9.

      Oui il te sera possible de bosser sur les modules que tu souhaites.

      • [^] # Re: À vos souhaits

        Posté par  . Évalué à 2.

        En étant un des rares clients du Crédit coopératif et de plus, totalement inculte en python, je n'ai donc pas le temps d'espérer un jour ce module bancaire.

        • [^] # Re: À vos souhaits

          Posté par  (site web personnel) . Évalué à 5.

          Es tu pret à m'offrir les frais d'ouverture de compte ?

        • [^] # Re: À vos souhaits

          Posté par  . Évalué à 4.

          L'inculture en python n'est pas très grave je pense. J'en avais pas écrit une seule ligne avant de toucher à weboob, et j'ai pourtant réussi à écrire quelques modules.

          Le plus compliqué sur les banques c'est souvent le clavier virtuel, mais après une rapide visite sur le site du crédit coopératif, il ne semble pas en avoir. Et tu peux facilement obtenir de l'aide sur la liste de diffusion ou sur irc.

          • [^] # Re: À vos souhaits

            Posté par  (site web personnel) . Évalué à 1.

            Le problème du crédit coopératif, c'est que ça ne passe pas par un clavier virtuel, mais par un lecteur de carte bleue externe, qui retourne un code unique, qui sert ensuite à s'authentifier sur le site… dur à automatiser, sauf à demander une code unique à chaque utilisation (ou à casser l'algo de génération de ces codes uniques).

            • [^] # Re: À vos souhaits

              Posté par  . Évalué à 3.

              Je ne peux évidemment par regarder plus en détails mais je vois trois moyens d'accéder au site, la page propose « Je choisis mon mode d'accès. », qui sont Sésame (le lecteur de carte), certificat, et code confidentiel.

              Les trois méthodes ne sont pas équivalents en terme d'accès derrière ?

              • [^] # Re: À vos souhaits

                Posté par  . Évalué à 1.

                Les 3 méthodes donnent le même accès bien sûr. Le problème est que une fois que tu as utilisé le lecteur sésame, tu n'as plus le code confidentiel initial et le code sésame ne sert qu'une fois, il faut en générer un à chaque nouvelle connexion avec le lecteur et la carte bleue. C'est sécurisant mais très contraignant et il me semble assez rédhibitoire pour une automatisation. Quand au certificat, c'est réservé aux entreprises.

                • [^] # Re: À vos souhaits

                  Posté par  . Évalué à 1.

                  Lors de mon ouverture de compte au Crédit Coopératif, on m'a dit que la connexion par carte Sésame serait bientôt obligatoire, donc autant la prendre tout de suite. C'est ce que j'ai fait. Je pensais que rapidement, toutes les banques allaient se mettre à ça (c'est pareil à la Banque Populaire, dont le Crédit Coopératif a le statut) et je suis surpris que ce ne soit pas le cas.

  • # boobathon

    Posté par  . Évalué à 10.

    Il aurait fallu coupler ça avec la journée de la femme, tu aurais eu plus de commentaires.

  • # AdL

    Posté par  (site web personnel) . Évalué à 3.

    qui bénéficie sur linuxfr d'une couverture médiatique

    je n'ai pas vu l'annonce sur l'AdL en mars : http://agendadulibre.org/?year=2012&month=3&region=all

  • # Credit Mutuel

    Posté par  . Évalué à 2.

    D'ailleurs le module Crédit Mutuel a l'air cassé depuis ce matin 2h :-/

    Mes jolis graphes vont avoir un gros trou !

    2012-03-09 11:27:39,074:WARNING:backend.creditmutuel.browser:browser.py:450:_change_location Oh my fucking god, there isn't any page corresponding to URL https://www.creditmutuel.fr/cmcee/fr/banque/espace_personnel.aspx
Debug data will be saved in this directory: /var/folders/8n/6s7wgnwd4yq596vmxfxcrjv12mv4zj/T/weboob_session_zPgGa8
2012-03-09 11:27:39,141:WARNING:backend.creditmutuel.browser:browser.py:335:save_response Response saved to /var/folders/8n/6s7wgnwd4yq596vmxfxcrjv12mv4zj/T/weboob_session_zPgGa8/0
Error(creditmutuel): invalid login/password.

    • [^] # Re: Credit Mutuel

      Posté par  . Évalué à 6. Dernière modification le 09 mars 2012 à 11:34.

      Hum, le message « Oh my fucking god » a été remplacé il y a de ça un bon moment, ce qui me laisse penser que tu utilises une version plus ancienne que l'actuelle stable (0.a).

      En outre, es-tu certain de tes identifiants ?

      Je viens de faire le test, et pour moi ça continue de fonctionner. Peut-être vaudrait-il mieux déjà que tu mettes à jour Weboob ?

      • [^] # Re: Credit Mutuel

        Posté par  . Évalué à 2.

        Ok, je vais mettre à jour merci !

        • [^] # Re: Credit Mutuel

          Posté par  . Évalué à 2. Dernière modification le 09 mars 2012 à 12:54.

          Bon, c'est déjà mieux, weboob est a jour et les backends aussi.
          Boobank ls marche, mais pas l'historique… (testé sur Ubuntu et sur MacOS)

          J'en profite pendant que je suis là :

          boobank> history 2
2012-03-09 12:53:08,103:DEBUG:bcall:bcall.py:80:__init__ Creating a new thread for <Backend 'creditmutuel'>
2012-03-09 12:53:08,104:DEBUG:bcall:bcall.py:100:_caller <Backend 'creditmutuel'>: Thread created successfully
2012-03-09 12:53:08,105:DEBUG:bcall:bcall.py:105:_caller <Backend 'creditmutuel'>: Calling function <bound method Boobank._do_complete of <weboob.applications.boobank.boobank.Boobank object at 0xd0b850>>
2012-03-09 12:53:08,683:DEBUG:backend.creditmutuel.browser:browser.py:560:_change_location [user_id=XXXXX] Went on https://www.creditmutuel.fr/cmcee/fr/banque/situation_financiere.cgi
2012-03-09 12:53:08,718:DEBUG:bcall:bcall.py:114:_caller <Backend 'creditmutuel'>: Called function <bound method Boobank._do_complete of <weboob.applications.boobank.boobank.Boobank object at 0xd0b850>> returned: <generator object _do_complete_iter at 0x15dca50>
2012-03-09 12:53:09,374:DEBUG:backend.creditmutuel.browser:browser.py:560:_change_location [user_id=XXXXX] Went on https://www.creditmutuel.fr/cmcee/fr/banque/mouvements.cgi?webid=9dd0f3bcc6cbdd012859ecde7ad46940e2ae16b192a2f5f2fd7c591aea64fbb2&rib=XXXXXX1EUR
Error(creditmutuel): Value for "label" needs to be of type <type 'unicode'>, not <type 'str'>
Traceback (most recent call last):
  File "/usr/local/lib/python2.6/dist-packages/weboob-0.a-py2.6.egg/weboob/core/bcall.py", line 119, in _caller
    for subresult in result:
  File "/usr/local/lib/python2.6/dist-packages/weboob-0.a-py2.6.egg/weboob/tools/application/base.py", line 243, in _do_complete_iter
    for i, sub in enumerate(res):
  File "/home/bouil/.local/share/weboob/modules/creditmutuel/backend.py", line 63, in iter_history
    for history in self.browser.get_history(account):
  File "/home/bouil/.local/share/weboob/modules/creditmutuel/browser.py", line 115, in get_history
    for op in self.page.get_history():
  File "/home/bouil/.local/share/weboob/modules/creditmutuel/pages.py", line 95, in get_history
    operation.label = tds[-3].text.replace('\n',' ').strip()
  File "/usr/local/lib/python2.6/dist-packages/weboob-0.a-py2.6.egg/weboob/capabilities/base.py", line 155, in __setattr__
    name, attr.type, type(value)))
ValueError: Value for "label" needs to be of type <type 'unicode'>, not <type 'str'>

          Une idée du problème ?

          • [^] # Re: Credit Mutuel

            Posté par  . Évalué à 6.

            Oui, je viens de pousser un correctif.

            Utilise la commande suivante pour mettre à jour le module :

            weboob-config update

            En principe après ça devrait marcher.

            • [^] # Re: Credit Mutuel

              Posté par  . Évalué à 3.

              Génial ça remarche ! Merci encore pour ce super projet.

            • [^] # Re: Credit Mutuel

              Posté par  . Évalué à 3.

              Quelle réactivité !

              Merci. Et bravo pour Weboob. C'est un super projet.

              Le FN est un parti d'extrême droite

    • [^] # Re: Credit Mutuel

      Posté par  . Évalué à 3.

      Pour éviter les trous dans les graphiques, il est possible de tricher en éditant le fichier de cache à la main. C'est certes un peu chiant, mais faisable :-)

      Autrement, on peut aussi utiliser utiliser un script pour remplacer les NaN par la dernière valeur connue a posteriori.

  • # Format de date...

    Posté par  (site web personnel) . Évalué à 2.

    17-03-2012

    Euh… C'est quoi ça?
    En français, c'est 17/03/2012
    En allemand, c'est 17.03.2012
    Mais avec des slash, je ne connais pas la locale.
    En ISO, c'est 2012-03-17

    (oui, je sais, message pour ne rien dire)

  • # Caisse d'épougne

    Posté par  . Évalué à 2.

    Je vois qu'il manque un module pour la Caisse d'Ép'. Ça serait genre dur comment d'écrire ça, sachant qu'il y a un code à clavier virtuel à entrer pour accéder à son compte ?

    • [^] # Re: Caisse d'épougne

      Posté par  (site web personnel) . Évalué à 3.

      Il y a un exemple de clavier virtuel en Python pour le Crédit Lyonnais ici
      http://forum.ubuntu-fr.org/viewtopic.php?id=683671

      reste à adapter

      ウィズコロナ

    • [^] # Re: Caissed'épougne

      Posté par  . Évalué à 4.

      Il y a dans Weboob déjà plusieurs modules de sites bancaires supportant l'authentification par clavier virtuel. En général ce n'est pas bien compliqué, non.

      Par contre, pour écrire le module pour la Caisse d'Épargne, il faut avoir un compte chez eux. Le mieux est que tu viennes au boobathon pour que l'on puisse t'aider à l'implémenter.

      • [^] # Re: Caissed'épougne

        Posté par  . Évalué à 2.

        Malheureusement, je ne pourrai être présent au boobathon : en dehors d'un souci de finances pour monter à la capitale, un pote à moi fait ce jour-là une reprise unique et héroïque de tubular bells avec des samples de chats. Néanmoins, je vais fouiner dans le code de modules existants pour voir ce que je peux faire.

    • [^] # Re: Caisse d'épougne

      Posté par  . Évalué à 2.

      À la caisse d'épargne, le clavier virtuel est désactivable.

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.