Bonjour nal,
Je prends la plume pour présenter scraplap.
Cet outil n'avait pas de nom à sa création. Mais pour se présenter, un nom est bien utile.
J'ai donc "inventé" le terme LAP, pour link aggregation platform ; une plateforme qui agrège des liens vers du contenu sur un sujet plus ou moins large et qui permet bien souvent de les noter et les commenter. On peut penser à Reddit, à Lobsters, à Journal du hacker.
Scrap est quant à lui le diminutif de scrapy, la bibliothèque python que j'utilise pour faire le scraping.
Scraplap s'inscrit dans la mouvance weboob, qui consiste à permettre des usages web hors navigateur (gérer sa banque, faire des rencontres, etc.). Pour ma part je suis intéressé par l'usage contentoob : consulter du contenu produit pour le web hors du navigateur. Dans ce domaine, les formats rss/atom et epub sont très utiles pour proposer du contenu sans passer par le navigateur. Ils permettent de ne pas avoir à développer d'application cliente spécifique ; une tâche trop ardue à mon goût. Il y a de très bon lecteurs RSS, sur toutes les plateformes.
Une LAP comme Lobsters propose déjà un fil d'actualités en RSS. Cependant, ils ne s'autorisent pas à y inclure du contenu qui n'est pas produit par la plateforme. On y retrouve donc que les liens vers les articles, pas les articles eux-mêmes. Or c'est typiquement là que je souhaite du contentoob. Je ne souhaite pas sortir du lecteur de fils et devoir être en ligne pour lire l'article. Scraplap fait ce travail pour moi. Il parcourt le fil d'actualité de la LAP, va chercher les articles en ligne et les remets dans un nouveau flux.
Pour que les articles soient lisibles dans le lecteur de fils d'actu, l'outil applique le même algorithme que le mode lecteur de Firefox, grâce à une implémentation python basée sur lxml. Ce mécanisme mériterai un article à part entière.
Scraplap a connu deux releases. La première, très intimiste, était stateless, elle lisait le fil source et produisait le fil résultat en même temps. Cela posait plein de problèmes qui sont expliqués dans ce document de design ; désolé, c'est en anglais. La release actuelle est statefull, elle récupère les nouveaux articles, les stocke en DB, puis construit le fil résultat.
Le code est disponible sur Framagit, l'instance gitlab de Framasoft. J'en ai profité pour mettre en place un don récurent car je veux soutenir leur initiative de dégafamisation. Les fils d’actu sont disponibles sur mon hosting, pour lobsters et pour journalduhacker.
Si ce type d'outils vous intéresse, vous pouvez alimenter la backlog, faire des PR, commenter.
# Chouette
Posté par damaki . Évalué à 3.
Salut,
Ça fait des lustres que je pensais à coder ça mais que j'avais une grosse flemme de le faire. Donc un gros merci ! Je vais tester ça.
[^] # Re: Chouette
Posté par barmic . Évalué à 2.
Pareil, par contre je pensais pas que le faire à la volée poserait problème. Un cache en mémoire ne suffirait pas ?
[^] # Re: Chouette
Posté par steph1978 . Évalué à 2.
Moi aussi, au départ :)
L'outil tourne en mode batch, dans un cron par exemple.
Compte tenu de la fréquence d'apparition de nouveaux contenu, je le lance toutes les deux heures.
Il n'a donc pas de cache mémoire possible entre deux exécutions.
Entre deux exécutions, il n'y a bien souvent que deux ou trois nouveaux articles dans le flux d'origine qui en liste 25.
Il y a deux actions couteuses pour chaque article : le télécharger et lui appliquer le readability.
L'utilisation d'une BDD par rapport à un traitement a la volé a pour bénéfice:
* exécution plus rapide (empiriquement 10x)
* maintient de l'ordre des entrées dans le flux entre deux exécutions
* possibilité de générer un flux d'une taille différente de celui d'origine (j'ai choisi 40 au lieu de 25)
# Lapin compris
Posté par dinomasque . Évalué à 8.
J'ai rien compris à ce journal ;-)
En gros, ça sert à qui et pour faire quoi ?
BeOS le faisait il y a 20 ans !
[^] # Re: Lapin compris
Posté par barmic . Évalué à 5.
Ça prend un flux rss qui ne fait que lister des liens et ça remplace les liens par le contenu.
[^] # Re: Lapin compris
Posté par bolikahult . Évalué à 3.
Les lecteurs de flux RSS ne font-ils pas déjà ce travail ? Avant j'utilisais Liferea qui récupérait le contenu de l'article… (en ce moment j'utilise les "marques-pages dynamiques" de firefox)
[^] # Re: Lapin compris
Posté par steph1978 . Évalué à 5.
Il ne le fera pas offline et ce n'est pas une fonctionnalité de tous les lecteurs rss.
Dans le flux Atom, le lecteur affiche le contenu de la balise "content". Si ce contenu est un lien, il affiche un lien.
D'autre part, tous les lecteurs n'appliquent pas l'algo de readability.
[^] # Re: Lapin compris
Posté par bolikahult . Évalué à 1.
Ok pour le contenu, mais :
Tu veux dire que les lecteurs de flux RSS ne gardent pas en mémoire les articles, mais les récupèrent du serveur à chaque lecture ?
[^] # Re: Lapin compris
Posté par steph1978 . Évalué à 5.
Si le contenu d'une entrée dans un fil d'actu est un article, il fait partie du flux, il est donc conservé par le lecteur RSS.
Mais ce qui était proposé plus haut est que, si le contenu est une URL alors l'application cliente va chercher l'article pointé. Ce n'est pas une fonction standard d'un lecteur RSS. Ce serait une fonction particulière dans une application particulière.
C'est un particularisme que je ne souhaite pas pour ma part. Je veux un fil classique avec l'article dans le contenu et une application classique de lecture de fils d'actu comme il en existe partout.
Si tu veux quelque chose de plus visuel, installe un lecteurs RSS, ajoute le fil lobsters et ajoute le fil créer par scraplap. Tu verra que le premier contient un lien et que si tu cliques, il charge le contenu dans un navigateur (intégré ou non). Le second contient l'article, que tu peux lire sans plus de manipulation et sans être en ligne.
[^] # Re: Lapin compris
Posté par bolikahult . Évalué à 2.
Lenfin compris !
[^] # Re: Lapin compris
Posté par liberforce (site web personnel) . Évalué à 3.
Profites-en bien, il me semble qu'ils vivent leurs dernières heures.
[^] # Re: Lapin compris
Posté par dinomasque . Évalué à 3.
Ah oui ! C'est bien ça quand on a des fils RSS tronqués :)
BeOS le faisait il y a 20 ans !
# Justifier
Posté par MCMic (site web personnel) . Évalué à 6. Dernière modification le 06 novembre 2018 à 09:28.
Je comprends pas pourquoi le texte justifié semble passé de mode. Le mode lecture de firefox ne justifie pas le texte, ce qui est mon plus gros reproche, et là sur ton screenshot c’est pareil.
Difficile au vu du screenshot de savoir si ça vient de ton outil ou de ton lecteur de flux RSS par contre. (je connais pas les détails techniques de RSS je sais pas à quel point ça contient des infos de mise en page)
Ça me parait particulièrement pertinent de justifier dans le cas d’un écran étroit de téléphone. Mais je suis peut-être le seul à préférer ça, je le vois très peu en pratique.
Même mastodon dans ses colonnes minuscules aligne le texte à gauche :-(
[^] # Re: Justifier
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 5.
Justifier sur un téléphone (ou plus généralement sur une colonne étroite) est une mauvaise pratique, sauf en cas de gestion propre des césures – ce que ne font pas les navigateurs. Parce que dans ce cas, certes c'est plus joli, mais bien moins lisible à cause des espaces entre mots qui peuvent devenir énormes.
La connaissance libre : https://zestedesavoir.com
[^] # Re: Justifier
Posté par steph1978 . Évalué à 3.
Readability vire les CSS la plupart du temps.
Je dirai donc que cela provient du lecteur.
Mauvais logiciel, changer de logiciel :) C'est ce qui me plait avec RSS, il y en a des tonnes.
J'en ai testé un autre. Mais sur mobile, compte tenu de la largeur de page, difficile de savoir si il justifie le texte ou pas.
[^] # Re: Justifier
Posté par amdg . Évalué à 1.
Je suis complètement d'accord ! J'en ai eu marre de lire des textes non-justifiés partout sur internet alors j'ai créé un petit style utilisateur ultra simple, mais rudement efficace :
Et voilà, tu colles ça dans Stylus dans Firefox, tu le configures par défaut pour tout Internet et voilà 😀
[^] # Re: Justifier
Posté par copapa . Évalué à 4.
Le texte justifié gène la compréhension lors de la lecture.
cf https://en.wikipedia.org/wiki/Sentence_spacing_studies. Extrait :
[^] # Re: Justifier
Posté par vv222 . Évalué à 5.
Ça ne concerne que le texte mal justifié (faisant varier la longueur des espaces), cet extrait ne parle pas du tout d’un texte bien justifié en utilisant la césure des mots.
Le dernier point ("more densely packed text is read more efficiently … than is more loosely packed text.") me paraît même pouvoir être interprété en faveur de la justification.
Ce qui ne rend pas ton message moins intéressant pour autant ;)
[^] # Re: Justifier
Posté par Guillawme (site web personnel, Mastodon) . Évalué à 3.
Il y a quelques mois je cherchais un thème tout fait pour un blog, et je n’en ai trouvé aucun avec les paragraphes justifiés. Avant de me décider à bidouiller un thème (je n’y connais quasiment rien) j’ai cherché s’il y avait une raison à cela, je suis tombé sur ça et ça m’a convaincu de ne pas justifier : https://designforhackers.com/blog/justify-text-html-css/
Je me demande si les navigateurs ne pourraient pas s’inspirer de LaTeX pour le rendu des paragraphes justifiés. C’est un truc que LaTeX fait depuis toujours, donc il y a sûrement des algorithmes bien établis et testés.
[^] # Re: Justifier
Posté par MCMic (site web personnel) . Évalué à 3.
Merci pour l’article bien argumenté, c’est intéressant :-)
J’ai juste l’impression à l’usage que je préfère lire du texte justifié, mais c’est peut-être juste l’aspect d’ensemble qui me plait moins.
[^] # Re: Justifier
Posté par Guillawme (site web personnel, Mastodon) . Évalué à 1.
Les liens dans le commentaire ci-dessous sont aussi très intéressants à lire.
https://linuxfr.org/users/steph1978/journaux/scraplap-pour-mouler-offline#comment-1753691
[^] # Re: Justifier
Posté par Tit . Évalué à 3. Dernière modification le 07 novembre 2018 à 09:53.
Il y aurait de bonnes raisons de ne pas justifier, et si on justifie alors c'est avec des contraintes assez fortes (césures, largeur colonne, police etc.).
un article qui en parle : https://www.fabricecourt.com/formation/doit-on-justifier-un-texte-sur-le-web/
certains ont choisi de justifier et explique pourquoi et comment : http://typographisme.net/post/La-justification-sur-le-web-%3A-usages-et-pr%C3%A9cautions
# Contentoob ?
Posté par Philippe F (site web personnel) . Évalué à 7.
Si tu veux rester dans la mouvance Weboob, il faut te trouver un meilleur nom.
Je te propose: Contenteub. En français, ça passe très bien. Pour l'anglais, j'ai pas d'idée mais avec des boob et du gros contenu, on doit bien pouvoir trouver un jeu de mot à la con !
Allez, --> []
[^] # Re: Contentoob ?
Posté par SpaceFox (site web personnel, Mastodon) . Évalué à 7. Dernière modification le 06 novembre 2018 à 11:30.
À propos de weboobs…
La connaissance libre : https://zestedesavoir.com
[^] # Re: Contentoob ?
Posté par steph1978 . Évalué à -1.
Après le code de conduite de sqlite à base de merci seigneur, encore une initiative moralisatrice dans le logiciel libre. Si la bien-pensence pouvait épargner le logiciel libre, cela me réjouirai.
Je ne suis pas sûr que censurer un logiciel pour son nom un peu potache améliore la condition de la femme dans nos sociétés.
Pour rappel à partir de cet après midi, en France, les femmes travaillent gratuitement et ce jusqu'à la fin de l'année (salaire comparer avec un homme ayant le même poste). Si on commençait par là avant de peaufiner les détails…
[^] # Re: Contentoob ?
Posté par Kerro . Évalué à 3.
Des études indiquent que c'est vrai, d'autres indiquent que c'est l'inverse (à résultat égal les femmes sont en moyenne plus payées que les hommes au cours d'une vie).
C'est un truc sans fin car il y a what-milliards de facteurs, d'exceptions, etc. Sans parler des études biaisées pour soutenir tel ou tel côté, comme si les genres étaient en lutte l'un contre l'autre.
[^] # Re: Contentoob ?
Posté par steph1978 . Évalué à 2.
"à résultat égal" on entend quoi par "résultat" ?
[^] # Re: Contentoob ?
Posté par bolikahult . Évalué à 2.
Selon ce paragraphe bien sourcé de wikipédia, en prenant bien en compte tout les facteurs, les femmes sont tout de mêmes perdantes…
Tu n'as jamais entendu parlé de féminisme ? de domination patriarcale ? du slogan #metoo ?
[^] # Re: Contentoob ?
Posté par Kerro . Évalué à 4.
2 % de la population ne représente pas la population. Et balancer des termes à la mode non plus.
Il y a très (très) peu de gens qui
luttentcontre l'autre sexe.[^] # Re: Contentoob ?
Posté par bolikahult . Évalué à 1.
Les agressions sexuelles envers les femmes, le harcèlement, les inégalités diverses, le machisme ordinaire et les violences symboliques - parfois intégrées dans la loi de certains pays - concernent beaucoup (beaucoup) de gens. Tous ces gens ne luttent pas forcément, tu as raisons, contre l'autre sexe - ce serait improductif d'ailleurs - mais essaye de conserver leur pouvoir ou d'échapper à la violence comme ils/elles le peuvent, plus ou moins consciemment.
Ce n'est que ma lecture des choses.
[^] # Re: Contentoob ?
Posté par Kerro . Évalué à 1.
La partie que tu cites est clair : il est écrit que le revenu des femmes est inférieur à celui des hommes, et qu'elles font des choix différents de ceux des hommes. Il n'est pas écrit qu'à résultat égal elles sont moins payées.
Il y a d'autres trucs « bien sourcés » qui arrivent à toutes les conclusions possibles. Donc en gros on ne sait pas vu que c'est le foutoir (déjà que les choses pour lesquelles tout le monde est d'accord sont parfois fausses…).
[^] # Re: Contentoob ?
Posté par bolikahult . Évalué à 2.
Tu n'as pas lu jusqu'au bout :
" Bien que les inégalités salariales sont en grande partie explicables par des différences de postes, d'expérience et de volume horaire, les femmes restent moins payées que les hommes après ajustement de ces variables. Les recherches menées aux États-Unis montrent qu'il reste un écart salarial de 7 % qui ne peut pas être causé par le nombre d'heures travaillées, le métier, le niveau d'étude ou le secteur d'emploi. Par exemple, en France selon l'observatoire de l'IESF, les femmes ingénieures sont en moyenne payées 2 000 € annuel de moins que leurs homologues masculins à la sortie de l'école en 2016 et l'écart s'agrandit au cours de la carrière et au Royaume-Uni, les femmes tradeurs bien qu'ayant le même salaire que les hommes, reçoivent deux fois moins de bonus que les hommes."
[^] # Re: Contentoob ?
Posté par Kerro . Évalué à 2.
Effectivement. L'article contient une partie qui dit ça, et une partie qui dit quasi l'inverse (la partie que je cite). Encore une fois on trouve tout et son contraire dans ce débat.
Tu peux citer autant de sources que tu veux, il y en a autant qui trouvent le résultat opposé tout aussi valide. C'est sans fin.
Pareil pour la dure réalité du terrain. Par exemple pourquoi les patrons n'embauchent pas uniquement des femmes ? Dans les métiers où on trouve facilement des femmes, bien entendu. Puisqu'elles sont moins payées toutes choses égales par ailleurs, c'est contre-productif d'embaucher des hommes.
À cette remarque il y a autant d'explications en faveur d'un bord que de l'autre.
[^] # Re: Contentoob ?
Posté par El Titi . Évalué à 2.
Si, trop sans doute !
Et toi, tu as déjà entendu parler de moutons de Panurge, d'esprit critique, de bulles de pensées ?
https://www.lemonde.fr/pixels/article/2018/04/24/comment-les-reseaux-sociaux-accentuent-l-enfermement-dans-ses-idees_5289874_4408996.html
[^] # Re: Contentoob ?
Posté par El Titi . Évalué à 0.
Mince, moi qui pensais que Linuxfr était un havre de paix à l'abri de la lobotomie de notre chère Marlène Schiappa, "Secrétaire d'État auprès du Premier ministre, chargée de l'Égalité entre les femmes
et les hommeset de la Lutte contre les discriminations" et de ses copines.Un petit debunkage s'impose !
https://xkcd.com/386/
Déjà pour ce fameux écart, quelques petites sources qui me paraissent tout aussi sérieuses qu'un paragraphe noyé au sein d'un article de Wikipédia.
Quand 25% se transorme en 3,5 % en belgique:
https://www.cecheminotsbretagne.fr/upload/images/tinymce/FILECO/Inegalites_de_salaire_femme.homme._le_mystere_des_10_pour_100_AlterEcoPlus_8mars2016.pdf
Que cet écart se réduit à 9 points à qualification/poste/temps égal:
https://travail-emploi.gouv.fr/IMG/pdf/2012-016-2.pdf
Que si l'on prend en compte la productivité l'écart n'est plus que de 2 à 3 %:
http://www.crest.fr/ckfinder/userfiles/files/Pageperso/crepon/CreponDeniauPerezDuarte2002.pdf
https://perso.uclouvain.be/vincent.vandenberghe/Papers/Gender_wage_discrimination_Labour.pdf
Mais puisqu'on vous dit que tout ça est la faute de ces phallocrates de patrons.
Qu'en est-il des professions libérales (mince alors, le lien original a disparu, si j'étais complotiste, je dirais que ce n'est pas un hasard. Heureusement que le net a de la mémoire):
https://web.archive.org/web/*/http://www.insee.fr/fr/ffc/docs_ffc/ip951.pdf
Mais, mais, … sans ce vilain boss l'écart est … écrasant. C'est sans doute ce client qui est miso (dont une bonne proportion de femmes conditionnées), à moins … que la productivité de ces dames dans le libéral soit en chute.
Bizarrement les féministes ne se battent pas pour l'égalité d'accès sur des métiers pénibles et physique, parfois plus rémunérateurs (plateformes pétrolières, cadres BTP, …) ou pour la précarité des métiers en disgrâce (éboueurs, artisans du bâtiments, …).
Bizarrement, les femmes font en moyenne moins d'heure sup que les hommes, aucun élément ne nous est fourni pour savoir si le temps partiel est vraiment subi ou un choix de vie. (On vous voit venir avec le fait de s'occuper des gamins)
Ah oui, c'est vrai! La voilà La Raison: Le fameux Patriarcat, cette oppression "systémique" qui justifie que les femmes bénéficient de la discrimination positive dans les STEM (sur notation, quotas à l'embauche) et partout dans la société. Tout ça car elles se dévaloriseraient, seraient victimes de micro-agressions, biais implicites et autres éléments irréfutables fournis par les "sciences" sociales (trustées par la gente féminine, cette fois)
Allez sourions un peu:
Un petit article du point pour la mise au … point:
https://www.lepoint.fr/debats/pourquoi-les-femmes-boudent-les-mathematiques-07-10-2018-2260994_2.php
Et si les sciences dites "sociales" n'en étaient pas, des sciences et s'avéraient n'être que des instruments de propagande de l'anti-sexisme primaire (celui qui nie que les différences sociétales pourraient trouver leur origine dans la Nature et non dans la culture… patriarcale qu'il faut absolument réduire)
http://www.lefigaro.fr/vox/societe/2017/10/06/31003-20171006ARTFIG00235-gerald-bronner-les-sociologues-doivent-etre-des-scientifiques-pas-des-militants.php?redirect_premium
Pas convaincu hein ? Trop à droite pour le féminisme souvent de gauche !
Alors accrochez car cette fois on va rire.
Figurez-vous qu'un petit groupe d'étudiants américains s'est livré à du testing auprès de ces entités référentes en sociologies … où l'on "s'autorise à penser dans les milieux autorisés" comme dirait notre regretté Enfoiré.
Je vous le livre en prime:
https://quillette.com/2018/10/01/the-grievance-studies-scandal-five-academics-respond/
Si vous avez la flemme de lire , regardez juste la vidéo, c'est assez édifiant
https://quillette.com/2018/10/01/the-grievance-studies-scandal-five-academics-respond/
Bref, pour éduquer les petits mâles blancs oppresseurs en puissance dès le plus jeune âge, ces "organismes" plébiscitent des bonnes pratiques directement pompées d'un ouvrage de référence… Mein Kampf
Au fait, ce sont ces mêmes jeunes garçons que notre chère ministre de l'égalité voudrait encore plus châtier dans les cours de récré en jouant au foot. Inégalité criante face aux jeunes demoiselles qui n'occupent pas tant d'espace. Alors que l'échec scolaire des jeunes garçons en primaire n'est pas une inégalité indiscutable celle-là (elle n'entend donc pas la traiter). Je vous laisse le soin de chercher si la raison en est le QI moins élevé des hommes, le quasi monopole d'enseignantes encartées bobo-feministes ou d'autres raisons plus subtiles.
A ce stade, vous pouvez encore douter. Tant d'étude contradictoires, qui croire ?
Pourtant s'il est un laboratoire de l'égalité homme/femme dans le monde c'est bien la Norvège.
Voici d'ailleurs un petit témoignage d'une expat qui atteste du niveau d'égalité y compris en terme de salaire et d'opportunité d'emploi:
https://www.femmexpat.com/destination/europe/norvege/norvege-egalite-des-sexes-et-relations-hommes-femmes/
Mais voilà, paradoxalement, ces dames sont toujours sous-représentées dans les fameuses STEM alors qu'elle ont le "libre" choix. Micro- agressions et biais implicites ? C'est ce que pensent les sociologues norvégiens en tout cas. Pour leur justification, je vous laisse découvrir ce reportage qui vaut vraiment le détour. S'il y a un lien à ouvrir le voici:
https://www.youtube.com/watch?v=cVaTc15plVs&feature=youtu.be&list=PLaJtMuDnR5KLwrt4z1O8tKmHWmUm3nObV
Allez je termine par un petit message subliminal:
https://translate.google.fr/?um=1&ie=UTF-8&hl=fr&client=tw-ob#auto/fr/schiappa
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.