• # Feet of Clay Detector

    Posté par  (site web personnel) . Évalué à 2 (+0/-0).

    Le lien vers l'outil en question : https://dbrech.irit.fr/pls/apex/f?p=9999:31

  • # Très réducteur

    Posté par  . Évalué à 10 (+8/-0).

    En fait,je trouve ça extrêmement naïf (et peut-être même malveillant dans certaines circonstances) de penser que la solidité d'un travail scientifique peut être remis en cause par une citation vers un article rétracté. Il est courant que les articles citent plus de 50 références, et une étude ne devient pas en "argile" parce qu'une de ces 50 références est rétractée.

    Déja, le contexte de la citation fait tout. Si c'est dans le style "on sait que le gène X affecte le diabète (Machin 2012, Truc 2015, Bidule 2020)", même si Bidule 2020 est rétracté, il reste les autres refs. Ça peut aussi être "Il est généralement considéré que le gène X n'affecte pas le diabète (Machin 2012, Truc 2015), même si le cotraire a déja été évoqué (Bidule 2020)", auquel cas ça renforce même l'argument; les auteurs ont juste bien travaillé et cité l'ensemble des travaux pertinents, même s'ils ont clairement des doutes sur le dernier.

    Ensuite, même si la citation était centrale pour l'argumentation scientifique (du style "On a découvert récemment que X affectait le diabète dans les populations Européennes (Bidule 2020), et on essaye de prouver si c'est le cas aussi dans les populations Asiatiques"), le retrait de Bidule 2020 ne remet pas en cause les résultats de l'étude. Ça changera le contexte scientifique, mais les données sont les données; et si les auteurs ont bien bossé les résultats ne devraient pas changer, seule l'interprétation de ces résultats change. Du coup, c'est évident que le papier n'aurait pas été écrit de la même manière, mais il ne semble pas y avoir de problème fondamental avec l'établissement de la connaissance scientifique.

    Le seul contexte qui me semble réellement problématique serait celui d'une méta-analyse, qui reprend les résultats de la littérature. Ceci dit, une méta-analyse bien faite agglomère des dizaines ou des centaines de résultats publiés, et il semble peu probable qu'une étude qui fait défaut puisse modifier substantiellement le résultat de l'analyse.

    Attention hein, je ne dis pas que la science actuelle est solide, je pense justement que dans plusieurs disciplines, elle est construite sur du sable. Mais je ne crois pas que ça puisse être dû à l'existence de publications non-fiables. Le principal facteur selon moi est la prime à l'originalité : pour être financée, une étude doit être originale, et son porteur doit être une personnalité scientifique qui sort du lot, ce qui enrichit le corpus scientifique en idées farfelues, enrichit les laboratoires en personnalités plus ou moins toxiques et/ou carriéristes, crée de la compétition dans des contextes où la coopération aurait été plus constructive, et encourage la prolifération de résultats non-fiables parce que non-répliqués. Même si une partie des résultats faux publiés peut provenir d'inconduite scientifique claire (ce qui est sanctionné par la rétractation d'un article quand c'est découvert), je pense que la plupart des résultats faux ne sont pas attribuables à la mauvaise foi : erreurs de bonne foi, mauvaise formation, mauvaises pratiques, pratiques conformes à l'état de l'art mais erronées (on ne peut pas le savoir), biais d'échantillonnage, échantillons trop petits (manque de financement ou problèmes logistiques ou administratifs), cadre théorique faux, erreurs de mesure, manque de temps, ou juste pas de chance.

    • [^] # Re: Très réducteur

      Posté par  (site web personnel) . Évalué à 5 (+3/-0).

      une étude ne devient pas en "argile" parce qu'une de ces 50 références est rétractée.

      Tu as tout dit à ce moment là.

      Je pense qu'il faut voir cet outil comme un moyen pour les auteurs de suivre ou corriger si besoin leurs productions. Chaque étude ayant ses propres limites comme tu l'expliques.

      • [^] # Re: Très réducteur

        Posté par  . Évalué à 5 (+2/-0).

        Merci je cherchai quoi répondre à arnaudus au delà du fait que je trouve son accroche excessive donc qui nuit au reste de son message, là j'ai mis le doigt sur ce qui me dérange le plus, c'est sûrement la parenthèse

        (et peut-être même malveillant dans certaines circonstances)

        En gros tu (arnaudus) suggère plus ou moins explicitement que cet outil te dérange parce que ça pourrait jeter le discrédit sur la recherche et être mésusé. Je suis pas d'accord avec cette crainte, et même je la trouve dangereuse : la recherche tire sa crédibilité de l'honnêteté scientifique, et de l'autosurveillance et auto-révision dans la mesure du possible. Et du coup aussi le plus possible de la transparence dans ce qui va et ce qui va pas. La dernière chose à faire dans un tel contexte c'est de cacher la poussière sous le tapis. Si jamais l'article en question se base fondamentalement sur une hypothèse soutenue par un article rétracté, il y a matière à examiner si ça remet en cause ses conclusions, que ça plaise ou non. Si c'est pas grave, il y a ptete manière à révision a posteriori ou a publication d'errata. Mais rejeter l'outil sous prétexte que ça pourrait servir à la polémique en soi c'est desservir la science. La polémique peut appeler à réponse, potentiellement, c'est pas forcément illégitime, de la part des scientifique, si ça a un intérêt social.

        C'est un peu comme dire "retraction watch" peut être utilisé pour décrédibiliser la science parce que ça pointe des brebis galeuses alors que les scientifiques sont majoritairement honnête, donc faudrait pas que ça existe.

        • [^] # Re: Très réducteur

          Posté par  . Évalué à 6 (+3/-0).

          la recherche tire sa crédibilité de l'honnêteté scientifique

          Oui

          et de l'autosurveillance et auto-révision dans la mesure du possible

          Non, en tout cas non dans le sens où la publication scientifique est incrémentale. La tendance à vouloir "revenir en arrière" n'est pas du tout nécessaire à la pratique scientifique, puisque c'est la nature même du processus scientifique d'être en perpétuelle évolution. La publication donne un point statique dans une série dynamique, et ce point statique n'a pas vocation à être modifié.

          il y a matière à examiner si ça remet en cause ses conclusions, que ça plaise ou non

          Tout à fait, de même qu'une nouvelle avancée théorique ou méthodologique, ou de la découverte d'un biais dans une méthode statistique. Mais jamais cela n'a justifié un "retour en arrière" dans la littérature. Normalement, les erratums sont destinés à corriger des erreurs lors du processus de publication (après que la mise en page ait été faite), typiquement, dans le numéro du journal qui suit la publication.

          La discussion scientifique, elle, est traditionnellement exercée par des séries de commentaires et de réponses. Malheureusement, cette tradition est passée de mode, et de moins en moins d'éditeurs acceptent de publier des commentaires. Mais ça n'est pas très grave, puisque la discussion se traduira par des séries de publications qui noteront les limites des précédentes.

          Mais rejeter l'outil sous prétexte que ça pourrait servir à la polémique en soi c'est desservir la science.

          Mon argument, c'est que l'outil se base sur des éléments qui sont indépendants de la qualité scientifique des articles, et qu'il suggère qu'il faudrait "faire quelque chose". Or, 1) citer un travail rétracté n'indique en rien la qualité d'un travail scientifique, pour toutes les raisons que j'ai citées, et 2) le meilleur service qu'on peut rendre à la communauté scientifique est de ne surtout jamais altérer le principe du processus de publication, en modifiant l'auto-archivage de l'état des connaissances.

          Pour prendre une analogie, corriger une publication existante, c'est comme modifier ton archive git parce qu'il y avait un bug. Tu corriges ton bug, tu peux commenter "Un bug avait été introduit dans le commit 1234abcd", mais le principe c'est de ne pas corriger ton archive.

          C'est un peu comme dire "retraction watch" peut être utilisé pour décrédibiliser la science parce que ça pointe des brebis galeuses

          Mais non justement, mon argument c'est le contraire. Ça pointe plutôt des travaux random qui ont le malheur de citer des travaux rétractés dans un contexte inconnu, alors qu'il n'y a probablement aucune corrélation entre la qualité d'un article et la citation d'un article rétracté. Et d'autre part, ça incite à "corriger" les archives pour ne plus apparaitre sur la liste, alors que corriger les archives est une procédure délétère pour la publication scientifique.

          Si tu veux faire quelque chose de constructif, ça serait de fournir un outil pour que les éditeurs vérifient qu'il n'y a pas de travaux rétractés dans les citations au moment de la publication. Là il y a un moyen d'améliorer la qualité des travaux scientifiques avant la publication. Mais après, c'est trop tard, et essayer de bricoler des solutions à la gomme (erratum, dépublication, etc), c'est se tromper de cible tout en faisant perdre beaucoup de temps à beaucoup de monde.

          • [^] # Re: Très réducteur

            Posté par  . Évalué à 4 (+1/-0).

            Je m'autocorrige quand même : mon raisonnement ne concerne évidemment pas les premiers articles de la liste, pour lesquelles il y a des dizaines de références rétractées, dont la plupart sont des auto-citations. C'est évident que ce qui pose le discrédit ici, ça n'est pas qu'il y a des références rétractées, c'est que les auteurs sont aussi auteurs des papiers rétractés.

            Par contre, je confirme quand même que l'intention du site est assez malveillante; le titre du site est assez explicite, et il dit "These papers may be unreliable". Même avec le conditionnel, je ne suis pas d'accord : il y a une volonté de discrédit basé sur un proxy très douteux.

            Par exemple, je ne vois pas pourquoi l'article intitulé "Retracted publications and their citation in dental literature: A systematic review" serait problématique. De tels "faux positifs" montre bien à quel point l'approche n'est pas fiable.

          • [^] # Re: Très réducteur

            Posté par  . Évalué à 4 (+1/-0).

            le meilleur service qu'on peut rendre à la communauté scientifique est de ne surtout jamais altérer le principe du processus de publication, en modifiant l'auto-archivage de l'état des connaissances.

            C'est faible comme argument, on peut maintenir un historique de révisions des articles en 2024 faut pas déconner, arxiv par exemple est une plateforme qui permet de le faire : https://info.arxiv.org/help/replace.html je comprends pas vraiment pourquoi tu opposes les deux modes dans l'absolu.

            Par ailleurs tu supposes aussi un peu que tous les chercheurs sont tous au courant des derniers développements et complètement à jour de la littérature, ça m'a l'air un peu irréaliste, surtout dés que tu traverses un peu les silos disciplinaires.

            • [^] # Re: Très réducteur

              Posté par  . Évalué à 4 (+1/-0).

              C'est faible comme argument, on peut maintenir un historique de révisions des articles en 2024

              Ça n'est pas un problème technique, c'est un problème déontologique. Quand tu cites un article, tu ne cites pas un concept d'article, dont le contenu est potentiellement mouvant et qui pourrait ne plus contenir ce que tu mentionnes. Il y a une forme de tolérance dans les premiers mois à cause de la mise en ligne progressive de versions successives de l'articles (preprint - accepted manuscript - uncorrected proof - article définitif), mais à partir de ce moment là, un DOI = la version finale de l'article.

              Par ailleurs tu supposes aussi un peu que tous les chercheurs sont tous au courant des derniers développements

              Je ne comprends pas où tu veux en venir; au fil du temps les articles deviennent obsolètes; certaines études ne peuvent pas être répliquées, d'autres proposent des interprétations fausses, d'autres se sont intéressées à des problèmes qui ne peuvent pas être résolus… L'archive scientifique n'est pas "juste", elle est par essence fausse, et de plus en plus fausse. Personne n'est en charge de corriger l'archive, puisque le travail des scientifiques est de veiller à ce que les nouvelles publications soient moins fausses.

              Donc je suppose en effet que tous les chercheurs sont au courant que les publications contiennent des erreurs, et ils sont au courant que leur travail consiste à vérifier les choses et de ne pas faire confiance aveuglément au premier machin qu'ils trouvent. Jamais personne ne publiera un erratum sur un papier de 1990 pour dire "Au fait, ces résultats n'ont pas pu être reproduits, ils sont probablement faux". Ça n'est pas comme ça que le processus scientifique s'archive. Ce qu'il se passe, c'est que quelqu'un publiera en 2024 "Contrairement à ce qu'on pensait en 1990 (ref), bla bla bla". Si tu ne lis que l'article de 1990, tu ne le sauras pas, et tu vas faire comme tout le monde, tu vas raconter ça en conférence, quelqu'un te dira après ton topo que tu devrais lire un article récent sur le sujet, tu vas le lire, tu vas bien avoir la honte un petit coup, et tu feras ensuite ta biblio correctement.

              Après, toutes les discussions sont possibles : peut-être serait-il mieux d'avoir une littérature plus évolutive, peut-être les journaux devraient accepter les révisions continues, peut-être devrait-on moins publier et plus corriger l'existant, peut-être bla bla bli ou bla bla bla, mais non, ça n'est pas comme ça que ça fonctionne, tout le monde le sait, et tout le monde le prend en compte. Les études sont publiées chronologiquement, elles ne sont jamais retouchées après publication, et leurs éventuelles erreurs sont corrigées dans les publications ultérieures. La seule exception est le retrait d'une publication, mais en général c'est uniquement pour des raisons de fraude scientifique ou de droits d'auteur (ou parce que les auteurs ont découvert une énorme erreur, mais c'est beaucoup plus rare à ma connaissance).

              De toutes manières, vu qu'il est devenu impossible de gérer le flux de nouvelles publications, comment pourrait-on imaginer devoir gérer le flux + le stock sur les 200 dernières années?

              • [^] # Re: Très réducteur

                Posté par  . Évalué à 2 (+0/-1).

                On rétracte pas les publis d'il y a 200 ans, ça n'a aucun sens, du coup bah je comprend pas vraiment l'argument.

                • [^] # Re: Très réducteur

                  Posté par  . Évalué à 5 (+2/-0).

                  Bah moi non plus alors, puisque la rétractation ou la publication d'erratums ne se justifie pas plus pour un article publié il y a 2 ans que pour un article de 200 ans.

                  En gros, on rétracte s'il y a fraude, pas si l'article est faux ou s'est basé sur un contexte scientifique erroné. Du coup, publier ces listes de "colosses aux pieds d'argile" n'a aucune sens, puisque ces articles sont publiés, et qu'on ne corrige pas les articles après publication. Ça revient à mettre en avant de manière irréversible des listes d'articles que l'auteur de la page suppose "potentiellement faux", sans qu'il ne soit possible de faire quoi que ce soit, et sans même de vérification manuelle des conséquences possibles de ces citations. Alors qu'il y a de nombreuses autres raisons pour qu'un article publié soit faux, et qu'au-delà d'un certain temps tous les articles sont faux pour une raison ou pour une autre, avec des erreurs qui sont bien plus graves que de citer un article rétracté.

                  En fait, mon argument est simple : tous les articles contiennent des erreurs, plus un article est vieux et plus il contient d'erreurs scientifiques. La citation d'un article rétracté est une erreur bénine, qui la plupart du temps est probablement sans conséquence sur la qualité scientifique de l'étude. Donc : ces listes n'ont pas vocation à aider qui que ce soit, elles servent à justifier une tentative de "nettoyer" la littérature scientifique avec un proxy indirect. Attention hein, j'ai regardé les premières pages de la liste et je suis convaincu en effet que la plupart de ces papiers sont moisis; beaucoup sont d'ailleurs rétractés et d'autres font visiblement partie de "cercles" de papiers moisis qui se citent les uns les autres. Mais le critère utilisé (la citation d'articles rétractés) n'est ni nécessaire ni suffisante pour juger de la qualité d'un article, et l'objectif avancé (la correction de la littérature scientifique) n'est ni réaliste ni même souhaitable (parce que la littérature se corrige par de nouvelles publications et pas par des addendums aux anciennes). Donc je reste sur le principe que ça n'est pas un outil utile, sauf peut-être aux éditeurs qui souhaitent trouver des raisons objectives pour rétracter des articles qu'ils savent pourris pour des raisons moins "chiffrables", mais j'en doute.

Envoyer un commentaire

Suivre le flux des commentaires

Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.