Actuellement quand le(s) bot(s) de LinuxFR viennent faire leurs petites affaires, ils utilisent un User-Agent par défaut ("Go 1.1 package http"). Cet User-Agent non content de faire passer le bot pour un vilain, a aussi tendance à s'incruster dans les logs des trackers.
Il serait intéressant, pour les admins systèmes qui vont recevoir les requêtes de LinuxFR, de pouvoir bénéficier d'un User-Agent indiquant l'origine du Bot et permettant de l'exclure des statistiques de nos trackers.
Voici un exemple de ligne de log actuelle lorsque le bot passe :
88.xx.xx.176 - - [28/Jun/2018:13:59:15 +0200] "GET /forum4/download/file.php?id=187 HTTP/1.1" 403 6147 "-" "Go 1.1 package http"
Hors se serait pas mal d'avoir un truc du style :
88.xx.xx.176 - - [28/Jun/2018:13:59:15 +0200] "GET /forum4/download/file.php?id=187 HTTP/1.1" 403 6147 "-" "LinuxFR statics ressources checker with free love (https://linuxfr.org)"
# bots ?
Posté par ComputingFroggy (site web personnel) . Évalué à 1 (+0/-0).
Je n'étais pas au courant que LinuxFR possédait des bots ! ? !
Que font-ils ? Qu'explorent-ils ? Pour autant que je sache LinuxFR n'est pas un moteur de recherche !
Je suis très perplexe : j'aimerais en savoir plus.
[^] # Re: bots ?
Posté par Benoît Sibaud (site web personnel) . Évalué à 5 (+0/-0). Dernière modification le 29 juin 2018 à 19:15.
Le service img récupère les images sur des sites distants en HTTP(S).
Le service share partage sur les réseaux sociaux via HTTP(S) (mais ça ne doit pas être le sujet de cette entrée).
Les services epub, board et svgtex ne doivent pas être concernés.
[^] # Re: bots ?
Posté par voxdemonix . Évalué à 3 (+0/-0). Dernière modification le 30 juin 2018 à 03:33.
Ils parcourent l'univers depuis des millénaires,
à la recherche d'une seule et unique chose, …
la réponse à LA Grande Question du Comment du Pourquoi et du Tout !
||
|| ======> []
# Fait
Posté par Bruno Michel (site web personnel) . Évalué à 4 (+0/-0).
Le daemon img a maintenant un User-Agent configurable. La valeur par défaut est
img_LinuxFr.org/1.0.Cf https://github.com/linuxfrorg/img-LinuxFr.org/commit/4f96d1f2da52cbd3d42000386bf9b2b9f2979259
[^] # Re: Fait
Posté par voxdemonix . Évalué à 2 (+0/-0). Dernière modification le 02 juillet 2018 à 20:34.
Thanks.
Pour faire propre on peut éventuellement créer une page wiki (ou autre) et indiquer dans l'User-agent l'adresse vers cette page. Ainsi les webmasters n'ont qu'a copier coller l'adresse dans leur navigateur (comme pour les autres bots) :)
Qu'en pensez-vous?
(j'aurai du temps de dispo dans la semaine pour participer a la rédaction de l'éventuelle page si besoin)
Envoyer un commentaire
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.