Exemple de spam :
Par : swingers ads
Site Web : http://sexy.ads6x.com
Adult personal ads from swingers and swappers, couples, singles, bi,
http://sexy.ads6x.com >swingers ads and wives amateur couples Swingers ClubEt la sortie du programme antispam :
./antispam.py --verbose -c haypocalc.conf sexy
Match word (+2.0): sexy
Match word (+1.0): adult
Match word (+2.0): sexy
Match word (+1.0): amateur
Match URL (+1.5): http://sexy.ads6x.com
Match URL (+1.5): http://sexy.ads6x.com
Match email domain (+1.0): @gmail.com
sexy score: +7.00 ***SPAM***L'antispam est écrit en Python et distribué sous licence GPL :
http://haypo.hachoir.org/trac/wiki/antispam
L'algorithme est expliqué sur la page web du projet en anglais. J'ai écrit un article en français qui présente l'algorithme, ses qualités et défauts :
http://www.haypocalc.com/blog/index.php/2008/03/10/137-un-no(...)
Pour l'intégration à Dotclear, punbb, etc. : c'est faisable, mais ces logiciels sont difficiles à patcher. Je ne distribue donc pas de patch automatique. Je peux tenter d'expliquer comment l'intégrer pour les gens intéressés. Pour les autres, regardez le dossier plugin. Niveau dépendance, il faut pouvoir exécuter Python 2.4.
# journal.txt score: +29.00 ***SPAM***
Posté par Infernal Quack (site web personnel) . Évalué à 8.
L'association LinuxFr ne saurait être tenue responsable des propos légalement repréhensibles ou faisant allusion à l'évêque de Rome, au chef de l'Église catholique romaine ou au chef temporel de l'État du Vatican et se trouvant dans ce commentaire
[^] # Re: journal.txt score: +29.00 ***SPAM***
Posté par feth . Évalué à 3.
En effet, Victor, comment réagit ton outil face à des commentaires qui parlent de spam ?
Dans le domaine du mail, il est fréquent, bien que ça soit une mauvaise pratique, que des membres d'une mailing list commentent un spam en le citant intégralement, ou en en citant les meilleurs passages. Ce sont des mails très dangereux pour l'apprentissage des antispam bayesiens. Du coup je préfère faire intégralement confiance à l'antispam de la liste et ne filtre pas les messages, ni ne les donne à manger à bogofilter.
Je pense que des filtrages en amont me permettront d'être plus sélectif : de plus en plus de gens signent leurs messages (gpg), et il est très facile de vérifier les signatures (qui sont téléchargeables) pour garantir à peu près qu'un mail est ham.
[^] # Re: journal.txt score: +29.00 ***SPAM***
Posté par moudj . Évalué à 1.
En fait, il vient juste de nous dire qu'il a bloqué les commentaires sur son blog ;-)
[^] # Re: journal.txt score: +29.00 ***SPAM***
Posté par Victor STINNER (site web personnel) . Évalué à 6.
Si le spam est détecté comme spam, un message qui le cite risque d'obtenir la même note. Mais ce n'est pas sûr, car l'email de l'expéditeur sera différent, la longueur du message aussi, et si l'antispam possède des listes blanches, le score pourra aussi changer.
Je ne m'étais jamais posé la question, car je n'ai jamais vu de gens citer un spam... surtout que si le spam est bloqué avant d'arriver dans le blog / la liste de diffusion, on ne peut pas le citer ;-)
[^] # Re: journal.txt score: +29.00 ***SPAM***
Posté par Victor STINNER (site web personnel) . Évalué à 3.
Match URL (+1.5): http://haypo.hachoir.org/trac/wiki/antispamMatch URL (+1.5): http://www.haypocalc.com/blog/index.php/2008/03/10/137-un-no
journal score: -0.50
La configuration est :
[analyzer]default_score=-3.5
format=dotclear
[^] # Re: journal.txt score: +29.00 ***SPAM***
Posté par Infernal Quack (site web personnel) . Évalué à 3.
L'association LinuxFr ne saurait être tenue responsable des propos légalement repréhensibles ou faisant allusion à l'évêque de Rome, au chef de l'Église catholique romaine ou au chef temporel de l'État du Vatican et se trouvant dans ce commentaire
[^] # Re: journal.txt score: +29.00 ***SPAM***
Posté par Victor STINNER (site web personnel) . Évalué à 2.
# A propos de lutte anti-spam
Posté par MiniMoi . Évalué à 6.
Qu'en pensez-vous ?
Il me semblait aussi que les reseaux bayesiens ne sont plus l'approche la plus efficace, et qu'il faut de plus en plus se tourner vers des methodes de machine learning avancee, comme les SVM ou les kernel method (dans ce cas il faut un gros ensemble d'entrainement, c'est surement pour cela que GMail contient un bouton pour reporter le spam ou les faux positifs http://www.youtube.com/watch?v=8FVme_xIRYk )
[^] # Re: A propos de lutte anti-spam
Posté par modr123 . Évalué à 2.
accepter les elails et mettre un motif dans le titre du mail
je pense a mailfilter qui est pas mal en plus il ne telecharge que les entetes
[^] # Re: A propos de lutte anti-spam
Posté par seginus . Évalué à 5.
[^] # Re: A propos de lutte anti-spam
Posté par nyquist . Évalué à 3.
J'ai déjà pu le voir employer avec succès sur des serveurs a fort traffic et le nombre de mails (et donc la charge du serveur*) traités ont très fortement diminué. C'est autant de mail en moins à passer à l'antivirus et à spamassassin.
Ce n'est pas l'arme ultime mais combiné avec une whitelist, une blacklist et spamassassin (ou un autre) ça devient assez efficace.
* : Biensur la charge de travail des serveurs smtp eux ont augmenté...
[^] # Re: A propos de lutte anti-spam
Posté par ahuillet (site web personnel) . Évalué à 2.
Tiens donc, je suis exactement de l'avis contraire... spamassassin avec le filtrage bayesien est certes très lent, mais détecte pratiquement tout mon spam sans faux positifs. Je ne sais pas évaluer le taux de faux négatifs mais il est très bas.
[^] # Re: A propos de lutte anti-spam
Posté par Jean-Philippe Garcia Ballester (site web personnel) . Évalué à 1.
[^] # Re: A propos de lutte anti-spam
Posté par Victor STINNER (site web personnel) . Évalué à 2.
Je suis donc passé à SpamAssassin. Après 2 semaines d'apprentissage, je reçois 20 spams (détectés comme spam) par jour, et 2 ou 3 spams non détectés comme spam par semaine (il y en a de moins en moins). Au moins là je contrôle le filtrage (clic sur le bouton Pourriel dans Kmail : envoi du message au script d'apprentissage SpamAssassin).
[^] # Re: A propos de lutte anti-spam
Posté par Joris Dedieu (site web personnel) . Évalué à 2.
Ou simplifié les filtres a cause d'un volume a traiter de plus en plus important.
[^] # Re: A propos de lutte anti-spam
Posté par Anonyme . Évalué à 1.
Il me disait qu'il est a present impossible ou presque de lutter efficacement contre le spam […] Qu'en pensez-vous ?Je ne suis pas d'accord. J'ai mon propre serveur mail, avec le mail d'un domaine et des adresses externes regroupées sur un même compte. Je compte sur les doigts d'une main les faux négatifs, et je n'ai jamais eu de faux positifs, juste quels mails légitimes qui atterissent de temps en temps dans le dossier « Suspects ».
La procédure que j'ai suivi : http://www.aurelp.fr.eu.org/blog/index.php?2006/10/22/28-mai(...)
# Et spamassassin ?
Posté par ahuillet (site web personnel) . Évalué à 2.
je trouve ça assez incorrect quand quelqu'un présente son soft de rappliquer dans la minute lui expliquer qu'il sert à rien... sauf que je me demande très sincèrement, ton machin a l'air de faire exactement la même chose que spamassassin, alors pourquoi l'avoir écrit toi même ?
La vitesse je suppose ?
[^] # Re: Et spamassassin ?
Posté par rewind (Mastodon) . Évalué à 6.
[^] # Re: Et spamassassin ?
Posté par Larry Cow . Évalué à 7.
[^] # Re: Et spamassassin ?
Posté par Victor STINNER (site web personnel) . Évalué à 4.
# trier par pays ?
Posté par palm123 (site web personnel) . Évalué à 2.
Geoiplookup qui est gratuit fonctionne avec une base à jour en 2002...
http://www.maxmind.com/app/products
Pour avoir un tri par pays c'est 50 $ la licence et 12 $ par mois.
Ca peut se justifier pour une entreprise qui va en plus vouloir savoir d'où viennent ses visiteurs.
Je suppose qu'il n'y a pas de base à jour libre.
ウィズコロナ
[^] # Re: trier par pays ?
Posté par Larry Cow . Évalué à 4.
Jusqu'à ce qu'il ne le soit plus... le souci avec la lutte antispam, c'est que rien n'est définitif, et que toute solution qui se vendrait comme telle est une arnaque potentielle.
Le seul truc qui pourrait éventuellement durer, c'est de restreindre le réseau (par exemple, aux gens que tu connais). Mais dès que tu permet une ouverture (aux gens qui connaissent des gens que tu connais, par exemple) tu t'exposes à nouveau au spam.
[^] # Re: trier par pays ?
Posté par feth . Évalué à 8.
On peut même imaginer un réseau de confiance spécialisé dans le spam qui serait initialisé avec des valeurs arbitraires (se souvenir que la confiance que j'accorde à un nœud de distance n est en gros égale à la confiance que lui accorde le nœud de distance (n-1) multipliée par la confiance que j'accorde moi-même à ce nœud :
·m'a envoyé 1 hoax : -1%
·a continué à m'envoyer des hoax malgré explications : -20%
·utilise outlook : -20%
·développe des logiciels en Python : +20%
...
Du coup, pour les valeurs de confiance faibles on peut laisser les outils traditionnels de filtrage être plus cruels (spam_threshold--).
[^] # Re: trier par pays ?
Posté par Gniarf . Évalué à 3.
la base dite GeoLite Country est à coté : http://www.maxmind.com/app/geolitecountry et suffit largement pour dégager, enfin scorer très négativement pas mal de coins du monde (europe de l'est, chine, brésil...) actuellement très pollueurs.
sinon tu peux utiliser une paire de ressources qui ont la même finalité. une finesse est de séparer les clients de FAI (disons FT ou Free ici, des utilisateurs légitimes comme des gens vérolés - et pour certains pays tu peux te dire 99 % de gens vérolés) des utilisateurs d'entreprises (les gens qui surfent au bureau, en général légitimes) et enfin des ip de datacenters (une véritable plaie : ce sont à 99% des serveurs vérolés, ou pire encore)
[^] # Re: trier par pays ?
Posté par plagiats . Évalué à 2.
[^] # Re: trier par pays ?
Posté par Victor STINNER (site web personnel) . Évalué à 3.
[^] # Re: trier par pays ?
Posté par Gniarf . Évalué à 1.
à la fin de la journée - ou du mois - c'est juste une histoire de statistiques, le taux d'utilisateurs légitimes que je perds est inférieur (nul, en fait :) au taux d'erreur que je me permets.
je conçois que pour d'autres usages que le mien ou pour d'autres personnes ça ne soit pas une méthode envisageable, mais ce n'est pas mon cas.
[^] # Re: trier par pays ?
Posté par plagiats . Évalué à 3.
[^] # Re: trier par pays ?
Posté par Gniarf . Évalué à 3.
donc ton analogie trollesque ne sert à rien et est en fait d'une naïvité affligeante, comme ton commentaire encore au dessus (indique-moi d'ailleurs où tu habites et où tu caches les clés quand tu es en déplacement, merci, et laisse une petite réserve de pognon pour mes besoins personnels au passage)
si (par exemple) je gère un jeu ou un forum en français pour des français et assimilés, je ne vois aucune raison légitime de laisser passer des ips de pays absolument pas francophones : un peu d'expérience permet de juger très vite à la tête du client, et c'est absolument du délit de sale gueule. car ensuite si d'aventures j'apprends qu'un membre de ce forum part y faire un séjour ou un stage ou me demande d'inscrire un copain qui y est déjà, là je rajoute une exception à la main (car oui il est possible de laisser à coté un moyen de recours, comme un formulaire de contact, les inscrits et les non-inscrits peuvent encore communiquer par d'autres moyens, etc etc...)
en gros l'administration de mon serveur revient à faire la police et à virer les géneurs : "world wide web" ne veut pas dire "viendez tous chier dans mon jardin !". on a vu ce que ca a donné pour l'email et le spam. libre à toi de laisser la porte ouverte à la botaille de toute la galaxie, moi je préfère m'en passer.
[^] # J'habite au 1, rue de la banquise 75001 paris
Posté par plagiats . Évalué à 2.
[^] # Re: J'habite au 1, rue de la banquise 75001 paris
Posté par Gniarf . Évalué à 2.
vu le nombre de machines vérolées chez Wanadoo et dans une mesure à peine moindre chez les autres FAI français, on n'est pas à l'abri d'une utilisation massive un peu finaude qui contournerait ce type de filtrage.
pour l'instant ça passe. plus tard, il faudra sûrement trouver autre chose.
[^] # Re: J'habite au 1, rue de la banquise 75001 paris
Posté par chimrod (site web personnel) . Évalué à 2.
Désolé je ne retrouve pas le lien, mais il avait redirigé les ip en local, sur un serveur maintenu par bind.
L'avantage est que cela annonce aux personnes pourquoi elles sont bloquées, et laisse la possibilité d'un contact si besoin est.
[^] # Re: trier par pays ?
Posté par Victor STINNER (site web personnel) . Évalué à 3.
[^] # Re: trier par pays ?
Posté par GG (site web personnel) . Évalué à 2.
J'ai des clients chinois, et, si j'héberge mon site chez un hébergeur français, il n'est pas visible depuis la Chine continentale.
Pour les e-mails, c'est le même genre de galère, parfois je reçois les messages, et rarement mon correspond m'indique sur MSN (ben oui, c'est long de leur apprendre ce qu'est Jabber) que je n'ai pas répondu à son dernier e-mail.
Le filtrage par géolocalisation, s'il est mis en place, doit être configurable utilisateurs par utilisateurs.
Enfin, la plaie, c'est les postes sous Windows, ceux qui ouent un serveur dédié sans savoir le configurer (ou pire, sous Win), et enfin, les sites hackés.
Je trouve que jabber, pour s'envoyer des messages est très bien, reste plus qu'une solution agréable de rangements des messages dans l'historique, par exemple : pouvoir lister les sujets, et, mieux, avoir la possibilité de passer des pièces jointes en différé.
A bientôt
G
Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html
# sexy amateur
Posté par B16F4RV4RD1N . Évalué à 8.
En plus si c'est assez léger, pas besoin d'un proc bi core pour le faire fonctionner.
=========
Bon, j'espère que l'on pourra poster quand même un tel commentaire sur ton blog...
Only wimps use tape backup: real men just upload their important stuff on megaupload, and let the rest of the world ~~mirror~~ link to it
[^] # Re: sexy amateur
Posté par Victor STINNER (site web personnel) . Évalué à 1.
Bof, ce message n'a pas trop d'intérêt. À priori, c'est surtout un test pour montrer l'inefficacité du filtrage par mot clé. D'ailleurs, ça m'arrive de supprimer des commentaires (surtout les publicités cachées pour un site perso), je reste maître de mon blog :-p J'ai reçu quelques commentaires avec comme url arrangeur.fr : c'est du cybersquatting de nom de domaine :-(
J'ai remarqué que les gens motivés pour laisser un commentaire me contactent par email plutôt que d'abandonner leur message. J'aime bien recevoir des emails, alors ça ne me dérange pas ;-)
# Autre solution
Posté par lom (site web personnel) . Évalué à 6.
Il suffit de demander une adresse mail, eventuellement facultative. Au lieu d'avoir un seul champ pour remplir cette adresse, en mettre 2, separes par '@'. Un truc du genre:
Address mail <input name='mail1' type='text'/>@<input type='text' name='mail2'/>
Un commentaire rempli par un bot contiendra 2 adresses mail completes dans mail1 et mail2: chaque partie contiendra le caractere '@' ce qui ne sera pas le cas si le champ a ete rempli par un humain.
Dans mon cas, ce simple test me permet de filter entre 50% et 75% des spams.
En rajoutant a ca le coup du champ invisible cache par css (mais vu dans le source par un bot, et donc rempli dans ce cas), je n'ai presque plus rien.
[^] # Re: Autre solution
Posté par Victor STINNER (site web personnel) . Évalué à 3.
http://www.haypocalc.com/blog/index.php/2008/03/09/135-spam-(...)
La technique du champ HTML caché par CSS... je n'aime pas trop. J'ai lu qu'un utilisateur peut se retrouver dedans en tapant TAB.... mais qu'on peut aussi feinter par Javascript. Au final, on obtient un hack CSS+Javascript, je n'aime pas trop, d'autant que les deux sont optionnels. Mais c'est sûre que ça doit éliminer une grosse partie du spam, un peu comme le greylisting.
Je pense que le filtrage du contenu est la méthode la plus générique et qui fonctionne sur le long terme. Plus un site un populaire, plus les spameurs veulent le polluer (c'est terrible hein?). Ils vont donc demander à un développeur de contrer les nouvelles protections, et voilà.
J'ai donc décidé de conserver le formulaire original et de ne pas filtrer l'enveloppe... Tiens, c'est faux, je donne +1 point pour les emails @hotmail.com, @gmail.com , @yahoo.com et @mail.com :-) Oui enfin, je filtre ce qu'envoie l'internaute ou le robot, et pas des champs cachés.
# Antispam et Webmail
Posté par Jehan (site web personnel, Mastodon) . Évalué à 2.
chez moi, j'utilise l'antispam de Thunderbird (utilisant spamassin non?) qui fonctionne vraiment bien.
Néanmoins il m'arrive de partir en vacances (et oui!) ou autre, et dans ce cas, évidemment je ne charge plus mes emails en local, mais les lit depuis divers ordis publics. Or je reçois environ 150 emails par jours, dont une bonne centaine sont des spams. Vous pouvez donc imaginer à quel point cela est douloureux et hasardeux de lire mes emails (surtout que, ne voulant pas passer 3 plombes sur l'ordi en vacs, j'en trouve un une fois tous les 4/5 jours et que je survole juste les titres pour choisir les emails pertinents, donc parfois j'en loupe).
Je viens ainsi de partir 2 semaines en vacances et ai reçu dans ce laps de temps 2000 messages environ. Imaginez donc tout cela dans un webmail, sur un ordi et une connex pourri, avec des pages de 100 emails par page, le tout au même niveau. C'est peu utilisable.
Pour ces cas là, le webmail que j'utilise est très basique: sqwebmail. Je me disais qu'il était peut-être temps de m'installer quelque chose de bien. La fonctionnalité majeure est un super intégré des spams, probablement avec spamassassin (ou tout autre système si ça marche bien). Au niveau du webmail, si ça peut être comme gmail et thunderbird, ce serait cool, à savoir que les spams sont directement envoyés dans un répertoire spam (pas juste taggués), et que je peux les fournir à manger à l'antispam en cas de faux (positifs ou négatifs pour corriger les erreurs dans un sens ou l'autre).
Existe-il quelque chose de bon comme ça; et si oui, avez-vous une référence; sinon que proposez-vous? Connaissez vous d'autres systèmes se rapprochant ou tout aussi pratiques?
Merci.
Film d'animation libre en CC by-sa/Art Libre, fait avec GIMP et autre logiciels libres: ZeMarmot [ http://film.zemarmot.net ]
[^] # Re: Antispam et Webmail
Posté par Jean-Philippe Garcia Ballester (site web personnel) . Évalué à 1.
[^] # Re: Antispam et Webmail
Posté par Victor STINNER (site web personnel) . Évalué à 2.
Sinon, il existe des services de courriel gratuit qui filtrent bien le spam (Gmail?), accessible en HTTP, POP3 et IMAP (IMAPS?).
[^] # Re: Antispam et Webmail
Posté par Jehan (site web personnel, Mastodon) . Évalué à 2.
peut-être est-ce parce que je ne connais pas si bien la technologie email, mais je ne comprends pas l'intérêt d'avoir un serveur imap qui va chercher les emails en pop3. Imap et Pop3 ne sont-ils pas 2 protocoles de réception des emails au même niveau (à la différence qu'imap laisse les emails sur le serveur et s'occupe de mettre au même état le serveur et la copie client, plus la sécurisation des transactions et sûrement plein d'autres trucs que je connais pas)?
Dans ce cas, ton serveur email ne peut-il directement être en IMAP (et même pop3 à la fois d'ailleurs)? Donc une couche au lieu de 2.
Sinon pour la "tuerie" de spam avant d'arriver dans ta boîte, d'un côté, c'est sûr que c'est plus confortable, en plus ça fait gagner du temps et de la bande passante (pour nos amis les ours). D'un autre côté, ce qui me gêne est de ne pas pouvoir vérifier les spams (bon avec la quantité que je reçois, j'avoue vérifier assez rarement et en survolant vraiment très vite les titres. Néanmoins il m'est arrivé une fois ou 2 de corriger des erreurs...). S'ils restent côté webmail uniquement, je pense que je ne les regarderai jamais.
En plus ce sera particulièrement important de vérifier les spams dans les premières semaines pour l'apprentissage du filtre.
Film d'animation libre en CC by-sa/Art Libre, fait avec GIMP et autre logiciels libres: ZeMarmot [ http://film.zemarmot.net ]
[^] # Re: Antispam et Webmail
Posté par Victor STINNER (site web personnel) . Évalué à 2.
En fait, j'ai dit une bétise, les spams ne sont pas supprimés. Ils sont tagués et Maildrop s'occupe de les classer dans un dossier SPAM. Je les supprime manuellement.
[^] # Re: Antispam et Webmail
Posté par feth . Évalué à 3.
~/.mailfilter
BASEFOLDER="~/Maildir"
SPAMFOLDER="$BASEFOLDER/.detected-spam"
xfilter 'bogofilter -p -l -u -e -v'
if (/X-Bogosity: Spam/:hD)
{
exception {
to "$SPAMFOLDER"
}
}
if ( hasaddr(adresse@d'une-mailing-list) )
{
to "$BASEFOLDER/.dossier de cette ML"
}
if ( /From:.*ma@cherie/:h )
{
to "$BASEFOLDER/.cherie"
}
[...]
to $BASEFOLDER
Toutes les 5 minutes, les mails placés par mes soins dans les dossiers 'ham' et 'spam' sont analysés par bogofilter. Je ne mets plus que les faux positifs (rarement positifs à plus de 50% pour des mails commerciaux en anglais) et les faux négatifs (un peu plus fréquents, faudrait commencer à considérer que 'viaaaagraaaa' et 'viaaaaaaaaaaaaagraaaaaaaaaaaaaaaaaaaa' sont un seul et même mot).
feth@serveur:~$ crontab -l
# m h dom mon dow command
5 * * * * cd /home/feth/Maildir/.spam/cur/ ; for i in $(ls); do bogofilter -s < $i > /dev/null ; rm -f $i; done
5 * * * * cd /home/feth/Maildir/.ham/cur/ ; for i in $(ls); do bogofilter -n < $i > /dev/null; mv $i /home/feth/Maildir/.ham-done/cur ; done
[^] # Re: Antispam et Webmail
Posté par GG (site web personnel) . Évalué à 3.
Je ne sais pas sur quel type d'hébergement tu es, mais chez moi ça marche très bien, et, je peux utiliser une connexion sécurisée.
J'ai un 90plan.
A bientôt
G
Pourquoi bloquer la publicité et les traqueurs : https://greboca.com/Pourquoi-bloquer-la-publicite-et-les-traqueurs.html
[^] # Re: Antispam et Webmail
Posté par Anonyme . Évalué à 1.
# aurtho grafe
Posté par pasBill pasGates . Évalué à 6.
Typiquement :
A dult plutot que adult
amatteur plutot que amateur
etc...
A noter qu'il y a des algos (ceux utilises par les dicos d'ailleurs) permettant de trouver la "distance" entre les mots, une possibilite serait de regarder l'ensemble des mots avec une distance < X et evaluer si ces mots sont interdits.
# yeah !
Posté par Mouns (site web personnel) . Évalué à 2.
outre le PR, la position, ca va être le TrustRank qui va monter pour ce site.
Si le domaine n'est pas déjà pris, il va l'être dans les prochaines minutes ca c'est certain :D
[^] # Re: yeah !
Posté par Aldoo . Évalué à 3.
Bon et le whois dit que le domaine est réservé depuis mars 2007. C'est malin ça de faire un journal avec un exemple réel !
Suivre le flux des commentaires
Note : les commentaires appartiennent à celles et ceux qui les ont postés. Nous n’en sommes pas responsables.