Cher journal,
Je voudrais te présenter le logiciel que je développe en ce moment, à savoir fuse_kafka.
Il s'agit d'un agent de logging: il a pour but de permettre la centralisation de logs hétérogènes.
Il se fonde sur FUSE pour récupérer les écritures dans des fichiers dans des répertoires surveillés
et envoyer ces dernières dans la file de message kafka, dans un format fondé sur celui du système de gestion de log logstash.
Voici une session terminal ( (…)
Hello,
J'ai beaucoup de lignes avec ce genre de cochonneries dans ma log Nginx :
113.248.xxx.xxx www.pentakonix.fr - [31/Oct/2014:13:50:16 +0100] "H~*\xE3PA\xF7\xC8\xFA\x12\xAE\xEE\xDFS\xC1\xBE\xDCX`\xBA\xF2\xC5\xC2\xE0\x9D\x19\x9C\xFA\xB7\xE8\x88\xC7\xF2\x19\x83ijh\xCEd?" 400 166 "-" "-" - 0.589
59.174.xxx.xxx www.pentakonix.fr - [31/Oct/2014:13:50:20 +0100] "84n\x16\x92ty\x89\xA4d\xCE\xAB2\x98av\xE9\x98{\x09\x98\xAESct\xB3\xFA;\xE1]\xB4\x031\x9A=\xF7Xvq;\xE5f\x1Dq\x13\xCC\xB3\xE4]\xB8\x9B0,7\xE7\x906\xAD\x07z\xE1\xDC\xBF'z\xCE\x8C\x16\x1Es\xA0\x1B\x103\xF3\xC1\x8A5F\xC9SD\xE2L\xA8\x0C\xFF\xD8`\x0C\xC1[ad\xCAZ\xB2V\xEE\xCFH\x8Ei\xD7\xC1\xDB\x98\xCA\x10]\x93b \xF5.G\x01\xAC\x9E\xDF\xB7`;\x98C\x84\xF1t\xD9`D\xA1\xED,x.\x87\x8Fx\x96k\x0Bx\x8A\x7F\xA5P\xFFQn\xDE\x87\xCD\x98\x9E\x8F\x1C\x10\x04uo\xC6\x16\xDB\xF1\x8D" 400 166 "-" "-" - 0.456
Je ne suis pas dupe j'imagine qu'il s'agit de scan http ou de tentatives d'exploit.
J'aimerais pouvoir trapper ce genre de "choses" en analysant la log et coller un gros blacklist dans la tronche à l'IP, jusque là tout va (…)
principalement en utilisant le log postfix au format par defaut au jour de publication de ce script
#!/bin/sh
#
# small script that search mail address within from or to
# and show the whole transaction log by email ID
case $# in
3)
count=0
sens=$1
motif=$2
file=$3
case $sens in
from)
search='from=<'$motif
;;
to)
search='to=<'$motif
;;
esac
for i in $(grep Bonjour,
Je cherche un outil capable d'analyser mes logs (si possible en temps réel), de filtrer le "bruit" et de remonter les éléments de type "alerte" ou "inconnus" et KISS-compliant
J'utilise actuellement logcheck, il remplit bien son rôle, mais la modification, l'ajout et la maintenance des règles (basées sur des regexp) est particulièrement pénible et chronophage.
J'ai regardé du coté logstash. C'est sympa, c'est joli, pratique pour recherches des infos dans les logs, mais à priori, ça ne (…)
Bonjour à tous,
Je rencontre actuellement des problèmes pour déployer la solution de centralisation de logs Graylog 2 (http://graylog2.org/). J'ai essayé de la configurer par moi-même, rien n'y fait, puis j'ai trouvé plusieurs scripts d'auto-installation :
- http://everythingshouldbevirtual.com/category/monitoring/graylog2)
Cependant les scripts ne fonctionnent pas tous sur toute les distributions et versions.
Mon choix se tournerai plutôt par une installation manuelle pour mieux comprendre l'infrastructure de la solution et être capable de suivre son évolution. Au niveau distrib (…)
Bonjour,
J'ai un vieux serveur sous Debian Lenny qui fait tourner Apache en reverse proxy pour accéder à un démon Anyterm qui tourne sur le localhost:8888.
Depuis quelques jours Anyterm se votre comme une merde pour une raison encore obscure.
Le error.log d'Apache contient ceci :
[Wed Oct 16 17:39:13 2013] [error] [client 192.168.1.3] (20014)Internal error: proxy: error reading status line from remote server localhost, referer: https://xxxx
[Wed Oct 16 17:39:13 2013] [error] (111)Connection refused: proxy: HTTP: attempt to connect
Tout bon administrateur a un jour dû chercher une info à coup de grep, tail, awk dans les fichiers de logs des équipements qu'il gère.
Or la recherche est toujours un peu fastidieuse, avec les questions qui reviennent : "Où est-ce qu'ils sont ces logs ?", "Et c'est quoi le format déjà ?", "Tu connais le mot de passe pour se connecter sur le routeur ?".
Si on peut mettre en place une récupération des logs de façon centralisée avec des outils connus comme syslog, le trio Logstash, ElasticSearch et Kibana est un très bon candidat pour gérer et trouver efficacement des informations dans les milliers de lignes de traces que peuvent générer les divers services.
Bonjour, un petit site confidentiel que j'administre vient de manger plus d'un millions de hits dans les 48h suivant la publications de certains articles, et devrait passer la barre du 1.5 million dans la soirée sachant qu'hier soir j'avais une fréquentation de 5 articles lus chaque 10 secondes (je ne parle pas des hits) et que ce soir ça continue avec 3 articles chaque 10 secondes (40 hits dans la même durée)…
Comme ledit site ne comptait que 3/4 pages (…)
Bonjour,
Je veux creuser un peu le concept de "Big data" et j'aimerai partir d'un cas assez simple :
Créer un sorte de centre d'activité de notre infrastructure en se basant sur nos gros fichiers logs (apache pour les applis web, Postfix/Cyrus pour les mails pour commencer)
Biensûr j'ai déjà awstats qui fait bien son boulot mais par curiosité "geekienne" et pour appréhender d'une manière plus terre à terre le concept de big data, je me demande s'il n'y a (…)
Bonjour à tous,
Je possède depuis peu un Kimsufi 2G, et j'ai besoin d'un petit coup de main sur la configuration des erreurs de PHP.
Il y a longtemps, je me souviens que lorsque je faisais un error_log('message à envoyer dans les logs \n salut'); en PHP, cela allait directement dans un fichier "php.log" bien à part des logs d'Apache. De plus, le php.log prenait bien en compte les \n et compagnie, du coup j'avais un affichage des logs parfait !
Le 30 mars, le cercle de travail (AK Vorrat) a déposé un recours constitutionnel contre la « sauvegarde provisionnelle des données », qu'on dénomme en français conservation des données, qui va être imposée pour toutes les télécommunications en Autriche. À partir du premier avril, toutes les données de communications mobiles ou fixes devront être stockées de manière préventive pour six mois en Autriche.
À titre de comparaison dans l'Union Européenne, en France, la rétention obligatoire des données a été introduite pour une durée de 12 mois obligatoire en 2006, avec N. Sarkozy ministre de l'Intérieur. Les cours constitutionnelles de Bulgarie, de Roumanie et d'Allemagne ont jugé que la législation sur la conservation des données était inconstitutionnelle, tandis que l'Irlande a déposé plainte contre la directive de 2006 devant la Cour européenne de justice.
Plus de détails sur les contextes autrichiens et allemands dans le billet original.
Le projet Lumberjack est une initiative de plusieurs développeurs de système de logs pour améliorer l'enregistrement d'événements par le système. Il a débuté lors d'une conférence dans les bureaux de Red Hat en République Tchèque avec un entretien entre Steve Gibbs (auditd), Lennart Poettering (systemd, journald), Rainer Gerhards (rsyslog), William Heinbockel (CEE, Mitre) et plusieurs autres développeurs Red Hat.
Le but est de standardiser le contenu des logs et d'améliorer leur création par les applications qui les génèrent. Pour cela, les développeurs vont suivre les spécifications Common Event Expression (CEE). Sur leur site, on peut déjà trouver le schéma XML des logs, ainsi qu'un exemple en XML et un autre en JSON.
NdA : Merci à Nÿco, olvierweb et Neox pour leur aide lors de la rédaction de cette dépêche.
Lorsqu'on gère un parc de serveur qui comprend malheureusement des serveurs Windows, on souhaite centraliser leurs logs, voir même recevoir des alertes en fonction du contenu. C'est simple à faire sous Linux avec rsyslog, avec lequel je transmets les syslogs vers l'excellent Graylog2. Par contre dans le monde Windows il n'y a pas de serveur syslog natif. J'avais donc trouvé MonitorWare Agent un impressionnant logiciel propriétaire qui permet de définir des services qui vont lire n'importe quel type (…)
PyLogsParser est un module Python qui facilite l'analyse des logs provenant de diverses sources.
Les logs sont dans des formats très divers. PyLogsParser simplifie cette analyse en implémentant un moteur puissant d'analyse de logs.
La version 0.1 apporte le support des formats de log suivants:
Pour ajouter des nouveaux formats, il suffit d'ajouter un fichier XML de description.
Le but du projet est de faciliter et de promouvoir l'utilisation des (…)