BB a écrit 527 commentaires

En fait il n’y a quasiment aucun gain de place avec la base de donnée Nepomuk. L’algorithme utilisé dans Zram et celui de Lzop ne doivent pas être identiques, ou alors paramétrés différemment.

Pour voir quels sont les fichiers à placer en Zram, cela va dépendre de ton usage.

En attendant, voici un script inspiré de celui de Chimrod. Il est perfectible, mais j’ai l’habitude d’améliorer mes scripts par petits à coups au fil des jours/mois/années…

Utilisation : faire une sauvegarde.

Utilisation_bis : faire une sauvegarde.

Ensuite on peut faire en root

zram-cache start list

list doit être une liste de répertoires, il faut impérativement qu’il y ait le chemin complet, pas de '.', de '..', ni de '~', sinon je ne sais pas comment le script va se comporter.

Puis faire régulièrement un

zram-cache sync

pour sauvegarder les changements en Zram sur le disque.

J’ai commenté l’action stop (qui n’est qu’un sync avec 2/3 commandes supplémentaires) parce que ça déconne si des programmes utilisent toujours des fichiers dans les points de montage. Ce qui veut dire qu’il faut redémarrer l’ordi. (et supprimer /tmp/zram.dat) pour le désactiver. On peut ajouter d’autres répertoires après le start initial grâce à add qui s’utilise comme start. Attention toutefois à ne pas ajouter un répertoire déjà présent en Zram et à veiller à avoir l’espace suffisant dans la Zram, en cas de mauvaise manip. le comportement sera indéterminé… et très probablement très plantogène.

zram-cache, WTFPL, il faut régler la variable ramsize :

#!/bin/sh

# 2^32 = 4294967296 = 4 Go
# 2^31 = 2147483648 = 2 Go
# 2^30 = 1073741824 = 1 Go
# 2^29 =  536870912 =  .5 Go
ramsize=2147483648

# start/sync/add
action=$1
shift

case "$action" in
  add)
    if [ ! -f /tmp/zram.dat ]
    then
      echo '/tmp/zram.dat not found, exit'
      exit 1
    fi
    for dir in $*
    do
      if [ -d $dir ]
      then
        echo $dir>>/tmp/zram.dat
        mkdir -p `dirname /mnt/zram/$dir`
        cp -ar $dir /mnt/zram/$dir
        mount -B /mnt/zram/$dir $dir
      fi
    done
    ;;
  start)
    if [ -f /tmp/zram.dat ]
    then 
      echo '/tmp/zram.dat found, exit'
      exit 1
    fi
    modprobe zram
    [ -d /mnt/zram ] || mkdir /mnt/zram
    echo $ramsize > /sys/block/zram0/disksize
    mkfs.ext2 -m0 /dev/zram0 > /dev/null
    mount -t ext2 /dev/zram0 /mnt/zram
    echo -n '' > /tmp/zram.dat
    for dir in $*
    do
      if [ -d $dir ]
      then 
        echo $dir>>/tmp/zram.dat
        mkdir -p `dirname /mnt/zram/$dir`
        cp -ar $dir /mnt/zram/$dir
        mount -B /mnt/zram/$dir $dir
      fi
    done
    ;;
  sync)
#  stop)
    tmpdir=`mktemp -dp /mnt/zram`
    for dir in `cat /tmp/zram.dat`
    do
      mount -B `dirname $dir`/ $tmpdir
      rsync -r --delete /mnt/zram/$dir $tmpdir
      umount $tmpdir
#      umount $dir
    done
    rm -r $tmpdir
#    umount /mnt/zram
#    rmmod zram
    ;;
  *)
    echo "Usage: in2zram (start|sync)"
    exit 1
    ;;
esac

exit 0

Pour l’instant je ne sais pas moi-même ce que je vais mettre en Zram…

Dans ce cas ce que je viens de découvrir peut t’intéresser.

Ma base Virtuoso (qui sert à Nepomuk&co) fait 1,5 Go. D’un autre côté on peut régler la quantité de mémoire que Virtuoso-db a le droit d’occuper en RAM, on réglera ceci au minimum. En supposant que ça concerne un chargement partiel de cette base, ça vaudrait le coup de mettre la base en zramfs car la compression lzo (avec lzop --fast) la réduit à 658 Mo !? Bon faut quand même avoir beaucoup de mémoire…

Mais avec un disque lent, m’étonnerait que tu aies activé Nepomuk :p

Maintenant, l’information que je cherche : le système de fichier Btrfs va venir avec l’option de montage compress qui peut utiliser LZO. Du coup est-ce que quelqu’un sait si le cache disque profite automatiquement de la compression ? Car dans ce cas l’utilisation de zRam est beaucoup moins intéressante par rapport au cache disque automatique.

Excellent ! Effectivement le mount --bind sera bien plus propre et facile à mettre en place que le système de liens symboliques auquel j’avais pensé.

Par contre ce ne sont pas les répertoires de log qui me paraissent important à mettre en RAM. Je vais voir pour mettre /lib/i386-linux-gnu/, /etc, /usr/lib/i386-linux-gnu, /bin, des trucs de ~/.kde, c’est ce qui apparaît en premier avec Inotify. Dans un second temps je regarderai l’utilisation disque de certaines applications comme krunner, konsole, zsh (ces deux derniers peuvent être particulièrement long à démarrer), et certainement quelques autres petit trucs pour lesquels l’intéractivité est à privilégier.

Mais ça dépend beaucoup de l’usage de la machine je suppose ça.

C’est ce que j’ai pensé, mais…

D’autres semblent avoir le même point de vue que moi.

De plus il faudra m’expliquer en quoi ssh -X ne répond pas au besoin :
«  lancer une appli desktop gtk [à travers le réseau], avec la même apparence que si c'était une appli desktop ! »
Pardon, c’est vrai que ssh -X répond pas au besoin, le besoin est d’occuper des ressources machines inutilement en lançant une application fourre-tout supplémentaire, aka le navigateur web.

Enfin ça tombe toujours plus proche que le commentaire auquel je répond et qui parle d’Active Desktop… hum…

l'Armée de Terre

Et comment comptes-tu défendre notre civilisation occidentale consumériste clientéliste face aux barbares afghans. Et notre liberté d’acheter de consommer des produits révolutionnaires inutiles pour augmenter son nombre de voix la participation des jeunes à la démocratie, il faut bien la défendre, non ?

L’armée de terre est aussi essentiel que l’est le programme d’éducation d’abrutissement des masses par un marché publicitaire trop longtemps ignoré : l’école.

J’ai rien trouvé sur Icron. Mais Inotify fait bien son boulot, je suis en train de le tester.

#echo 1048576>/proc/sys/fs/inotify/max_user_watches
%inotifywatch -r / --exclude /dev /proc>inotify.log

Wait & Enjoy !

total access modify attrib close_write close_nowrite open moved_from moved_to create delete delete_self filename
223102 120 222145 1 183 233 416 0 0 2 2 0 /home/nicolas/.dm/
151555 0 151540 0 1 5 6 1 1 1 0 0 /home/nicolas/data/
14094 14094 0 0 0 0 0 0 0 0 …

Automatiquement trié, à partir de ça je pense qu’on peut élaborer un stratégie.

Perso. c’est la solution qui m’intéresse. Pouvoir mettre des bouts de mon arborescence en Zram. Pour agir comme un cache du disque. Il reste des problématiques auxquelles je n’ai pas encore trop réfléchi .
— La sécurité des données (sauf pour /var/tmp et /tmp), il faut régulièrement synchroniser avec le disque dur, j’avais pensé à une arborescence fantôme basée sur un suffixe .bak. au niveau du (des) point(s) de montage Zram, pour la synchro., un logiciel comme Unison bien configuré devrait faire l’affaire.
— Comment savoir quels fichiers sont régulièrement utilisés ? Inotify ?
— Je ne suis pas convaincu que le gain en compression compense la perte au niveau performances pures du cache disque du noyau : algo. plus évolué et qui s’adapte aux données (alors que la liste des fichier en RAM avec Zram sera fixe).

Alors, quelqu’un a déjà essayé ?

Oui, ça aurait été mieux de commencer l’échelle à 0, dans la mesure du possible c’est préférable. Autre petit remarque : mon raisonnement est en fait faux. :(

J’ai supposé que la somme de Facebook et du reste du web était constante, en fait ce n’est certainement pas le cas. Du coup on a une inconnue supplémentaire, et on n’a pas assez d’informations pour remettre le graphe à la bonne échelle. Donc poubelle (mon graphe « corrigé » et le graphe original).

Manifestement ma question est tellement inutile que personne n’a su trouver la réponse…

AHAHAH ! L’arnaque. Je ai déjà vu ce graphe dans une publicité qui comparait les prix du chauffage à l’électricité ou au fuel il y a de ça 10 ans. :)

Donc l’astuce consiste à prendre une echelle différente pour chaque courbe, et, pour faire croire à un semblant de rigueur, calibrer les échelles sur les valeurs du début de chaque courbe.

Pour avoir une petite idée des valeurs réelles : le web passe de 100 à 90, ceci est « mangé » par Facebook qui prend 70 points, donc voilà il suffit de multiplier la courbe rouge par ~7, la courbe rouge passe de 700 à 630 tandis que la bleue de 100 à 170. Ça a tout de suite une autre gueule, même si ça reste assez impressionnant. Mais ce genre de technique pour tromper le lecteur mérite bien d’être signalée… Et ceux qui produisent ce genre de graphes des connards de première.

Alors, je viens d’en acheter 4Go et de me renseigner.

En fait c’est un peu plus compliqué que ça et ça dépend des options de compilations du noyau. Je n’y ai rien compris, à part que c’est un petit peu au bonheur la chance. Grosso modo il y a une certaine quantité de mémoire réservée par le matos et le noyau, on peut se retrouver, avec ou sans PAE, avec plus ou moins de mémoire en fonction (machine — processeur et matériel —, bios, noyau — ça vaut pour windows aussi, suivant l’édition — et pour le noyau en fonction des options de config. et des patchs — je soupçonne Ubuntu qui cible le desktop de changer ça par rapport à Debian).

Bon je vais avoir du mal à retrouver la source, mais comme l’affirmation « ssh -X ne fonctionnera pas (bien) avec Wayland  »¹ est répété ad nauseam sans plus de source, je me permet de signaler qu’en fait Wayland permettrait ssh -X sans problème. Il suffirait d’implémenter ce qu’il faut, mais rien dans les objectifs et l’architecture de Wayland ne s’y opposerait. C’est juste que c’est un projet jeune, et que forcément il n’y a pas encore tout le nécessaire.

Le deal de la pub est bon, et en tant que anti-pub primaire depuis ma plus tendre enfance, c'est la première fois que je fais attention à elle. En échange de quelques infos sur moi, elle me fout la paix et me propose que des trucs qui m'intéresse. C'est OK pour moi.

C’est là le coup de force de Google. Arriver à faire croire, même aux plus intransigeant que la pub est « bonne ». Elle est juste relativement un peu moins agressive.

Mais tu oublies que la pub. tu la paies deux fois : lorsque tu perds du temps à la regarder et lorsque tu achètes tes produits. Le tour de force de Google est d’avoir réussi à faire passer de la pub. pour presque-de-l’information, du coup le premier paiement n’est plus valable. Pour le second…

ssh -X ça existe depuis combien de temps ?

Contre-contre-proposition, malgré toutes ses qualités Roundcube est encore très loin d’égaler un client lourd/dédié/natif/archaïque.

Si je dis protocole et réseau ouvert, ça va mieux ? :)

Je ne sais pas si ça correspond à ce dont vous discutez mais n’utilisant pas le boîtier TV je décidai de désactiver l’option TV il y a un mois. Et bien la Télé est toujours accessible sur l’ordinateur, tout comme avant avec le flux qui va bien depuis la Freebox !

Non, mais tu vois, avec Google, quand tu utilises un service qui n’a rien à voir avec le mail, ben, t’es obligé de te créer un compte mail… Mais tu vois, c’est pas Facebook, c’est Google. Il fournit plein de services, mais tu vois, chaque service est accessible avec le même compte. Puis Google ne fait rien du tout, mais alors rien du tout avec les données privées qui passent par son service. Mais Google c’est pas Facebook, c’est pas les méchants, c’est les gentils. Alors c’est pas grave s’il a bien plus de données sur toi et ta vie privée que jamais Facebook ne pourra oser espérer avoir. Parce que Google est gentil. La preuve : ils participent et finance le libre ! Puis au moins eux utilisent des protocoles « ouverts ».

Si ça peut te rassurer, même sans aucun compte. Il suffit d’avoir été « invité » une fois. Je ne comprend pas que ton commentaire soit moinsé. Facebook se comporte comme un spammer ; Facebook est un spammeur.

C'est très égocentré […] Même le plus narcissique des narcissique risque d'en avoir marre. Bref, j'me demande s'ils ne sont pas en train de se planter.

Pourquoi ? Je croyais naïvement que c’était précisément le fond de commerce de Facebook, satisfaire notre part égocentrique. Quand aux réactions sur l’image, j’ai envie de croire qu’ils ont simplement regardé leur base de données pour y récupérer les occurrences les plus fréquentes…

J’obtiens ceci :

Le certificat du serveur n'a pas réussi le test d'authenticité (transverse.labanquepostale.fr)

Le certificat d'autorité de certification n'est pas valable
Le certificat racine de l'autorité de certification n'est pas sécurisé à cette intention

Petite question à ce propos, sur un comportement qui m’inquiète. Lorsque je vais sur le site de ma banque (laposte) avec Konqueror j’ai quasi-systématiquement une alerte https lorsque la fenêtre d’identification s’ouvre. Avec Firefox pas de problèmes. D’autres ont constaté ce comportement ? Dois-je m’en inquiéter ? Est-ce lié au fait que les deux logiciels n’utilisent pas la même bibliothèque ?

Si, on devrait pouvoir changer l’algo. de résolution et obtenir le même résultat. C’est pour ça que le code source n’est pas intéressant. La reproduction d’une expérience numérique, ce n’est pas juste reprendre le même code, et retrouver le même résultat. Ça peut avoir son intérêt, mais ce n’est pas reproduire une expérience. Le résultat numérique est bien plus solide s’il est obtenu à travers des algo. et des paramètres différents et que tout converge vers le même résultat.

Quelqu’un qui utilise un portable comme machine de calcul a un problème de conception selon moi.

bureau sémantique

À propos, Nepomuk est une tuerie, j’ai passé quelques minutes à faire un petit script python pour pouvoir mettre des tag depuis le shell.

# licence: WTFPL

from PyQt4 import QtCore
from PyKDE4 import kdecore
from PyKDE4.nepomuk import Nepomuk
from sys import argv, exit

if 'add' in argv[1:]:
  action = 'add'
elif 'remove' in argv[1:]:
  action = 'remove'
sep = argv.index(action)
files = argv[1:sep]
tags_name = argv[sep+1:]
if len(files) == 0 or len(tags_name) == 0:
  exit(2)
if Nepomuk.ResourceManager.instance().init() != 0:
  exit(1)
tags = []
for name in tags_name:
    tags.append(Nepomuk.Tag(name))
    tags[-1].setLabel(name)
for filename in files:
  file_info = QtCore.QFileInfo(filename)
  absolute_path = file_info.absoluteFilePath()
  resource = Nepomuk.Resource(kdecore.KUrl(absolute_path))
  for tag in tags:
    if action == 'add':
      resource.addTag(tag)
    if action == 'remove':
      resource.removeProperty(tag.tagUri())

nepomuk-tag fichier "autre fichier" add tag autre
nepomuk-tag fichier remove tag

La recherche ne prendrait pas plus de temps à implémenter.

Ensuite on peut l’intégrer dans n’importe quel script : je télé-charge une vidéo (j’ai un script pour les télé-chargements) hop le tag "Pas vu" est ajouté. Krunner>"Pas vu", hop il me propose de lancer les vidéos pas encore vues, je la regarde, hop ça enlève le tag "Pas vu" pour mettre le tag "Vu". Autre exemple possible, je télé-charge un pdf, hop ça me rajoute automatiquement l’url du site web d’origine, le tag "À lire", etc. J’ai pu aussi tagguer toute ma biblio comme ça avec les mots clefs des papiers (provenant d’un moteur de recherche).