Logotheras, compilateur de dictionnaires de langues

En bref : une bibliothèque (Python3, GPLv3) hébergée sous GitHub, permettant de lire des dictionnaires de langues (au format texte ou sous forme d'une base de données), de les formater et d'en vérifier la cohérence, puis de les (ré)écrire au format texte ou sous forme d'une base de données. La version actuelle (0.1.6) permet seulement de travailler sur les fichiers texte. De manière générale, le projet n'a pas été testé de manière intensive.

Sommaire

• Qu'est-ce Logotheras ?
• Les fichiers texte et le format TextDBDict
• Compilation d'un dictionnaire
• Options diverses pour la compilation
• Écriture du code, choix de la licence
• Futurs développements, conclusion

Qu'est-ce Logotheras ?

Dans le cadre d'un projet personnel, j'ai eu besoin d'un module Python3 lisant et écrivant des données placées dans des dictionnaires. Le format des dictionnaires texte (un exemple ici) est propre à mon module et n'est pas compatible avec d'autres formats comme StarDict, Babylon, Lingvo ou Dictd.
Les données lues et écrites associent le(s) "sens" de chaque mot à des "extraits" illustrant ce(s) sens, extraits tirés d'un corpus.
Tout dictionnaire Logotheras repose donc sur un ensemble de textes, le corpus, découpé en extraits qui peuvent être traduits et commentés.
Logotheras peut utiliser l'une de mes bibliothèques (DChars) pour certaines langues : c'est DChars qui peut trier les mots et normaliser les caractères utilisés dans les mots.

À ce stade du projet, Logotheras n'a été testé que sous Linux. Pire, je n'ai même pas eu le temps d'en tester l'installation comme bibliothèque : si vous l'installez, copiez simplement tous les fichiers du projet dans un répertoire et utilisez le front-end logotheras.py livré avec !

Ceci dit, Logotheras commence à devenir utilisable : j'en fais l'annonce sur LinuxFr en espérant renouveler l'accueil chaleureux et instructif que j'ai toujours rencontré sur ce site.

Les fichiers texte et le format TextDBDict

À titre d'exemple, voyez tenez (anglais -> français, à prononcer [tenets]), le dictionnaire de démonstration - ce n'est pas un vrai projet - que vous trouverez à cette adresse.

Tout dictionnaire Logotheras existe comme une suite de fichiers texte stockés dans un répertoire. À la racine du répertoire, un fichier informations.textdbdict recense les auteurs, les titres, les éditions… Puis un sous-répertoire source contient tous les fichiers de données, au format TextDBDict.

Un fichier de données au format TextDBDict est une partie d'un dictionnaire ; en voici les divisions :

• un dictionnaire est divisé en articles (un article par mot) ;
• un article est divisé en entrées (une entrée par sens du mot) ;
• une entrée est divisée en extraits (chaque extrait illustrant le sens).

Le format a été choisi afin qu'il soit facile de modifier le fichier texte ; la compilation permet en plus de formater le texte de ces fichiers.

D'autre part, un extrait est composé d'un texte : ce texte peut être accompagné d'une ligne précisant l'auteur du texte et sa référence (titre, position dans l'œuvre…). On pourra également ajouter une traduction et un commentaire.

Prenons l'exemple du projet Phokaia que je présenterai bientôt (dictionnaire grec ancien -> français). Voici la troisième entrée de l'article ἀλλὰ (="mais"), entrée explicitant le sens de l'expression "ἀλλὰ… μὴν". On y reconnaîtra le texte sur deux vers, la ligne entre parenthèses précisant d'où vient ce texte, puis la traduction (précédée de '=') et enfin une ligne de commentaire précédée de '#' :

(3) ἀλλὰ… μὴν : "oui et même"

    ναί, τέκνον, εἴπερ ἐστί γ᾽ ἐξοικήσιμος.
    ἀλλ᾽ ἐστὶ μὴν οἰκητός· […]
    (Sophocle•Œdipe à Colonne•27-28;free_edition)
    =(Œdipe) Oui ma fille, pour savoir si jamais il est habitable./(Antigone) Oui il l'est, il est même habité;{XF}
    #Œdipe vient de s'arrêter en un endroit inconnu; il demande donc à sa fille d'aller voir si l'endroit est ἐξοικήσιμος (habitable).

Enfin, d'autres possibilités existent encore ; par exemple, Logotheras peut traiter à part certaines entrées en les empêchant d'être triées avec les autres. Me consulter pour plus de détails.

Compilation d'un dictionnaire

J'ai écrit un front-end permettant d'appeler Logotheras depuis la ligne de commande, front-end que j'utiliserai dans les exemples suivants.

Un exemple minimaliste, pour simplement lire un répertoire TextDBDict :

(on supposera qu'il existe un sous-répertoire logs/ permettant d'accueillir les fichiers de logs)

$ ./logotheras.py --showstatistics --textinput=/home/xxx/projets/tenez/ … lit le contenu du répertoire tenez et affiche des statistiques sur les données. Vous y lirez par exemple :

articles : 114
extracts : 172
  * extracts with a workreference : 172 (100.00%)
  * unique extracts : 17 (9.88%)

Authors sorted by frequency :
  Shelley                        : 62.21% (107/172)
  Shakespeare                    : 30.23% (52/172)
  Robert Browning                : 7.56% (13/172)

Groups sorted by frequency :
  poésie                         : 69.77% (120/172)
  théâtre élisabéthain           : 30.23% (52/172)

Titles sorted by frequency :
  Ozymandias                     : 62.21% (107/172)
  Hamlet                         : 30.23% (52/172)
  My Last Duchess                : 7.56% (13/172)

Editions sorted by frequency :
  Wikipedia                      : 100.00% (172/172)

Translation sources sorted by frequency :
  XF                             : 100.00% (172/172)

Frequency of the number of extracts by entry :
                               3 :     9
                               2 :     7
                               1 :   131
                               0 :    24

List of the extracts :
  Robert Browning My Last Duchess                                    19-21                         
  Shakespeare     Hamlet                                             III.1, v.58                   
  Shakespeare     Hamlet                                             III.1, v.59-60                
  Shakespeare     Hamlet                                             III.1, v.61-62                
[…]

Options diverses pour la compilation

Un exemple plus complexe, pour lire un répertoire TextDBDict et en écrire le contenu vers /tmp/tenez/ ; Logotheras va donc réécrire plus ou moins les mêmes fichiers mais en les vérifiant et si besoin, en les normalisant :

$ ./logotheras.py --showstatistics --textinput=/home/xxx/projets/tenez/ --textoutput=/tmp/tenez/

Au lieu de récupérer un seul gros fichier de données, peut-être voulez-vous une série de fichiers de données limités à 10 articles par fichier ? Essayez alors --TEXTDBDICTwriteseveralfiles=10.
Ou peut-être voulez-vous trier vos fichiers de manière à ce que les mots de chaque fichier commencent par la même lettre ? Essayez alors --TEXTDBDICTwriteseveralfiles=a, ou --TEXTDBDICTwriteseveralfiles=aa pour des mots groupés selon leur deux premières lettres, etc.

Si vous ne désirez garder que ce que vous avez défini comme étant 100% libre, choisissez --minimalfreeness=100 ; à la place de 100 vous pouvez écrire le nombre de votre choix. Choisir --minimalfreeness=0 signifie que vous gardez tout. C'est dans le fichier informations.textdbdict que le degré de "liberté" des textes et des sources des traductions est défini.

Le problème de la normalisation est crucial pour certaines langues, comme le grec ancien : ainsi, faut-il écrire 'ά'(0x1F71) ou 'ά'(0x03AC) ? Logotheras peut faire appel à la bibliothèque DChars pour rectifier le nom des auteurs, des titres et des textes eux-mêmes. Ainsi, utilisez l'option --normalize=titles+authors pour normaliser les titres et le nom des auteurs. C'est également DChars qui peut s'occuper de trier les mots du dictionnaire, tâche non triviale pour certaines langues.

Outre --showstatistics, vous auriez intérêt à laisser --showerrorsnumber pour voir s'afficher le décompte des erreurs et des warnings.

Enfin, les messages peuvent être orientés vers trois flux : console, lastlog et rotatinglog. Le second crée un fichier de logs avec les messages de la dernière compilation, le troisième conserve tous les messages émis depuis l'installation de la bibliothèque. Ajoutez par exemple --logs=lastlog+rotatinglogs pour éliminer les messages vers la console et conserver les deux autres.

Écriture du code, choix de la licence

J'ai essayé de respecter les normes actuelles : code et documentation en anglais, utilisation de Git via GitHub, de Pylint pour vérifier mon code et de Sphinx pour écrire la documentation.
Il manque les tests unitaires qui ne sont pas encore écrits.

Quant à la licence GPLv3, j'ai attentivement suivi, sur LinuxFr, les fils de discussion consacrés à ce sujet . En deux mots : je suis conscient du caractère très restrictif de cette licence pour une bibliothèque et je fais ce choix pour des raisons plus idéologiques que pratiques.

Futurs développements, conclusion

Le développement de ce projet cessera quand les principales fonctionnalités seront codées : il manque essentiellement la lecture / écriture avec les bases de données. Si je demeure seul à développer Logotheras, une fois le lien avec les BDD correctement établi, je pourrais rapidement cesser de contribuer à ce projet.

Je ne cherche donc pas seulement des utilisateurs pour mon projet mais aussi des personnes désireuses d'en poursuivre le développement avec moi. En espérant que cela intéressera quelqu'un… merci de m'avoir lu !

Aller plus loin

• Projet de démonstration "tenez", dictionnaire anglais->français (176 clics)
• Logotheras (73 clics)
• Logotheras sur GitHub (38 clics)