À la recherche des sources de Troff

Troff est le logiciel de formatage de texte des Unix originaux. Il est toujours présent sur nos machines en sa version GNU (Groff) même s'il ne sert généralement qu'à afficher nos pages de manuel.

Eric Raymond n'hésite pas à dire que Troff est « l'application originale Unix qui tue tout » (Unix's original killer application, cf. The Art of Unix Programming), non seulement parce qu'il s'associe à différents interpréteurs et tire le meilleur profit des tubes et de la philosophie Unix, mais aussi parce que l'efficacité du logiciel a favorisé l'adoption d'Unix par le département des brevets de Bell labs, et ensuite au-delà.

S'il était largement utilisé dans les années 80, Troff est aujourd'hui tombé dans l'oubli, et semble peu à peu disparaître de l'Internet. Pourtant, en cherchant bien, on retrouve de nombreuses traces de la vivacité passée de Troff.

Ces traces sont exhumées en seconde partie de la dépêche.

Sommaire

• L'histoire des sources
  • Roff de Joseph Ossana sur les premiers Unix
  • New Roff
  • Ditroff de Kernighan
  • DWB d'AT&T
  • Troff de Solaris
  • Heirloom Troff, de Gunnar Ritter
  • Troff de Plan9
• Documentation de troff et de ses compagnons
• Logiciels accompagnant Troff
  • Mpm : pour la justification verticale
  • Picasso : pour dessiner
  • Troff et le HTML
  • Troff et le XML
  • Références et index
  • Développement logiciel
  • Présentations scientifiques
  • Macro diverses
• Pourquoi cette dépêche ?
  • Réflexion sur l'histoire à l'âge de l'Internet
  • Réflexion sur le langage à l'âge de l'image

N.B.: les liens vers le site de Bell Labs sont actuellement morts, mais cela arrive parfois et n'est jusqu'alors que provisoire.

L'histoire des sources

Un rapide historique de Troff a été proposé ici même à l'occasion de la sortie d'une nouvelle version de son équivalent GNU : Groff. Ici, nous insisterons sur les traces de cette histoire telles qu'elles sont présentes aujourd'hui sur internet, ainsi que sur la façon dont elles nous sont parvenues, car les sources du logiciel n'ont pas toujours été partagées.

Roff de Joseph Ossana sur les premiers Unix

Dear Unix Enthousiasts,

C'est avec cette formule, que, en 2002, Caldera ouvre le texte de la licence annonçant la libération des sources des anciens outils Unix en même temps qu'elle libère le code source original d'Unix lui-même.

Dans l'archive de la version 3 des premiers Unix on trouve une version binaire de roff dans datée de 1972. Cette version binaire est en la ré-écriture pour Unix, par Joseph Ossanna, du RunOff de Multics.

New Roff

Joseph Ossana a ensuite amélioré Roff, et l'a renommé Nroff (New Roff). Nroff est probablement une ré-écriture en C de Roff. On trouve les sources, tant de Roff que de Nroff dans la Version 6 d'Unix. Une recherche dans les sources d'Unix 32V devrait permettre de suivre l'évolution du code source.

Ditroff de Kernighan

En 1979, Brian Kernighan, ré-écrit entièrement Nroff, pour qu'il produise une sortie intermédiaire, qui devra être traitée par un autre logiciel pour finalement produire un fichier imprimable. Cette sortie intermédiaire permet à Nroff d'être utilisé pour divers types d'imprimantes, incompatibles entre elles. Il nomme ce nouveau logiciel Ditroff, « device independant troff », mais ce nom sera abandonné au profit de Troff. L'usage a imposé le nom Nroff pour logiciel utilisé pour écrire sur un terminal, et celui de Troff pour le logiciel produisant du texte destiné à être imprimé.

Depuis 1979, les logiciels Troff et Nroff, quelle que soit leur origine, reproduisent le comportement du Troff de Kernighan. La compatibilité entre toutes les versions est ainsi assurée, à quelques détails près. La documentation en usage est d'ailleurs celle qu'a écrit Kernighan à la même époque. Cela fait probablement du format de Troff le format de traitement de texte qui est, de fait, le plus pérenne de l'histoire de l'informatique.

DWB d'AT&T

Le Troff de Kernighan a eu de nombreux descendants, en particulier, il a été le cœur d'un ensemble de logiciels nommé DWB (Documenter's WorkBench) distribués avec l'Unix d'AT&T. En cherchant bien, on peut trouver, sous licence Eclipse, les sources du DWB 3.2 d'AT&T de 1993 (et un patch pour le compiler dans Cygwin).

Certains navigateurs ayant quelques difficultés à télécharger le DWB d'AT&T, voici comment faire avec Wget, sous réserve d'acceptation de la licence:

wget \
--user "I accept www.opensource.org/licenses/eclipse" \
--password "." \
"http://www2.research.att.com/~gsf/download/tgz/dwb.1993-02-04.tgz"

Cette archive est une perle, car elle contient, outre les sources de Troff, les sources de toute la documentation, ainsi que quelques logiciels que beaucoup croient perdus, tels Picasso et Diffmk, dont il sera question plus loin.

Troff de Solaris

En 2005, Solaris, le descendant d'Unix Systeme V dévoilé par AT&T en 1983, est libéré, à son tour ainsi que le code des outils Unix de l'époque. Le tout est distribué sous licence CDDL. Le Troff d'Open Solaris est basé sur le Troff du Systeme V release 4, qui dérive du DWB d'AT&T version 2. Sur la forge, de Solaris, on trouve ainsi les sources de Troff, Nroff, et d'autres logiciels qui lui sont associés : Checknr, Checkeq, Col, Deroff, Eqn, Refer, Soelim, Spell, Tbl, Ul.

Heirloom Troff, de Gunnar Ritter

Suite à cette libération, Gunnar Ritter décide de donner une nouvelle jeunesse aux sources de Troff. Il récupère alors le Troff d'Open Solaris, lui ajoute quelques fonctions modernes, et le redistribue sous le titre Heirloom Doctools :

Le projet Heirloom s'adresse aux personnes qui aiment travailler sur leur ordinateur en utilisant une interface Unix traditionnelle en ligne de commande. Le projet Heirloom n'est pas un musée du logiciel ; il n'essaie pas de conserver les utilitaires sans modification. Il conserve plutôt le style, l'algorithme et l'interface intacts, tandis qu'il modernise le système lorsque cela est approprié. Accueil du projet Heirloom

Gunnar Ritter a très soigneusement amélioré Troff afin de lui apporter les fonctions typographiques indispensables aujourd'hui : calcul des espaces inter-mots paragraphe par paragraphe (selon une variante de l'algorithme Knuth-Plass utilisé par Tex), micro-typographie (taille des glyphes et interlettrage finement modifiables (comme le préconise Hàn The Thành dans Micro-typographic extensions to the TEX typesetting system), réglage de l'approche, ligatures arbitraires, décalage de certains glyphes hors de la marge (« hanging characters »), support des polices PostScript Type 1, TrueType, OpenType, et de leurs possibilités, césure des mots internationalisée, gestion de l'UTF-8, méta-données PDF (table des matières, liens, mots-clefs, auteur, titre et sujet). Bref, Heirloom Troff est à Troff ce que pdfTeX est à TeX. Outre ces améliorations, Gunnar Ritter a aussi incorporé les extensions de troff introduites par Groff, son équivalent GNU. L'ensemble compile maintenant sur à peu près toutes les plate-formes : Linux, BSD, Solaris et plan9.

L'archive contient, outre Troff, Nroff, Dpost, Eqn, Pic, Refer et Soelim, des outils un peu oubliés : Checknr, qui vérifie qu'un fichier Troff est bien formaté, Vgrind, un pré-processeur qui formate du code source pour l'impression via Troff (Il est encore fait mention du copyright de Bill Joy dans les sources), Picpack qui permet d'inclure des images postscript, et Ptx, pour créer des index.

Troff de Plan9

Plan9 incorpore une version de Troff dans ses sources. Largement modifiée, cette version n'apporte que peu d'améliorations visibles par l'utilisateur final, sinon qu'elle gère nativement l'utf-8. Néanmoins, les utilisateurs de Plan9 sont aujourd'hui parmi les derniers a utiliser Troff, aussi, sur la liste de discussion 9fans, on trouve de nombreuses informations sur Troff, et les sources d'anciens logiciels qui lui étaient associés y apparaissent régulièrement.

Une version compilable sur Unix/Linux du Troff de Plan9 est disponible dans l'archive de plan9 from user space.

Dans cette archive, on trouve, outre Troff : Troff2html, Tr2post, Tbl, Spell, Proof, Pic, Htmlroff, Grap, Eqn, Doctype, Deroff et Grap.

Documentation de troff et de ses compagnons

La documentation de Troff est, à mon avis, particulièrement bien faite. Elle est composée d'un ensembles d'articles courts, clairs et exhaustifs. Comme indiqué ci-dessus, les sources de la documentation originale de Troff sont présentes dans l'archive du DWB d'AT&T. Mais on trouve aussi la version postscript de ces articles sur le site de Bell Labs. Seulement, ces articles sont mal indexés, et introuvables sans aide. Le site de référence à ce sujet est celui de Ralph Corderoy. Je me contente de recueillir ici les liens connus vers la documentation.

Deux des documents écrits par Brian Kernighan font aujourd'hui encore office de référence : 54.ps.gz, la documentation complète, 97.ps.gz, la description du format de sortie indépendant du périphérique (device independant).

Quant aux autres documents, ils traitent des logiciels qui s'articulent avec Troff. En voici la liste : Pic, Grap, Chem, algorythm animation, Dformat, Eqn user guide, cross references, index tools, ideal, MetaPost manual, graph with MetaPost.

Sur la page de Richard Stevens on trouve une copie de ces articles, mais aussi d'autres documents sur Troff : manuel, tutoriel, device independant, Tbl, Eqn2e, Eqn, Pic, GNU Pic, Pic examples, Pic macros, Pic to html, ms, Grap, Gpic, index tools, index tools sources, refer.

Quant aux autres documents que j'ai pu trouver, en voici la liste, en vrac : GNU Eqn, Me tutoriel, Me reference manual, man how-to, Effman, Mom, Mm.

Enfin, Oreilly publie les sources du livre Unix Text Processing écrit par Dale Dougherty et Tim O'Reilly lui-même.

Logiciels accompagnant Troff

De nombreux logiciels gravitent autour de Troff. Si les sources des anciens Troff tendent à réapparaître sur le net, les sources des logiciels qui l'entouraient tendent quant à elles à disparaître. Voici quelques liens permettant d'en retrouver les traces.

Mpm : pour la justification verticale

Mpm est un post-processeur qui gère la justification verticale des blocs (figures, paragraphes…). Il réapparait tous les dix ans sur la liste de discussion de plan9 : ainsi en 2002 et en 2012. On peut trouver ses sources dans le répertoire contrib de plan9. Gunnar Ritter l'a ajouté dans l'archive de Heirloom Troff. On trouve la documentation qu'en a fait Brian Kernighan sur usenix : spr_kernighan.

À la fin du README, il est indiqué :

Historical note: There is a simpler version of pm and -mpm called pj and -mpj that only does vertical justification of pages that have already been laid out by conventional means. This simpler version may be adequate, but it is no longer supported and memory of how it works is growing dim.

Picasso : pour dessiner

Picasso est une interface graphique permettant de dessiner des dessins au format pic. Il en est parfois question dans la liste de discussion de Groff, mais avec regrets, car les sources semblent perdues. Pourtant, en cherchant bien, on les trouve : dans l'archive du DWB d'AT&T !

Un post de 9fans y fait aussi référence, et cite trois alternatives :

art (from the 2nd edition), though Andrey did stirling work porting it to the draw model years ago I honestly don't feel it up to the job - perhaps my lack of stamina?

On devrait le trouver dans le répertoire de Steve Simon de Plan9/contrib.

cip/xcip - this is part of the blit distribution and xcip is avaialable on the net these days. I have a vague memory that someone got this to run on a modern OS - plan9/X11 perhaps? anyone know more?

Cip fait l'inverse de Pic : à partir d'une image, il produit le code de Pic. Xcip est la version graphique de Cip, comme l'indique la quatrième de couverture de Unix System V Network Programming :

Acknowledgements. This book was produced on an Intel i386-based system running UNIX System V Release 4.0, Version 3. The text editor sam was used to create and update the text. The pictures were created with xcip, a newer version of cip, on an AT&T 630MTG terminal. The output for the book was produced with eqn, tbl, pic, troff, and dpost from the Documenter's WorkBench, Version 3.2.

On en parle aussi dans un guide sur Unix, et dans un post de la liste de discussion de groff. Il est présent dans contrib/Venkatesh Srinivas/ selon ce post :

xfig + transfig - feels a bit like a patch on a patch and, being modern unix code would (no doubt) include configure hell…

Xfig et transfig sont encore en activité, car plus récents et compatibles avec Latex.

Parfois, il est aussi question de ideal, de dag dont on trouve la documentation, de flow ou de g3 ("G3 - A Language for Typesetting Three Dimensional Graphics", dont on trouve un scan de la documentation, mais ceux-ci semblent bel et bien perdus…

Sinon, on peut aussi travailler avec dformat, dont on trouve l'original et une version nettoyée, grn ou bien metapost qui produit des fichiers pour troff, et pas seulement pour Tex.

Troff et le HTML

Éparpillés sur le net, on trouve des outils pour transformer un fichier troff vers de l'html : Unroff, Troffcvt, Manserver, Man-cgi, Ms2html, Troff2page, Troff2hml.pl et Web2.

Certains outils sont concentrés dans l'archive de Plan9 From User Space : Troff2html, Htmlroff,

Sur la page de Jeffrey Copeland, on trouve un article concernant la transfert du format tbl en HTML, ainsi qu'un logiciel faisant ce travail. Pour le même travail, on pourra aussi utiliser Htbl.

Troff et le XML

Pour transférer un fichier Troff vers Docbook, l'outil de référence est Doclifter (écrit par Éric S. Raymond). On appréciera aussi Dbtroff (écrit par Gunnar Ritter), qui fait le travail inverse.

Pour l'ODT, il y a un fichier XSLT dans l'archive de Heirloom Troff.

Références et index

Dans l'archive des utilitaires, du projet Heirloom, on trouve tout un tas d'outils pour gérer la bibliographie au format refer : Addbib, Sortbib, Roffbib, Indxbib, Lookbib. On pourra aussi utiliser les outils de Bibstuff.

On trouve aussi des outils pour créer des index. Outils qu'on retrouve parmi les logiciels du Netlib de Bell Lab. Ces outils d'indexation sont aussi publiés sur la page personnelle de Brian Kernighan.

Développement logiciel

Nrchbar permet d'imprimer un diff. On peut aussi utiliser Diffmk, présent dans l'archive de DWB pour marquer les différences entre deux fichiers troff.

Présentations scientifiques

Troff est toujours fourni avec une version de Eqn, qui permet d'écrire des formules mathématiques. Mais on trouve aussi, parmi les logiciels du Netlib de Bell Lab une version de Chem qui permet d'écrire des formules chimiques. La version originale est disponible sur la page personnelle de Brian Kernighan ainsi que sa documentation.

Sur la liste de discussion de Plan9, on peut trouver plusieurs macros. Pour créer des slides, d'autres slides et des circuits électroniques.

D'autres macro permettent de créer des présentations, telles Gpresent, Mv, dont les sources semblent perdues, et Mo.

Heirloom Troff est fourni avec une version de Grap, qui permet de dessiner des graphiques depuis une liste de données. Plan9 from user space, fournit lui aussi une version de grap. Si on préfère, on pourra utiliser une autre version, ou alors utiliser Prag, un script Awk capable de remplacer Grap.

Macro diverses

On trouve une macro nommée Loom, une autre nommée Labels pour écrire des étiquettes, pour des étiquettes toujours, on peut utiliser cette version. On trouve aussi une macro nommée Meta, une autre nommée Resume, et encore une nommée Letter.

Pourquoi cette dépêche ?

Il est vrai que cette dépêche n'est qu'une collection de liens à peine commentés. Quel est donc son intérêt, au delà de l'effet marque page ?

Réflexion sur l'histoire à l'âge de l'Internet

En premier lieu, la dépêche a été motivée par la curiosité de Tonton Th, qui, au détour d'un commentaire a exprimé sa curiosité quant à l'histoire de Troff. Ce commentaire apparaissait dans une discussion sur la pérennité des données sur Internet. On peut avoir l'impression qu'Internet n'a pas de mémoire, et rechercher troff sur Google ne donne pas grand chose de très intéressant sur son passé. Pourtant, en cherchant bien, on trouve les documents nécessaires à l'écriture de l'histoire de Troff. La méthode à suivre est d'ailleurs assez simple :

• Il faut commencer par trouver un centre de référence ; en l'occurrence, ici, il s'agit des listes de discussion de Plan9 et de Groff, où se rencontrent les derniers utilisateurs de Troff.
• En parcourant ces listes de discussion, on retrouve de nombreux noms de logiciels.
• Ces noms permettent de faire des recherches plus précises dans les moteurs de recherches, qui deviennent alors pertinents.

Par exemple, pour trouver le logiciel Picasso, il m'a fallu d'abord prendre connaissance du nom du logiciel, qui est déjà bien oublié ; il m'a fallu apprendre ensuite qu'il faisait partie d'un ensemble dénommé DWB, et au détour d'un article sur l'histoire d'Unix, j'ai appris que DWB était un produit d'AT&T. Finalement, c'est une (longue) recherche sur DWB et AT&T qui m'a permis de trouver l'archive contenant Picasso.

Ce travail de recherche met en évidence deux mouvements : certes, des données disparaissent d'internet, mais il faut remarquer que des données y ré-apparaissent tout autant. Sur les listes de discussion, des logiciels, ou des liens vers des logiciels ressortent régulièrement : à la demande d'un utilisateur, un particulier peut partager un logiciel dont il conservait une copie. Les entreprises elles-aussi peuvent décider de libérer les sources de logiciels ayant une importance historique, comme l'a fait Caldera pour Unix.

Réflexion sur le langage à l'âge de l'image

En second lieu cette dépêche fait suite au journal de MrSpackMan : « L'esprit Unix, une culture de mots ». Qu'est-ce qui définit proprement Unix ? Thomas Scoville pense que, au-delà (ou en-deçà) des tubes, du shell et du tout fichier, ce qui définit Unix c'est son affinité avec le langage. Unix, c'est le langage comme interface. Si tel est bel et bien le cas, alors, Unix est l'outil idéal pour manipuler du texte. Or, la manipulation du texte sous Unix trouve son terme (l'impression) avec Troff. Si Unix se définit par son logocentrisme, alors Troff constitue un moment essentiel de son aventure. De fait, Internet garde les traces de l'importance qu'a pu avoir Troff, et devant la foison de logiciels qui s'articulaient avec lui, on peut avoir l'impression que l'histoire d'Unix est intimement liée à l'histoire de Troff. Peut-être que le moment où Unix était adopté en entreprise coïncide avec le moment ou Troff était considéré comme un outil d'édition pertinent.

Si l'on s'accorde pour dire que les histoires d'Unix et de Troff sont conjointes, nous pouvons nous demander ce que signifie pour Unix l'oubli de Troff. Avec l'oubli de Troff, c'est le texte qui disparaît d'Unix. De fait, le déport du texte hors du cœur d'Unix vers l'interface graphique et le web modifie radicalement l'usage d'Unix. Si les seuls textes qui persistent au cœur d'Unix sont les fichiers de configuration, alors, les outils Unix deviennent des outils dédiés à l'administration. Ils l'ont toujours été, mais je crois qu'il fut un temps où la manipulation de fichiers de configuration et la manipulation de textes destinés à être imprimés ont convergé, et cette convergence a marqué l'apogée de l'histoire d'Unix.

On repère ce déplacement dans l'histoire de Troff : il apparaît un moment où les interfaces graphiques complètent l'éco-système logiciel, en particulier pour créer des dessins. Mais très vite, ces outils sont dépassés. De même, dans l'histoire de Troff, on repère l'émergence du web : il arrive un moment où une foison d'outils servent à exporter un fichier troff vers l'HTML. Mais tous ces outils arrivent trop tard, l'HTML, et les outils le manipulant, se sont implantés à côté de Troff, et non pas dans sa continuité. Ces deux ruptures ne sont pas équivalentes. Troff semble avoir pu concurrencer un temps les interfaces graphiques mais a aucun moment il n'a pu se faire une place dans le monde de l'HTML.

Enfin, si Troff a pu être un maillon important d'un système informatique ayant le langage comme interface, alors retrouver l'usage de Troff est un moyen de retrouver l'usage du langage comme interface. Troff et les logiciels qui l'accompagnent forment un ensemble de mini-langages (Eqn, Pic, Tbl, et Refer ont chacun leur mini-langage). La syntaxe de Troff, qui force à l'écriture de ligne courtes, s'articule parfaitement avec les outils de manipulation de flux lignes à lignes (Sed, Awk, Diff, Patch). En ligne de commande, Troff fait un usage intensif des tubes. Cet ensemble forme ainsi un tout cohérent, une suite bureautique en ligne de commande, mais dont nous avons perdus l'usage. Retrouver les sources de ces logiciels et leurs documentations est un moyen de retrouver la grammaire d'une langue, avant de pouvoir la parler de nouveau.

Aller plus loin

• binaire du roff original (160 clics)
• sources du premier nroff (203 clics)
• troff d'AT&T (112 clics)
• troff de Solaris (66 clics)
• troff du projet Heirloom (55 clics)
• troff de plan9port (62 clics)