Journal Gestion de collection et comparaison de traces GPS

Sommaire

• Intro
  • Cartes
  • GPS
• GPX Visual Comparison
  • Qu'est ce que ça fait ?
  • Comment ça marche ?
    • La comparaison
    • L'affichage
• GPX Pretty Organisation and Display
  • Etat de lard
  • Qu'est ce que ça fait ?
  • Comment ça marche ?
• Et alors ?

Bonjour bonjour !

Je vais vous parler de cartes, de traces GPS et de deux outils que j'ai développé dernièrement et qui sont liés à ces deux sujets. Le premier est un comparateur d'alternatives dans les trajets similaires. Le second est un outil de visualisation d'une collection de traces GPS sur une carte.

Si vous êtes pressés n'hésitez pas à filer en fin de journal pour les liens vers les sites des projets.

Intro

Cartes

J'ai toujours été intéressé par les cartes. Plus jeune, je me demandais comment diable était-il possible de rassembler autant d'informations aussi lisiblement au format papier. Au début je regardais l'atlas routier lors de trajets familiaux puis j'en suis venu aux cartes IGN, plus belles, plus fines, à des échelles bien plus précises et avec tout un tas de points d'intérêts comme les sommets, les lacs, les refuges etc… Le passage à la carte numérique a été un choc. Je me souviens de l'engouement général autour de moi aux débuts de Google Maps et Google Earth (mi 2006 il me semble). Avoir accès à autant d'informations de façon aussi simple et amusante me paraissait très impressionnant. Sur un pays je voulais bien croire que les créateurs des atlas routiers arrivaient à agréger des données de réseaux routiers provenant de tous les départements mais que google arrive à un niveau de détail supérieur sur l'ensemble de la planète m'a bluffé. Bref.

J'ai découvert quelques années après OpenStreetMap et je n'ai pas décroché depuis. Ce modèle de gestion des données, production, organisation, mise à disposition et cette ouverture laissant tellement de place à la création de nouveaux usages pour les cartes numériques… Une vraie révolution ! C'est un vrai plaisir de voir apparaître au fil du temps de nouvelles bibliothèques d'affichage de carte, des outils géniaux tirant partie des données OSM ou produisant une couche supplémentaire d'information. Quelques exemples :

• OpenCycleMap Carte basée sur OSM concentrée sur les pistes cyclables, chemins de vtt etc…
• HitchWiki pour voir les bons spots pour faire du stop
• OSRM pour calculer des chemins
• MapQuest pour calculer des chemins et rechercher des points d'intérêt

Mais encore des applis smartphone comme le très bon OSMAnd pour voir des cartes de pays entiers offline , des nouveaux éditeurs de cette merveilleuse carte communautaire…

GPS

Le GPS ne m'a pas plu au moment de son apparition aux yeux du grand public. Je trouvais ça techniquement intéressant mais guère plus. Quel intérêt trouvaient les gens à ces boites à la voix débile et saccadée qui échouent à calculer des trajets que je peux très bien élaborer moi même avec une carte sous les yeux ? Et même quand ils sont devenus performants, je n'ai jamais été un fan du routage appliqué au guidage de l'humain qui selon moi est largement capable de le faire lui même. Peut-être parfois moins précisément ou moins rapidement que la machine mais tout de même suffisamment bien pour que je pense qu'il est mauvais de perdre cette capacité. Le GPS symbolisait à ce moment là la raison majeure de la perte de sens de l'orientation autour de moi. Je comprend qu'on veuille une aide au calcul d'un trajet mais les appareils de navigation suppriment tout contexte et donnent les indications au dernier moment si bien que l'automobiliste se trouve en permanence dans l'ignorance de sa position actuelle. Cela crée une dépendance des plus violentes et des plus amusantes quand on observe un GPS-addict conduisant sans son appareil.

Oui mais voila, c'était sans considérer une possibilité offerte par un appareil captant un signal GPS : stocker la première information qu'il en tire : la position ! Mais c'est bien sur. Ça ouvre un champs de possibilités aussi amusantes qu'utiles ! Contribuer à une carte, échanger des trajets, retenir des positions importantes, indiquer sa position par un simple SMS…

Conclusion de l'introduction :

Les cartes papiers me plaisent beaucoup, les rendre numérique a augmenté grandement leurs possibilités. L'apparition d'OpenStreetMap a fait encore plus fort, on dispose désormais de données libres et ouvertes, détachées du moteur de rendu, dans un modèle communautaire avec une base de données de référence mondiale à laquelle l'accès est public (en lecture/écriture !!!). Les appareils GPS orientés "rando" au sens large sont à des prix assez abordables. Dans ce cadre si accueillant je me suis décidé à développer deux outils qui me paraissent manquer au paysage des outils des gestion de traces GPS :

• GPX Visual Comparison : Un comparateur de traces GPS similaires qui se concentre sur les parties divergentes (les alternatives de trajet) avec une interface web.
• GPX Pretty Organisation and Display : Une interface web pour visualiser des collections de traces GPS sur une carte synthétique

GPX Visual Comparison

En tant que cyclopédiste pratiquant régulièrement les mêmes trajets (mes tours favoris, les trajets vers chez les amis, les trajets vers le boulot…) pas mal de mes traces GPS sont produites dans le but de les comparer un jour. J'aime bien savoir par exemple si ce nouveau détour qui tue que je viens de découvrir me raccourcit considérablement le trajet. Ou encore si ce même détour m'a fait plus ou moins forcer. Oui oui on ne se rend pas forcément compte de l'impact d'un détour à la fin d'un long trajet. Ce raccourci improvisé en fin de rando était-il vraiment meilleur que le trajet officiel ?

Pour effectuer cette comparaison je n'avais guère que les deux choix suivants :

• Utiliser un outil générique d'analyse/traitement de trace comme QLandKarteGT ou Viking et faire chauffer ma souris et ma patience pour faire des petites mesures imprécises et fastidieuses entre les alternatives des mes trajets similaires.
• Trouver un outil spécialisé qui me présente au moins une comparaison globale entre plusieurs traces GPS ou dans l'idéal qui arrive à isoler/détecter des parties divergentes de traces similaires.

J'ai éliminé très vite la première option et j'ai buté sur la deuxième : ça n'existe pas. Le mieux que j'ai trouvé est un outil web qui rejoue simultanément deux traces pour observer laquelle est en avance sur l'autre à chaque instant. J'ai trouvé ça assez loin de ce que je voulais faire.

Bref je l'ai fait et ça n'a pas de nom à part GPX Visual Comparison. Le projet est sous GPL, versionné avec GIT et hébergé chez gitlab.com :

Page d'accueil du projet GPX Visual Comparison

Qu'est ce que ça fait ?

On donne des traces GPS au format GPX à manger à un formulaire pour obtenir une page de résultat. Sur cette page de résultat, on choisit une paire de traces parmi celles qu'on a soumises et un critère de comparaison (pour l'instant "distance", "temps" et "dénivelé positif cumulé") afin que cette paire de trace soit dessinée sur la carte en colorant chaque partie divergente en vert ou en rouge si elle est meilleure ou moins bonne que son alternative selon le critère sélectionné.

Un clic sur une partie d'une trace ouvre une popup donnant plus de détails. Si on clique sur une partie divergente, on a le détail de la comparaison pour cette divergence en particulier, sur les trois critères avec les valeurs associées.

Comment ça marche ?

La comparaison

La comparaison en elle même est effectuée par un script Python qui utilise les bibliothèques gpxpy et python-geojson.

Dans un premier temps, la comparaison de chaque paire de trace est effectuée et stockée. Elle est composée de deux algorithmes de déplacement sur les tracés, findFirstConvergence et findFirstDivergence .
Le premier (findFirstConvergence) part du principe que l'état observé au départ est une divergence et trouve les deux prochains points formant une convergence entre les deux traces.
Le deuxième (findFirstDivergence) part d'un état de convergence donné et trouve les premiers points suivant à partir desquels se forme une divergence.

Une fois qu'on trouve une divergence entre deux traces, on procède à la comparaison sur tous les critères des deux alternatives de cette divergence. On fait cela pour toutes les divergences de toutes les paires de traces. Ensuite on crée un fichier GeoJson par GPX parce qu'il est beaucoup plus facile de lui ajouter des métadonnées ainsi que de le manipuler nativement dans la bibliothèque d'affichage utilisée par la suite.

La comparaison est indépendante du rendu graphique.

L'affichage

L'interface web de cet outil est composée d'une page PHP qui gère la soumission du formulaire et le lancement du script Python de comparaison. Dans cette page se trouve une carte affichée grâce à Leaflet, une bibliothèque bluffante de simplicité et de possibilités. À cette carte sont ajoutés des plugins Leaflet comme une minimap, la recherche de lieu et surtout une sidebar qui contient le formulaire de soumission des traces et les options de comparaison.

Cette page peut aussi être appelée avec des paramètres GET indiquant des URLs pointant vers des fichiers gpx. De ce fait, on peut facilement utiliser GPX Visual Comparison depuis tout autre outil de gestion web de traces GPS.

GPX Pretty Organisation and Display

Après deux ans à me balader et faire joujou avec un smartphone et ensuite un GPS de randonnée j'ai emmagasiné un bon paquet de traces GPS au format GPX. Au début je me satisfaisais bien de regarder ces traces une par une sur mon minuscule écran de smartphone avec un petit graphe d'altitude et la possibilité de naviguer sur une carte OSM ou Gmap. Je me suis rapidement mis à chercher un outil pour faciliter ma gestion de traces.

Etat de lard

Je me souviens avoir beaucoup utilisé les applications MyTracks, OruxMap et OSMAnd. Au bout d'une vingtaine de traces on commence déjà à s'y perdre, je ne me voyais pas continuer comme ça. À ce moment là a commencé une quête infinie d'outil de gestion de collection de traces GPS. J'ai failli adhérer aux services web comme mapmyride, mapmyhike, evertrail mais je déteste les interfaces trop chargées et peu intuitives et la volonté de mettre du social network link partout. J'ai aussi pensé à utagawavtt qui est un site spécialisé dans la trace de VTT (première restriction) et pas du tout orienté gestion de traces mais plutôt construction d'une grosse base de traces bien documentées. Leur carte est super bien faite avec des groupes de marqueurs. Le développeur m'a gentiment expliqué qu'il avait codé à la rache et qu'il ne me filerait pas le code qu'il juge non adaptable à un contexte plus générique. Cette recherche d'outil commençait à devenir longue et assez infructueuse.

J'ai trouvé une première réponse satisfaisante avec GPSies. Ce site est un service (fermé) de gestion des ses traces persos avec la possibilité de les rendre publiques ou privées. À l'ajout d'une trace, tout un tas de champs facultatifs permettent de donner une description assez précise de l'activité pratiquée et du trajet parcouru. Des statistiques et graphes sont générées. Le fait que mes traces se retrouvent chez quelqu'un d'autre ne me plaisait pas du tout mais j'ai accepté cet aspect, bien obligé de constater que je n'avais pas d'alternative…

Un aspect de GPSies qui me plaisait bien est la vue d'ensemble des traces d'un utilisateur. À l'usage c'est très chiant d'y naviguer, la molette de zoome pas, les marqueurs représentant les traces s'empilent ignoblement quand ils sont en grande concentration. Mais mais mais, si on survole un marqueur, la trace correspondante s'affiche temporairement. Presque pratique pour retrouver une trace parmi une trentaine ayant le même point de départ.

Une fois que j'ai démarré le développement de GPX Visual Comparison et que j'ai donc commencé à utiliser Leaflet, j'ai découvert le nombre impressionnant de plugins et forcément je me suis arrêté sur Leaflet.markercluster qui apporte une manière élégante et pratique de dessiner un grand nombre de marqueurs. Nom d'un wetboob ! Je croyais que ça n'existait que dans la carte d'Utagawavtt.

Je n'avais plus d'excuse pour ne pas faire mon petit outil moi même. Il s'appelle GPX Pretty Organisation and Display, est sous GPL, est hébergé sur gitlab.com et versionné avec GIT.

Page d'accueil du projet GPX Pretty Organisation and Display

Qu'est ce que ça fait ?

C'est une interface assez basique qui affiche sur une carte des marqueurs symbolisant les débuts des traces d'une collection. Les marqueurs se regroupent si leur densité est trop forte pour que leur affichage soit lisible. Dans une barre latérale se trouve un formulaire de sélection de dossier à afficher (dossier qui se trouve sur le serveur), quelques options et un tableau contenant la liste des traces visibles actuellement. On peut trier le contenu de ce tableau par colonne. Si on survole une ligne de ce tableau, la trace correspondante s'affiche temporairement sur la carte pour la situer. Si on coche une ligne de ce tableau, la trace est dessinée et la vue de la carte s'adapte pour l'englober. Si on clique sur un marqueur ou sur un dessin de trace, un popup affiche des informations générales sur la trace, un lien de téléchargement, un lien permanent vers la vue de la trace et un lien pour afficher le profil d'altitude de la trace.

Si cela est correctement configuré, on peut lancer la comparaison de plusieurs traces sélectionnées dans le tableau dans une instance de GPX Visual Comparison.

Comment ça marche ?

Les dossiers de la collection doivent se trouver sur le serveur.

À l'affichage d'un dossier de la collection, un script python transforme tous les fichiers GPX en GeoJson et un fichier de marqueurs (en JSon) est généré. Le fichier de marqueurs est récupéré au chargement de la page. Chaque trace est récupérée en AJAX au moment où son affichage est demandé.

Le reste est géré en JS et avec les plugins Leaflet.

Et alors ?

Je regrette qu'il n'existe pas plus d'outils de gestion/traitement de traces GPS, que ce soit en client lourd ou en web, dans le paysage actuel du logiciel libre. J'ai trouvé au mieux des services web fermés et assez limités en fonctionnalités.

Quand j'aurai le temps, j'aimerais initier un développement de gestionnaire web de collection de traces GPS qui possède une gestion d'utilisateurs, de droits, de méta données, qui inclut quelques outils de traitement de traces et surtout qui soit AUTO-HÉBERGEABLE comme les deux projets dont je viens de vous parler. Ça serait une sorte de GPSies mais en mieux et en libre. Ah j'oubliais, il me faudra aussi trouver la motivation de créer un gros outil web sans être passionné par les frameweurks et le design… Ah non je sais, je vais le poster sur LinuxFr et ça va donner des idées à des powerdevs powerrandonneurs !

Et vous, comment gérez-vous vos traces GPS ?

GPX Visual Comparison
GPX Pretty Organisation and Display