DeepDetect et LiveDetect pour les réseaux de neurones du serveur au Raspberry Pi 3

DeepDetect est un logiciel libre développé par JoliBrain, dont la vocation est de rendre accessibles et utilisables les innovations récentes de l’apprentissage profond (deep learning) et de permettre de les intégrer au sein d’applications. DeepDetect est constitué de deux logiciels libres :

• un serveur écrit en C++11 avec une API REST, permettant l’accès aux librairies sous‐jacentes Caffe, Caffe2, Tensorflow, Dlib, NCNN, etc. ;
• une plate‐forme Web permettant d’entraîner, d’organiser et d’utiliser ses modèles comme des petits bouts de code.

La seconde partie en explique l’intérêt et présente un tutoriel d’installation sur Raspberry Pi.

Traitement de la vidéo via des réseaux de neurones sur Raspberry Pi 3 avec DeepDetect et LiveDetect.

Deep Learning et embarqué

Les avancées récentes de l’intelligence artificielle (ou, moins pompeusement, de l’automatisation avancée) sont en grande partie l’application de l’apprentissage profond (Deep Learning), permettant le traitement automatique du signal brut, ce qui restait difficile il y a une dizaine d’années. Dans ce contexte, il y a du sens à vouloir déplacer « l’intelligence » au plus près du capteur, pour un traitement local.

Rester au plus proche des capteurs permet aux applications Internet des objets (Internet of Things ou IoT) de réduire leur temps de traitement tout en améliorant la disponibilité de la bande passante et la construction d’applications locales fiables et sécurisées.

Il peut être contraignant de traiter des flux de données sur le « cloud » (informatique en nuage !) et ce pour différentes raisons :

• l’envoi de données du capteur en continu accapare une part importante de la bande passante, rendant la gestion de flotte de capteurs complexe et coûteuse ;
• le manque de disponibilité de la bande passante provoque également un allongement de l’aller‐retour rendant plus difficile l’utilisation de réseaux de neurones pour des applications critiques ;
• le traitement des flux de données à distance oblige à stocker des données parfois peu pertinentes et lourdes (vidéo 4K) et parfois sensibles ou privées.

Traitement de la vidéo avec DeepDetect sur un Raspberry Pi 3

Le serveur DeepDetect est optimisé pour permettre d’obtenir des inférences depuis des serveurs avec processeurs central et graphique, jusqu’au Raspberry Pi 3, pour lequel il est optimisé via la bibliothèque NCNN modifiée par Jolibrain.

Ci‐dessous un tutoriel dans lequel nous installons DeepDetect pour Raspberry Pi avec un back‐end NCNN, et nous utilisons LiveDetect, un outil issu de l’écosystème DeepDetect pour le traitement des flux vidéo. Cela nous permet de détecter des objets en temps réel et de les afficher.

Afin d’installer un serveur DeepDetect sur la Raspberry Pi, nous utilisons Docker pour la simplicité et les bonnes performances.

Démarrer le conteneur Docker DeepDetect pour Raspberry Pi 3

mkdir $HOME/models
docker pull jolibrain/deepdetect_ncnn_pi3
docker run -d -p 8080:8080 -v $HOME/models:/opt/models jolibrain/deepdetect_ncnn_pi3

Détecter des objets dans une vidéo

wget https://github.com/jolibrain/livedetect/releases/download/1.0.1/livedetect-rpi3

./livedetect-rpi3 \
    --port 8080 \
    --host 127.0.0.1 \
    --mllib ncnn \
    --width 300 --height 300 \
    --detection \
    --create --repository /opt/models/voc/ \
    --init "https://www.deepdetect.com/models/init/ncnn/squeezenet_ssd_voc_ncnn_300x300.tar.gz" \
    --confidence 0.3 \
    -v INFO \
    -P "0.0.0.0:8888" \
    --service voc \
    --nclasses 21

Le rendu est alors disponible sur http://localhost:8888 avec entre deux et trois trames vidéo par seconde (FPS).

Le tutoriel complet pour Raspberry Pi 3 est disponible sur GitHub, ainsi que les exemples avec LiveDetect.

Vos retours nous intéressent ! Il n’est pas toujours simple de démarrer avec les réseaux de neurones, et nous souhaitons améliorer nos logiciels autant que possible.

Aller plus loin

• DeepDetect (235 clics)
• DeepDetect server (78 clics)
• DeepDetect platform (70 clics)
• Tutoriel pour Raspberry Pi 3 (126 clics)
• LiveDetect (122 clics)