Laboratoire de robotique : améliorer la perception robotique grâce à la fusion de capteurs

Le domaine de la robotique se situe à l'avant-garde de la technologie, stimulant des innovations qui s'étendent de l'automatisation industrielle aux véhicules autonomes et au-delà. Au cœur de ces systèmes se trouve un logiciel sophistiqué qui intègre les entrées d'une gamme de capteurs, notamment le LiDAR, les caméras, les centrales inertielles (IMU), les baromètres et le GPS. Ces capteurs fournissent des données essentielles qui permettent aux robots de percevoir et d'interagir avec leur environnement. Cependant, le processus de développement de ce logiciel est semé d'embûches, notamment en ce qui concerne le traitement et la fusion des données provenant de ces sources diverses.

Chaque capteur offre des avantages uniques et introduit son propre ensemble de complexités. Par exemple, le LiDAR excelle dans la fourniture de mesures de distance précises, essentielles à la détection d'obstacles et à la navigation, mais il rencontre des difficultés dans certaines conditions environnementales telles que la pluie ou le brouillard. Les caméras fournissent des informations visuelles riches, indispensables à des tâches telles que la reconnaissance d'objets et la compréhension de scènes, mais elles sont fortement affectées par les variations des conditions d'éclairage. Les centrales inertielles (IMU) offrent des données précieuses concernant l'orientation et le mouvement, mais leurs relevés peuvent être altérés par une dérive au fil du temps. Les baromètres, qui peuvent aider à déterminer l'altitude en mesurant la pression atmosphérique, sont sensibles aux variations météorologiques. Enfin, les unités GPS fournissent des données de géolocalisation essentielles, mais elles sont souvent entravées par les obstructions de signal en milieu urbain ou dans les forêts denses.

Le rôle de la fusion de capteurs

L'intégration des données provenant de ces capteurs, connue sous le nom de fusion de capteurs, est encore compliquée par la nécessité d'aligner et de synchroniser des données qui peuvent avoir des fréquences d'échantillonnage différentes ainsi que des degrés variables de précision et de fiabilité. Obtenir une fusion précise et en temps réel de ces données est crucial pour que le robot comprenne son environnement de manière cohérente et exacte. Cette intégration précise et rapide est essentielle pour optimiser les algorithmes de prise de décision qui guident les actions du robot. Des délais minimaux dans le traitement des données sont indispensables, car ils garantissent que le robot peut réagir rapidement et efficacement aux changements dynamiques de l'environnement. Pour améliorer la réactivité du robot, les techniques de fusion de capteurs doivent être précises et rapides. Des stratégies telles que le traitement parallèle, la modélisation prédictive et l'accélération matérielle peuvent réduire le temps nécessaire pour fusionner les données et les transmettre aux algorithmes de prise de décision. Ces améliorations contribuent à garantir que les actions du robot sont opportunes et bien informées, maximisant ainsi l'efficacité et la sécurité.

Concentrons-nous sur trois défis principaux que nous avons rencontrés lors de la construction d'un système robotique basé sur les entrées de capteurs périphériques.

• Le premier défi, et le plus général, est la synchronisation des appareils, ou plus précisément la synchronisation des données de sortie des capteurs, afin que l'unité de calcul principale puisse aligner leurs trames de données sur une chronologie.
• L'aspect suivant est la calibration des dispositifs, en particulier les capteurs qui opèrent sur un plan de localisation (par exemple, caméras, LiDAR) afin de déterminer le positionnement approprié des composants installés dans le robot, ainsi que la direction et le spectre de vision.
• Le dernier défi, mais non des moindres, est la réduction des erreurs et la minimisation du bruit des capteurs, principalement à l'aide de filtres de Kalman et d'algorithmes dérivés.

Pour cet article, j'ai utilisé un équipement technologique avancé pour garantir une collecte de données de haute qualité et une grande précision. Plus précisément, j'ai employé le Capteur LiDAR 3D Ouster OS1 et les Caméra See3CAM.

Synchronisation du matériel, des logiciels et des capteurs

Dans l'intégration des capteurs, la précision et l'exactitude sont primordiales, en particulier lors du déploiement de systèmes reposant sur la fusion de capteurs. Garantir la synchronisation correcte des périphériques, tant au niveau matériel que logiciel, est essentiel pour obtenir un fonctionnement robuste et exempt d'erreurs.

Synchronisation matérielle

La synchronisation matérielle consiste à aligner les horloges de divers capteurs afin que leurs relevés soient effectués exactement au même moment. Cela est essentiel dans les environnements où les écarts de synchronisation peuvent entraîner des erreurs d'interprétation des données, pouvant provoquer par exemple un désalignement des objets dans l'espace 3D ou un positionnement incorrect du véhicule.

La synchronisation matérielle peut être réalisée par diverses méthodes. Citons notamment :

• Source d'horloge commune : tous les capteurs périphériques sont connectés à une source d'horloge unifiée, garantissant une capture de données synchronisée.
• Mécanismes de déclenchement : les capteurs peuvent être conçus pour démarrer les mesures à la réception d'un signal matériel spécifique, garantissant ainsi une capture simultanée des données. Le mécanisme le plus basique fonctionne sur un simple signal et est peu coûteux ; toutefois, il peut ne pas être suffisant pour atteindre une fonctionnalité complexe dans des scénarios de communication plus sophistiqués.
• Precision Time Protocol (PTP) : utilisé dans les appareils en réseau pour garantir que les horloges de chaque appareil sont synchronisées sur une horloge maître. La solution proposée est assez coûteuse pour les appareils embarqués, mais elle offre la plus grande flexibilité lors de la mise à niveau des capteurs. Le seul critère est la prise en charge du protocole PTP pour maintenir la compatibilité.

Synchronisation logicielle

La synchronisation logicielle gère l'intégration de données qui n'ont pas été capturées au même moment précis. Elle compense les différences de fréquences de sortie des capteurs et de temps de traitement. Il existe de nombreux mécanismes pour améliorer la synchronisation, le principal étant :

• Correspondance des horodatages : les algorithmes logiciels font correspondre les données de différents capteurs en fonction des horodatages de leurs relevés.
• Interpolation : si des correspondances exactes d'horodatage ne sont pas disponibles, l'interpolation peut être utilisée pour estimer les relevés de capteurs à des moments spécifiques.
• Mise en mémoire tampon : Stockage temporaire des données pour attendre que le capteur le plus lent rattrape son retard, garantissant que les ensembles de données sont complets avant traitement.

Synchronisation des autres facteurs

Un exemple de facteurs supplémentaires de synchronisation des capteurs est le déclenchement de l'obturateur global de la caméra et la production effective des données d'image. Tout d'abord, le délai entre le déclenchement de l'obturateur global d'une caméra et la production des données d'image doit être géré avec soin, en particulier lorsque la synchronisation exige une précision de l'ordre de la milliseconde. De plus, le processus de synchronisation doit prendre en compte la fréquence généralement plus faible des systèmes LiDAR par rapport aux caméras. Pour les modèles LiDAR qui utilisent un champ de rotation à 360 degrés, il est également essentiel d'aligner la couverture des données du LiDAR avec le champ de vision de la caméra, en veillant à ce que les moments capturés par les deux capteurs correspondent spatialement et temporellement pour une fusion précise des données.

Synchronisation LiDAR 360° avec la vue caméra :

L'approche de synchronisation optimale combine une synchronisation matérielle complétée par une validation au niveau logiciel. Cependant, la synchronisation seule ne garantit pas un traitement correct des données provenant des capteurs périphériques. La clé réside dans une unité de calcul centrale suffisamment puissante, dotée de cœurs de processeur bien équilibrés, pour traiter les données en temps réel. L'optimisation du traitement de l'information doit être adaptée aux charges de calcul des algorithmes opérant sur les données d'entrée dans l'environnement ROS (Robot Operating System). Cet équilibre minutieux garantit que le système non seulement collecte les données de manière synchrone, mais les traite et les interprète également de manière efficace, ce qui conduit à des capacités de prise de décision opportunes et précises dans les systèmes robotiques. En outre, des tests approfondis sont essentiels pour s'assurer que les mécanismes de synchronisation fonctionnent correctement dans toutes les conditions attendues. La surveillance continue de l'état de synchronisation du système est également cruciale pour détecter et corriger toute dérive au fil du temps.

Calibration des appareils pour une interaction et une intégration appropriées

L'un des aspects fondamentaux de la fusion de capteurs en robotique consiste à déterminer avec précision l'orientation d'une caméra par rapport à d'autres capteurs, tels qu'un LiDAR ou une centrale inertielle (IMU). Cet alignement est essentiel, car il garantit que les algorithmes du système peuvent mettre à jour avec précision les données de mesure lorsque l'appareil tourne. Une calibration appropriée de ces dispositifs améliore leur interaction et l'intégration des données, ce qui conduit à des performances plus précises dans des environnements complexes.

Calibration intrinsèque

Cette phase initiale consiste à déterminer les paramètres internes de la caméra, tels que la distance focale, le centre optique et les caractéristiques de distorsion de l'objectif. La calibration intrinsèque est essentielle pour corriger les distorsions dans les données d'image brutes de la caméra, lui permettant de représenter avec précision le monde réel tel qu'il est vu à travers l'objectif.

Calibration extrinsèque vers LiDAR ou IMU

Après la calibration intrinsèque, une calibration extrinsèque est réalisée afin d'établir la relation spatiale entre la caméra et des dispositifs externes tels qu'un LiDAR ou une IMU. Cette étape implique le calcul des vecteurs de rotation et de translation qui alignent la caméra avec ces capteurs. L'établissement de cet alignement géométrique précis permet au système de fusionner et d'utiliser efficacement les données provenant de diverses entrées sensorielles, améliorant ainsi la fonctionnalité globale et la précision du système robotique.

Défis de la calibration caméra-LiDAR

Calibrer une caméra pour l'aligner avec les données LiDAR est particulièrement difficile. L'objectif de la caméra doit capturer avec précision les mêmes éléments de scène que ceux scannés par le LiDAR. Un obstacle majeur dans ce processus consiste à garantir que les caractéristiques distinctives de la scène, essentielles à la détection d'image, présentent une structure cohérente afin de faciliter une reproductibilité stable. En raison de la variabilité potentielle de ces caractéristiques, calibrer la caméra avec une IMU intégrée au LiDAR est souvent plus efficace. Cette approche consiste à déplacer l'ensemble contenant l'IMU, la caméra et le LiDAR à travers différentes positions tout en enregistrant des marqueurs ArUco spécifiques. Cette technique exploite les données induites par le mouvement de l'IMU pour affiner l'alignement entre la caméra et le LiDAR, améliorant ainsi la précision et l'efficacité de la fusion de capteurs.

Cas d'usage : projet de R&D de Spyrosoft

Dojo est notre programme de R&D en robotique – un espace où nous créons des projets dictés par les besoins métiers et technologiques. Nous menons des initiatives issues des demandes du marché, qui sont également intéressantes pour nous – les collaborateurs de Spyrosoft – et qui renforcent nos compétences.

Récemment, nous avons travaillé sur la résolution d'un défi de fusion de capteurs dans le cadre de l'une de nos initiatives Dojo.

Chacun de ces capteurs possède ses propres caractéristiques de bruit, qui peuvent être dues à divers facteurs, notamment la qualité du capteur, les conditions environnementales et les contraintes opérationnelles. Le bruit peut se manifester sous forme de fluctuations aléatoires ou d'erreurs systématiques dans les relevés des capteurs, entraînant des données inexactes et compromettant potentiellement la performance globale du système.

Ici, l'algorithme du filtre de Kalman joue un rôle essentiel pour relever ces défis dans les cadres de fusion de capteurs. Il fournit une estimation optimale des états internes d'un système dynamique linéaire à partir d'une série de mesures incomplètes et bruitées, ce qui le rend particulièrement efficace pour améliorer la fiabilité des données des capteurs.

Le fonctionnement du filtre de Kalman se caractérise par deux phases principales : la prédiction et la mise à jour. Durant la phase de prédiction, le filtre utilise un modèle mathématique du système pour prévoir l'état suivant et évalue l'incertitude associée à cette prédiction. Cette phase prépare le système à anticiper les états futurs en se basant sur les tendances actuelles des données et la dynamique du modèle. Dans la phase de mise à jour qui suit, le filtre intègre une nouvelle mesure et recalibre l'état prédit vers cette dernière mesure. L'ajustement est pondéré par la fiabilité des nouvelles données et l'incertitude prédite. Ce mécanisme permet au filtre d'affiner continuellement ses estimations et de réduire l'impact du bruit ou de l'erreur de toute mesure individuelle. Le filtre de Kalman excelle dans les environnements où les distributions de bruit sont gaussiennes. Il minimise efficacement l'impact du bruit en faisant la moyenne de l'état prédit et des mesures réelles, en appliquant des pondérations basées sur leurs incertitudes respectives. Cette méthode garantit que le système maintient une représentation équilibrée et réaliste de l'état en se basant à la fois sur les données historiques et les nouvelles informations.

Si les capteurs continuent de produire des données dont la précision est insuffisante, même après une synchronisation et un étalonnage appropriés, les filtres de Kalman peuvent être utilisés pour éliminer le bruit et lisser les fluctuations entre les points d'échantillonnage. Un avantage significatif du filtre de Kalman dans la fusion de capteurs réside dans sa capacité à intégrer les mesures de capteurs disparates, en tenant compte de leurs caractéristiques de bruit et de leurs précisions propres. Par exemple, il peut fusionner les données à haute fréquence et à faible latence d'une centrale inertielle (IMU) avec les données à haute précision, mais plus lentes, d'un GPS. Cette intégration est essentielle dans les applications nécessitant une navigation et une synchronisation précises, telles que les véhicules autonomes et la robotique mobile, où les capteurs doivent fonctionner de concert pour fournir une connaissance de la situation fiable et actualisée.

En résumé

Surmonter avec succès les défis de synchronisation, de calibration et de réduction du bruit est essentiel pour optimiser les systèmes robotiques qui reposent sur une fusion de capteurs complexe.

La synchronisation garantit que les données de divers capteurs sont alignées temporellement et spatialement, ce qui est fondamental pour que le système fonctionne de manière cohérente dans des environnements en temps réel.

La calibration, en particulier entre différents types de capteurs comme les caméras et le LiDAR, améliore la précision de l'interprétation des données, permettant une navigation et une exécution des tâches plus précises et plus fiables.

Enfin, la mise en œuvre de techniques de réduction du bruit telles que les filtres de Kalman est essentielle pour minimiser l'impact des imprécisions des capteurs et garantir la robustesse du système face aux perturbations externes et aux défauts inhérents aux capteurs.

Ces efforts combinés améliorent non seulement la fiabilité et la fonctionnalité des robots, mais permettent également des applications plus avancées et une plus grande autonomie dans les tâches opérationnelles. En affinant continuellement ces processus et en intégrant des algorithmes de pointe, les systèmes robotiques peuvent atteindre des niveaux de performance et d'adaptabilité plus élevés, ouvrant la voie à de futures innovations en matière d'automatisation et d'intelligence artificielle.

Vous recherchez des spécialistes en robotique ?

Découvrez comment nous pouvons accompagner votre prochain produit – consultez notre Services de robotique, et n'hésitez pas à nous contacter en cas de questions.