Robot avatar – un AMR pour les expériences de téléprésence

Création robots de service professionnels qui génèrent de la valeur business nécessite de trouver un terrain d'entente entre de nombreux univers technologiques, ce qui peut représenter un défi. Ceux-ci incluent les composants matériels et robotiques, les systèmes embarqués, la vision par ordinateur, les services cloud et les applications destinées aux utilisateurs finaux. Nous avons construit le robot Avatar dans le cadre de notre R&D interne pour prouver notre expertise en robotique.

Qu'est-ce que – ou plutôt « qui » – est le robot Avatar ?

Avatar est un robot mobile autonome (abrégé en AMR) qui se déplace dans des espaces intérieurs. L'appareil reconnaît son environnement, se déplace librement dans la zone spécifiée et cible et identifie les objets à proximité. L'idée principale des robots de téléprésence est de permettre aux utilisateurs d'interagir à distance avec un environnement éloigné.

Cas d'usage du robot avatar – visite de showroom à distance

le bureau de Spyrosoft à Szczecin dispose d'un showroom présentant des démonstrations de robotique et d'initiatives HMI. Les clients peuvent visualiser nos dispositifs de R&D à distance via Avatar, sans présence humaine réelle dans la salle.

L'utilisateur choisit un créneau horaire disponible dans le calendrier des visites. Il lance ensuite une démonstration à distance via une application mobile. Le robot Avatar s'allume, salue l'utilisateur et se met au travail. Tout d'abord, le robot scanne la pièce et crée une carte pour se déplacer librement en évitant les obstacles.

L'appareil fonctionne selon l'algorithme du suiveur de mur. Le choix de la méthode de navigation a été mûrement réfléchi, car les appareils présents dans la salle d'exposition sont disposés contre le mur. Mais il arrive parfois qu'une démonstration se déroule dans un autre coin ou que l'appareil ne soit pas dans la salle, comme c'est le cas, par exemple, lorsqu'il est présenté lors d'un événement sectoriel. C'est pourquoi Avatar ne dispose pas d'une carte rigide, mais à chaque nouvelle session, il examine son environnement.

Le client suit le robot à distance grâce à la diffusion vidéo de la caméra. En parallèle, le vision par ordinateur la fonctionnalité commence. Le robot s'approche de chaque démonstration R&D, la reconnaît et la marque. Le robot avatar se déplace d'un appareil à un autre et, après avoir parcouru toute la salle, revient à sa position de départ.

L'utilisateur peut contrôler l'Avatar dans l'application. Il sélectionne un projet sur lequel il souhaite en savoir plus. Notre robot mobile s'arrête devant la démo afin que le client puisse l'examiner de plus près. En même temps, des informations sur l'initiative de R&D sont affichées, notamment une description, des photographies ou une vidéo du produit, ainsi qu'un aperçu des technologies et de l'architecture. Lorsque la visite à distance se termine, le robot dit au revoir, et le client reçoit un e-mail avec un ensemble de ressources sur le projet qui a retenu son attention.

Pourquoi avons-nous créé le robot mobile autonome ?

En menant le projet de robotique Avatar, nous voulions démontrer que nous pouvons créer des solutions à partir du concept en parcourant toutes les phases de développement système, des exigences métier et système à l'architecture logicielle et à la conception, en passant par l'implémentation et les tests.

Le robot Avatar a été créé dans le cadre du Dojo afin que nous puissions perfectionner nos compétences techniques en tant qu'équipe.

À propos de Dojo – la R&D à impact de Spyrosoft

Dojo est un espace où nous créons des projets dictés par les besoins métiers et technologiques. Nous menons des initiatives qui découlent des demandes du marché. Cela est également intéressant pour les employés de Spyrosoft et renforce leurs compétences. En conséquence, nous sommes en mesure de nous préparer à des projets clients ambitieux. Nous présentons souvent les résultats de notre travail au sein du Dojo lors de conférences ou d'événements sectoriels.

Le Dojo ne consiste pas seulement à mener à bien une initiative, mais aussi à transmettre les connaissances que nos collaborateurs acquièrent au cours du processus, afin que, par la suite, les deux parties – le client et le collaborateur – se sentent en confiance pour travailler sur un produit commercial. Lors du développement d'Avatar, plusieurs personnes ont approfondi leurs connaissances de ROS ou découvert la vision par ordinateur. Certaines d'entre elles sont déjà passées de la R&D à un projet de robotique « classique ». D'autres perfectionnent leurs compétences tout en travaillant au développement du produit.

Marieta Węglicka,
CTO chez Spyrosoft Synergy, responsable du Dojo Vision Crew

La technologie derrière le robot Avatar

Le système robotique Avatar est basé sur ROS2. Il est conçu pour fonctionner dans une zone préalablement inconnue, en découvrant automatiquement la carte et en recherchant des artefacts donnés.

Pour apprendre automatiquement la topologie de l'espace, nous avons étudié et intégré des algorithmes SLAM basés sur le lidar – implémentés dans le package de planification ROS2 – Navigation2. En nous appuyant sur Navigation2, nous avons dû implémenter un package d'exploration en temps réel utilisant des algorithmes de découverte de topologie. Les algorithmes de topologie sont conçus pour fonctionner aussi bien avec de grands qu'avec de petits espaces de travail, grâce à leur capacité à traiter la carte en sous-zones, à l'image des algorithmes SIG. Cette approche offre à la fois performance et localité des directions dans lesquelles le robot va explorer.

Avatar est également préparé à détecter les artefacts, en l'occurrence d'autres projets Spyrosoft, depuis les petits écrans connectés à un MCU jusqu'aux immenses IVI embarqués dans l'automobile. Nous avons conçu des systèmes de vision par ordinateur alimentés par des algorithmes d'apprentissage automatique pour atteindre cet objectif. Tout ce qui précède est créé sous forme de système distribué pouvant être testé dans un environnement simulé comme Gazebo.

Coopération interdomaines

Avatar est un projet de bout en bout. Il combine plusieurs domaines technologiques :

• la sélection du matériel et des composants et la construction d'un robot,
• développement delogiciel embarqué qui comprend la reconnaissance et la cartographie de l'environnement, la diffusion audio et vidéo, ou détection d'objets par vision par ordinateur,
• la conception et la mise en œuvre d'une application destinée à l'utilisateur final pour contrôler le robot et découvrir l'environnement à distance,
• l'architecture de communication entre le robot et l'application, avec services cloud au milieu.

Le plus grand défi a été d'établir une coopération interfonctionnelle. Au début, il y a eu des frictions car il a fallu beaucoup d'efforts aux spécialistes de différents domaines d'expertise pour trouver un terrain d'entente. Plus nous avancions dans l'initiative, plus leurs domaines se recoupaient. Au bout d'un moment, la coopération fonctionnait comme une machine bien huilée, et Avatar prenait vie. Nous avons ouvert la voie, nous avons monté en compétences individuellement mais aussi en tant qu'équipe, et nous nous sentons désormais plus confiants que jamais pour entreprendre des projets d'envergure.

Marieta Węglicka,
CTO chez Spyrosoft Synergy, responsable du Dojo Vision Crew

Au sein de l'entreprise, nous avons des ingénieurs cloud, des développeurs logiciels, des experts en vision par ordinateur et des personnes familières avec le matériel et la construction de robots. Mais pour construire quelque chose de stable en temps réel et performant, nous avons dû mettre beaucoup l'accent sur les espaces entre les domaines et veiller à ce qu'il y ait suffisamment de compréhension. Autrement, nous aurions une sorte de solution – des applications fonctionnant en silos, peu pratiques à fusionner, sans parler de l'optimisation du système.

Ce projet exigeait un décloisonnement des domaines technologiques dès le premier jour. Toutes les personnes impliquées – ingénieurs cloud ou programmeurs en vision par ordinateur – se sont familiarisées concrètement avec ROS, alors même que seuls les développeurs de logiciels embarqués utilisent cette plateforme au quotidien. Cela a fonctionné dans les deux sens : les spécialistes de l'embarqué se sont initiés au cloud et introduisaient des modifications dans les services AWS afin d'observer leur impact sur les performances de l'application.

Où pouvez-vous rencontrer Avatar ?

La date limite de chaque initiative Dojo est fixée lors d'un sommet technologique au cours duquel nous présentons les résultats de nos travaux de R&D. Avatar est notre premier projet d'une telle envergure et jouera un rôle de premier plan dans notre début dans la robotique. Comme pour le robot, nous analysons actuellement le marché afin d'identifier les événements où nous pouvons trouver un terrain d'entente avec d'autres passionnés du secteur.

D'ores et déjà, nous pouvons vous annoncer qu'Avatar participera au sommet du Pittsburgh Robotics Network cet automne. Rendez-vous là-bas !

Construisez votre robot mobile autonome avec nous

Vous cherchez une entreprise à qui confier votre projet AMR ?

Vous trouverez ici plus d'informations sur le périmètre de notre services de robotique professionnelle et comment nous donnons vie aux idées.

FAQ : Robot avatar