Initiative HMI Dojo : un développement de jumeau numérique dans Unreal Engine 5

Imagine tracking work progress on a construction site not only with your eyes but remotely, whilst being far from the area. How much more convenient would it be to follow the machine’s surroundings not only via windows but with an extended view on a tablet inside the cockpit? Or try to estimate the savings that virtual simulations can offer instead of trying new approaches in real life.

This is the promise of the digital twin concept, a key area of the new HMI initiative run in Spyrosoft’s R&D programme. The project seeks to develop DigiTwin, a digital counterpart to a mini excavator, that replicates the physical machine’s functionality in the virtual realm using Unreal Engine 5 technology. In this article, we walk you through the journey of creating the DigiTwin, its current features and potential enhancements, keeping in mind how such a concept could shape the future of heavy machinery or agriculture secteurs.

Qu'est-ce que le développement d'un jumeau numérique ?

A digital twin development allows the creation of a digital counterpart to a real-world device like a vehicle, construction machinery, or even an entire entity such as a factory, shop, or field. This digital replica mirrors the object’s physical state and allows monitoring of the functions, simulating scenarios or conducting analysis without interfering with reality.

Digital twin supports decision-making for changes in physical facilities. For example, having a virtual copy of a supermarket, you can run scenarios for various cash registers and self-checkout arrangements and then introduce the one with the highest capacity.

Développement du concept de jumeau numérique dans le projet de R&D DigiTwin

Le DigiTwin est un projet spécifique entrepris dans le cadre d'unInitiative Dojo – programme interne de recherche et développement de SpyrosoftIl représente un jumeau numérique d'une machine spécifique, en l'occurrence une mini-pelle (d'où le nom – digger twin). L'objectif est de suivre le fonctionnement de l'appareil en temps réel et d'interagir avec lui via une application dédiée.

L'idée derrière l'initiative était de fournir un support pour les machines lourdes ou agricoles, le concept pouvant ensuite être transféré à d'autres dispositifs. Dans le cas du développement du jumeau numérique d'une excavatrice, le projet remplit deux rôles :

• DigiTwin aide l'opérateur à mieux contrôler la position de la machine grâce à une visualisation sur une tablette à l'intérieur du cockpit,
• Il permet au chef de chantier ou au superviseur de surveiller et d'accéder en temps réel aux informations relatives à l'appareil, même dans une zone géographique différente.

Although DigiTwin is still in progress (that is a constant state for R&D projects), several feature enhancements and upgrade ideas are still in the pipeline. Plans include controlling the machine from a tablet, tracking the excavator’s surroundings or supporting the operator, i.e., by transferring construction work parameters to the application and monitoring the level of reaching a target such as the depth or shape of an excavated trench.

DigiTwin en tant qu'initiative Dojo

L'initiative vise non pas simplement à créer un produit, mais à appliquer de nouvelles solutions et à ouvrir la voie en conditions de laboratoire avant de réaliser un éventuel projet dans ce domaine. C'est pourquoi le projet a été lancé dans le cadre de notre R&D interne, Dojo HMI.

Les objectifs que nous avons fixés lors du lancement de l'initiative comprennent les éléments suivants :

• en élargissant l'offre HMI avec des services de jumeau numérique,
• renforçant la visibilité de Spyrosoft sur le marché de l'agriculture et des engins de chantier,
• développement des compétences techniques sur Unreal Engine 5,
• l'évolution des capacités de conception 3D,
• approfondir la connaissance des services Microsoft Azure IoT.

Comment fonctionne DigiTwin ? Technologies utilisées

DigiTwin fonctionne grâce à la connectivité avec un modèle physique d'excavatrice. La machine est pilotée via un contrôleur et est équipée de capteurs qui collectent des données sur son mouvement et sa position.

Ensuite, les données sont transmises à l'IoT Hub dans le cloud Microsoft Azure. Le cloud sert de point de connexion entre le modèle physique et son jumeau numérique, représenté dans l'application fonctionnant sous Unreal Engine 5.

The Unreal Engine 5 application receives data from the cloud and mirrors the operation of the excavator in real-time, creating its dynamic 3D model. The person supervising the work may therefore have the physical machine out of sight but see its movements on the digital replica.

Matériel et modèle physique de la pelle

As none of us had a regular-sized machine in their garage, we bought a metal electric control digger EC160E Volvo Double-E-Hobby which is an exact copy of a 16-tonne excavator scaled in 1:14. As an operator’s tablet, we chose the iiyama ProLite T2736MSC-B1 27″ touch monitor.

Capteurs et contrôleurs

As the main microcontroller, we’ve picked the ESP32-S3 running FreeRTOS. It is responsible for sensor data gathering and communication with the Microsoft Azure cloud. The measurements themselves are done with four LSM6DSO IMUs from STMicroelectronics – three as accelerometers for the digger joint (movable arm segment) absolute angles and one as the gyro for the cabin rotation. All the MCU-sensors communication is based on the I²C protocol.

Modélisation 3D dans Blender et 3ds Max

The 3D model of the excavator for the DigiTwin project was created using Blender and 3ds Max. Both these platforms are well adapted for work with Unreal Engine. Although we faced some difficulties while importing data into Unreal Engine 5, eventually we came up with a refined method. You can read more about the case in the article Animations squelettiques dans Unreal Engine 5. Comment importer un modèle 3D ?.

Le rôle d'Unreal Engine 5

Unreal Engine is a game engine that enables the creation and rendering of advanced, realistic 3D objects and environments. Although primarily known for its usage in computer game production, it also finds application in other areas such as film, animation, architecture, engineering, and medicine.

Nous avons choisi Unreal Engine 5 pour le projet DigiTwin pour plusieurs raisons :

• ce moteur de jeu dispose déjà de mécanismes qui simplifient la création de solutions telles que les jumeaux numériques. Il permet le rendu de graphiques 3D avancés en temps réel, ce qui est crucial pour répliquer dynamiquement la machine dans l'application ;
• avec le rôle croissant de la 3D graphique dans divers secteurs, les fabricants de moteurs de jeu ont commencé à s'intéresser à d'autres marchés. Nous avons décidé de tester si Unreal Engine 5 est adapté aux secteurs de la construction et de l'agriculture ;
• le choix d'Unreal Engine a également été motivé par la volonté de développer les compétences de l'équipe. Nous voulions utiliser ce projet pour renforcer nos compétences, mettre en valeur les capacités de la technologie et proposer aux clients des solutions basées sur ce moteur.

Traitement des données dans IoT Hub de Microsoft Azure

As public clouds are one of the most convenient and available hosting and computing solutions, we turned to Microsoft Azure for that project. In the previous Dojo initiative, we got closer to Amazon Web Services, so this time, we agreed that we would get to know the second largest cloud service provider and eventually compare the two platforms.

Also, Azure cloud offers a wide range of services and tools related to the Internet of Things – IoT Hub – which is crucial for a project that involves collecting and transmitting data from sensors. We wanted to test how this module would work with Unreal Engine and how it would operate in practice.

Plans de développement futurs

Comme mentionné précédemment, le projet DigiTwin vise à approfondir les compétences plutôt qu'à commercialiser un produit prêt pour le marché. La version MVP, créée en plusieurs semaines, comprend « simplement » une réplication du mouvement de l'appareil physique dans Unreal Engine.

Cependant, nous avons encore plusieurs améliorations fonctionnelles et idées dans notre backlog, notamment :

• travailler sur l'environnement. Nous prévoyons d'affiner l'environnement dans lequel la machine opère pour le rendre plus réaliste et imiter les conditions réelles, telles qu'une zone de construction avec des barrages ou des pentes de terrain ;
• du point de vue de l'opérateur. L'animation actuelle couvre l'extérieur et nous prévoyons d'ajouter la perspective intérieure afin que l'opérateur dispose d'une vue de support sur la tablette ;
• extension à la réalité augmentée et virtuelle : il est possible d'étendre le produit à des capacités de réalité augmentée et virtuelle – en ajoutant l'option d'utiliser des lunettes AR/VR pour interagir avec la machine ;
• développement du processus de production. Nous visons à développer l'infrastructure pour l'ensemble du processus de production logicielle, y compris les systèmes CI/CD et les tests Unreal Engine ;
• connexion directe de l'appareil contournant le cloud. Parmi nos projets figure le concept de connexion de l'excavatrice à l'application Unreal via micro-ROS ;
• participation à des événements et salons du secteur. Après nos débuts lors de la rencontre locale Learn and Chat à Szczecin et de Car HMI Europe à Berlin, nous prévoyons de présenter DigiTwin lors de prochains événements.

Résultats à ce jour

Thanks to the work on DigiTwin, our HMI team was able to deepen its knowledge and experience in areas such as Unreal Engine 5, Azure, IoT, and the creation of digital twins. Now we will utilise the knowledge to develop the initiative further and launch commercial projects. What’s more, our stand at Car HMI received an extremely positive reception and encouraging feedback from the event’s participants. And still, more is yet to come.

>> Êtes-vous intéressé par un logiciel de jumeau numérique ? En savoir plus à propos de cette solution ici

Rencontrez le DigiTwin et les experts qui le soutiennent lors du Discovery Day 2023 par PRN

Le 16 novembre 2023, nous serons présents à l'événement Discovery Day 2023 organisé par le Pittsburgh Robotics Network au David L. Lawrence Convention Center.

Si vous souhaitez voir le DigiTwin en action, discuter de la mise en œuvre d'un projet ou découvrir les opportunités HMI pour votre entreprise, contactez-nous lors de l'événement ou laissez un message via le formulaire ci-dessous.