Tomasz Smolarczyk, Head of AI, sur l'avenir de l'IA

Après la première partie de l'entretien avec notre Head of AI, Tomasz Smolarczyk, publié il y a quelques mois, nous revenons pour discuter de la durabilité et de l'avenir de l'IA.

Comment l'intelligence artificielle va-t-elle évoluer dans les prochaines années ?

At the organisational level, there’s an eminent change in the approach to AI and a greater emphasis on data that is being collected and prepared correctly in order to be further processed. Companies are now understanding that AI is not only an algorithm, but also the data that stands behind it. To receive better results, the focus is now switching from algorithm and code tuning to a more holistic approach on how to design the high-quality data collection and processing system as a whole, so it would be easier to train better models. There’s also larger pressure on hiring for data engineering and MLOps roles as organisations are gradually more aware of the fact that these roles have a huge impact on whether AI projects will be successful. 

When it comes to the research area, there’s an increase in trends related to designing more and more advanced deep neural network architectures that uses large data sets and powerful computational clusters. Just look at what happens with AI language models – the number of parameters in these models grows exponentially. Google has already presented their model in Switch Transformer architecture that has 1.6 trillion parameters – 6 times more than the previous large model GPT-3 from OpenAI. 

Another interesting trend is self-supervised learning, where random unlabelled examples are used to train a model. In April 2021, Facebook published their DINO model that has achieved better results using these mechanisms with more accurate prediction in image processing tasks, than would be possible using standard supervised learning techniques. 

Nous pouvons également observer comment les réseaux de neurones profonds sont employés pour résoudre des problèmes qui ne pouvaient pas être résolus à l'aide de méthodes traditionnelles. L'une des réalisations les plus marquantes dans ce domaine provient de DeepMind. Ils ont crééAlphaFold 2, un algorithme permettant de prédire le repliement des protéines jusqu'à 90Global Distance Test (GDT). Their project has recently won a competition that has been running since the ‘90s, where researchers from all over the world guess what the structure of new protein sequences will look like. It is considered that breaking 90 GDT is comparable with results obtained from experimental methods. 

Comment l'IA explicable évolue-t-elle actuellement ?

Un exemple parfait de l'évolution actuelle de l'IA explicable est un modèle de MI2 DataLab et MOCOS. Sur leur site web, you can verify the prediction of how likely it is for a given patient to be severely ill or die from Covid-19, based on historical data. Using a form on their website, you can enter your age and accompanying diseases, and you get a more accurate prediction that’s presented clearly,et vous pouvez voir ce qui impacte le résultat du modèle.

Ces techniques sont de plus en plus cruciales car elles peuvent être utilisées pour exposer les biais dans les données et les prédictions. Eux aussi évoluent pour mieux diagnostiquer et visualiser les biais, car certains modèles d'IA existants peuvent favoriser ou devenir préjudiciables envers certains groupes de personnes. Grâce à ces techniques de détection des biais, nous pouvons désormais créer des modèles plus universels et explicables en ajustant leur fonctionnement.

One of the examples of this bias is a Google translation where sentences in Turkish: ‘He/she is a nurse; He/she is a doctor’ were translated in English as ‘She is a nurse; He is a doctor’, and ‘He/she is lazy; He/she is hard-working’ as ‘She is lazy. He is hard-working’. This mistranslation has been fixed, and now the Turkish impersonal pronoun ‘o’ can be replaced with an appropriate pronoun in English automatic translations.  

La pandémie actuelle a été une période éprouvante pour l'IA – le nombre d'outils pouvant être utilisés pour prédire la propagation de la pandémie à long terme a augmenté.

Chez Spyrosoft, nous travaillons sur un telprojet bénéficiant d'un soutien financier du Centre National de Recherche et de Développement où – en collaboration avec U+GEO, une société spin-off de l'Université des Sciences Naturelles de Wrocław – en utilisant les données de mobilité, we have been developing simulations for the spread of infectious disease. We are able to verify how closing shopping centres or restaurants will affect the spread. We can also test various scenarios that can be then used for making decisions about what actions to take with less impact on the economy.    

Le manque de puissance de calcul est-il un obstacle au développement de l'IA ?

Surely, it is as text analysis models are becoming more and more advanced, so technical requirements for these models are – and will be – bigger. It’s important to add here that hardware is also evolving, with smartphones now being equipped with units exclusively for neural networks and prediction models for certain tasks. Just to give an example, the Apple A14 processor used in the iPhone 12 has special hardware for neural networks called the 16-core Neural Engine. It can process 11 trillion operations a second. It’s an unimaginable number of operations! These technologies are now being used in smaller and smaller devices, so it’s not only large server rooms that get upgraded. 

Comment l'IA peut-elle aider à résoudre les problèmes de crise climatique, et comment peut-elle être utilisée pour limiter l'utilisation des ressources ?

AI can, and is already, used for tackling climate crisis issues worldwide. One of the examples is an algorithm that allows you to create a video showing how you would look in certain clothes, so you don’t have to order them from an online store. I’ve seen a tool like that recently, et contrairement aux précédents, les vidéos créées avec cet outil sont de haute qualité, et elle pourrait facilement être utilisée dans le secteur du e-commerce. Cela permettrait de réduire les commandes en ligne et les retours, ce qui signifie également moins de ressources utilisées et une approche plus écologique.

Les Nations Unies ont établi une liste de17 objectifs mondiaux de développement durable, and one of them is tackling the climate crisis. Within this challenge, several AI-based projects have been set up, with one of the examples being a whale tracking tool that’s based on Machine Learning models and can automatically detect where these animals are located. 

Un autre exemple de la manière dont l'IA peut être utilisée pour inspirer l'action et être une force positive estutiliser les données pour confirmer des hypothèses et déconstruire le mythe selon lequel le monde deviendrait un endroit où il fait moins bon vivre. Des ouvrages fondés sur les données, tels que « Enlightenment Now » de Steven Pinker ou « Factfulness » de Hans Rosling, présentent une perspective unique sur le monde,démontrant que les personnes vivent plus longtemps et dans de meilleures conditions.

Y a-t-il encore un focus sur le développement de l'IA générale ?

There are still research groups that are working on this, but I don’t think that reaching a point where general AI exists is possible in the next few years. The current situation with the Covid-19 pandemic has not changed that, but on the other hand, nothing that could prove these groups wrong has happened so far. 

Est-il seulement possible d'atteindre une IA générale ?

Comme je l'ai mentionné ci-dessus, nous n'avons aucune preuve que cela soit possible ou non. Nous savons seulement que cela ne se produira pas aussi rapidement qu'on le pensait auparavant.

Some media were quick to proclaim the GPT-3 model prepared by OpenAI a SkyNet of the future (which is a reference to the Terminator series), but this model has not shown any signs of basic language understanding so far. Its results are impressive, but it doesn’t make general AI any more achievable. Par exemple, a human being understands that in the sentence ‘The corner table wants another glass of water’, it isn’t an actual table (an item of furniture) that needs some water, it’s a person that sits at the table in the corner. Existing models are not able to think this way.