L’IA qui veut cliquer à notre place dans Tekla et Robot… on en parle ?

On passe déjà assez de temps à jongler entre Tekla, Robot, SCIA et compagnie, à vérifier nos descentes de charges, ajuster des sections, et se battre avec les normes. Alors, quand une IA débarque en disant qu’elle peut cliquer, scroller et exécuter des commandes à notre place, forcément, ça intrigue.

C’est exactement ce que propose UI-TARS, une IA développée par ByteDance (oui, ceux de TikTok, mais restons sérieux). Contrairement aux IA habituelles qui pondent des rapports ou des calculs, celle-ci se comporte comme un utilisateur : elle regarde l’écran, comprend les boutons et les menus, et interagit avec le logiciel comme nous le ferions… enfin, en théorie.

Sur le papier, on peut rêver : un assistant IA qui génère automatiquement les plans d’exécution, exporte des nomenclatures ou ajuste les paramètres de calculs en fonction des résultats ? Ça pourrait nous économiser des heures de clics inutiles et nous éviter des tendinites à force de paramétrer nos maquettes. Imaginez une IA qui modifie un ferraillage sur Tekla en respectant l’Eurocode ou qui ajuste un modèle sous charges accidentelles dans Robot en fonction d’un retour de notes de calcul. Pas mal, non ?

Mais soyons honnêtes : nos logiciels ne sont pas juste des tableurs géants qu’on peut automatiser en appuyant sur "Exécuter". Un clic mal placé sur Robot et c’est un modèle qui explose. Une mauvaise interprétation d’une maquette et on se retrouve avec un ferraillage qui respecte plus l’art abstrait que le DTU. Pour l’instant, cette IA ressemble plus à un stagiaire motivé mais maladroit qu’à un ingénieur qui connaît son métier. Elle peut faire des choses, mais il faut la surveiller.

Alors, gadget ou révolution ? Difficile à dire. Pour l’instant, les tests montrent qu’elle est capable d’exécuter certaines tâches basiques, et qu’elle peut même apprendre de ses erreurs. Mais est-ce suffisant pour lui confier nos maquettes structurelles ? Clairement pas encore. Disons qu’elle pourrait devenir un assistant pour certaines tâches répétitives, mais pas question de la laisser signer un calcul béton ou approuver un modèle dynamique… pas tout de suite, du moins.

UI-TARS en action – Quand l’IA prend les commandes…

Références

• L’étude originale sur UI-TARS, menée par ByteDance et Tsinghua University, expliquant son fonctionnement et ses résultats sur différents benchmarks.

• L’article de DeepLearning.AI, "UI-TARS Shows Strong Computer Use Capabilities in Benchmarks", qui compare UI-TARS à d’autres agents IA comme GPT-4o et Claude 3.5 Sonnet.

• Une démonstration vidéo de UI-TARS, disponible ici : Regarder la vidéo, où l’IA tente de contrôler une interface logicielle.