Agents d'IA conversationnels et incarnés en XR
Des avatars et des personnages qui écoutent, parlent et agissent en réalité mixte et dans le navigateur, grâce à des modèles de parole et de langage en voix full-duplex.
HES-SO Valais-Wallis · Institut Informatique
Technologies interactives appliquées
Nous combinons la réalité étendue avec l'intelligence artificielle et la vision par ordinateur pour créer des systèmes interactifs qui perçoivent les personnes, les comprennent et leur répondent en temps réel, et nous les sortons du laboratoire vers la santé, la formation, l'inclusion et l'industrie.
OùSierre, Suisse
DomainesXR · IA · Vision par ordinateur
PourSanté · Formation · Inclusion · Industrie
À propos
Qui sommes-nous ?
AppiTech (Applied Interactive Technologies) est un groupe de recherche de l'Institut Informatique de la HES-SO Valais-Wallis, dirigé par le Prof. Antoine Widmer. Nous concevons des systèmes immersifs et intelligents (réalité mixte et virtuelle, avatars conversationnels, capture du corps et du regard) et nous les évaluons avec les personnes qui les utiliseront : thérapeutes, soignant·es, enseignant·es, étudiant·es et patient·es.
Nous travaillons en étroite collaboration avec des partenaires cliniques, académiques et industriels en Suisse et en Europe. Nos projets vont de la co-conception aux études de terrain, et nous développons les outils ouverts dont nous avons besoin pour mesurer ce qui se passe dans une expérience immersive.
Centré sur l'humain
Les personnes gardent le contrôle : nos systèmes sont co-conçus avec les praticien·nes et évalués en situation réelle.
Appliqué
Du prototype au déploiement, sur casques autonomes, dans le navigateur, en clinique et dans l'atelier.
Ouvert et souverain
Une infrastructure auto-hébergée et open source lorsque c'est possible, pour garder la maîtrise des données sensibles.
Recherche
Cinq axes de recherche
Nos travaux se situent à la rencontre de la réalité étendue et d'agents d'IA capables de percevoir, de raisonner, de converser et d'agir, tout en laissant le contrôle aux personnes. Ils s'organisent autour de cinq axes complémentaires.
Perception : vision par ordinateur et capture du corps
Comprendre les personnes, les tâches et les espaces en temps réel : caméras portées qui suivent une tâche pendant son exécution, regard, scan de la pièce et capteurs événementiels.
Expériences immersives thérapeutiques et sociales
Des environnements en réalité mixte et en VR sociale pour la thérapie et la prévention, conçus avec des clinicien·nes pour les enfants, les adultes et les seniors.
Données immersives et évaluation
Enregistrer ce qui se passe pendant une session XR (événements, positions, regard, conversations) pour évaluer les expériences et les adapter, avec des outils ouverts.
Applications et impact sociétal
Amener ces systèmes dans la santé, la formation en santé, l'inclusion et l'industrie, avec une attention particulière à la protection des données, à la souveraineté, à l'accessibilité et au multilinguisme.
Projets
Projets de recherche
Une sélection des projets que nous menons ou auxquels nous contribuons.
THCS · cofinancé par l'UE
En cours
Santé mentale
IPC4MH – Centres de prévention immersifs pour la santé mentale
Des centres de prévention immersifs qui combinent des séances de groupe supervisées en VR sociale et des exercices guidés à domicile, pour deux publics : des jeunes avec des troubles du neurodéveloppement et des seniors présentant une fragilité dépressive ou cognitive. Avec Nantes Université (LS2N), le CHU de Nantes, l'Institut de psychologie de l'Académie polonaise des sciences, C2Care et DiverSSity.
Innosuisse
En cours
Neurodéveloppement
DiverSSity – La réalité mixte au service de la thérapie des enfants
Une plateforme thérapeutique en réalité mixte sur Meta Quest pour les enfants avec un trouble du spectre de l'autisme ou un TDAH : un jardin magique, un aquarium, un jeu où l'on tranche des fruits, une fête et une salle Snoezelen pour se calmer, avec une jardinière qui parle avec l'enfant.
Innosuisse
En cours
Inclusion
XR4Inclusion – S'exercer aux situations de travail en XR
Des simulations en réalité étendue de situations professionnelles, comme la pause café ou l'entretien d'embauche, co-construites pour les jeunes sur le spectre de l'autisme. Ils parlent à voix haute avec des personnages 3D expressifs et reçoivent un retour à la fin.
Innosuisse
En cours
Industrie
Guidage par IA pour les opérateurs industriels
Un système basé sur l'IA qui guide les opérateurs industriels étape par étape, en temps réel, grâce à des caméras corporelles intelligentes. Il détecte automatiquement les erreurs, réduit les temps d'arrêt et aide à exécuter des tâches complexes de manière sûre et efficace.
En service
Formation en santé
CareConverse – S'entraîner à la conversation avec des personas IA
Les étudiant·es en santé s'entraînent à des conversations difficiles, à voix haute, avec un·e patient·e ou un proche joué par une IA. Les enseignant·es écrivent les scénarios sans programmer ; la plateforme suit les objectifs d'apprentissage en direct et donne un retour. Les scénarios existent en français, en allemand et en anglais, avec une voix en suisse allemand, et aussi en scènes de groupe.
Prototype
Agents incarnés
Greta – Un avatar conversationnel d'une réalité à l'autre
Greta, la jardinière de DiverSSity, devient un avatar piloté par la voix qui converse en réalité mixte et dans le navigateur. C'est notre banc d'essai pour la parole, la lecture expressive et les actions d'avatar, et elle peut présenter le laboratoire elle-même.
Open source · AGPL-3.0
En cours
Outils de recherche
XRXP – Suivi d'expériences en XR
Une plateforme open source pour enregistrer et analyser des expériences en XR. Nous utilisons une version adaptée qui ajoute une vue en direct du casque, des scans de la pièce avec les déplacements des participant·es et des vues de progression pour les professionnel·les. Elle enregistre les sessions de nos propres projets.
Personnes
Équipe
Prof. Dr Antoine Widmer
Professeur d'informatique · Responsable d'AppiTech
Ses recherches combinent les technologies immersives avec l'IA et la vision par ordinateur pour créer des systèmes interactifs qui comprennent le comportement humain et y répondent en temps réel, pour la santé, la formation et l'industrie.
Noah Richert
Doctorant · Ingénieur en réalité mixte et vision par ordinateur
Travaille sur les données immersives pour la prévention en santé mentale et sur le développement en réalité mixte.
Valentin Pasquier
Développeur en réalité mixte
Développe XR4Inclusion et les autres projets de réalité mixte du laboratoire.
Maxvell Arulraj
Ingénieur en vision par ordinateur
Travaille sur des projets industriels qui utilisent la vision par ordinateur pour aider les opérateurs dans leurs tâches.
Publications
Publications récentes
-
A. Widmer, S. Bulteau, R. Malo, P. Matusz, N. Richert, J.-P. Rivière, P. Tomalski, Y. PriéII International Congress: Metaverse for the Good – II EMRN Conference, 2025
-
N. Richert, A. Widmer, Y. PriéII International Congress: Metaverse for the Good – II EMRN Conference, 2025
Partenaires
Nous travaillons avec
Nantes Université – LS2N
CHU de Nantes
Institut de psychologie, Académie polonaise des sciences
C2Care
DiverSSity SA
Clinique Dis7
EDHEA
Orif
Haute École de Travail Social (HETS), HES-SO Valais-Wallis
RimonTech
Innosuisse
Contact
AppiTech – Applied Interactive TechnologiesCollaborer avec nous
Nous accueillons volontiers des collaborations avec des partenaires cliniques, académiques et industriels, ainsi que des étudiant·es en Bachelor, Master et doctorat intéressé·es par la XR et l'IA.
Institut Informatique, HES-SO Valais-Wallis
Sierre, Suisse
antoine.widmer@hevs.ch