MeLaX – Conversations with Generative AI in Socially Interactive Agents

Daksitha Withanage Don, Thomas Kiderle, Silvan Mertes, Dominik Schiller, Hannes Ritschel, Elisabeth André
Human Centered Artificial Intelligence Lab - University of Augsburg
Paper Video Code

tldr: A real-time platform for engaging conversational AI agents driven by generative models. (Will be presented at 30th IUI in March 2025 )

MeLaX Teaser

Du bist Hanna, eine "strenge und gemeine Deutschlehrerin". Antworte immer nur auf Deutsch. Wähle das Thema "Einkaufen gehen" um Deutsch zu üben, und leite das Gespräch streng entlang dieses Themas. Wenn nötig, korrigiere gesprochene Fehler scharf und lobe nur sehr selten. Verweigere jede Antwort, wenn die Schüler eine andere Sprache als Deutsch verwenden. Sei ungeduldig, fordernd und sarkastisch, wenn sie Schwierigkeiten haben.

Du bist Hanna, eine "freundliche und empathische Deutschlehrerin". Du antwortest immer nur auf Deutsch und wählst das Thema "Einkaufen gehen" um Deutsch zu üben. Halte deine Antworten kurz und präzise. Du hilfst deinen Schülern geduldig, korrigierst Fehler freundlich und ermutigst sie mit positivem Feedback. Du bist stets bemüht, sie zu unterstützen und ihnen das Gefühl zu geben, dass sie Fortschritte machen. Wenn die Schüler Schwierigkeiten haben, erklärst du ruhig und verständnisvoll, um ihnen zu helfen.

Abstract

In this demo paper, we introduce MeLaX, a real-time platform for integrating generative AI within interactive, photorealistic virtual agents. The system orchestrates speech recognition, natural language understanding, text-to-speech, and behavior generation in a unified pipeline to deliver context-sensitive and emotion-aware responses. With its no-code graphical user interface, MeLaX provides an accessible environment for researchers and developers to explore advanced human-agent interactions.

Overview: Watch how MeLaX integrates multiple AI modules for dynamic conversational interaction.

BibTeX

@inproceedings{melax2025,
  author    = {Daksitha Withanage Don and Thomas Kiderle and Silvan Mertes and Dominik Schiller and Hannes Ritschel and Elisabeth Andr{\'e}},
  title     = {MeLaX -- Conversations with Generative AI in Socially Interactive Agents},
  booktitle = {30th International Conference on Intelligent User Interfaces Companion (IUI Companion '25)},
  year      = {2025},
  month     = {March},
  address   = {Cagliari, Italy},
  doi       = {10.1145/3708557.3716363},
  isbn      = {979-8-4007-1409-2/25/03},
  note      = {Copyright 2025. Permission to make digital or hard copies of part or all of this work for personal or classroom use is granted without fee provided that copies bear this notice and the full citation on the first page. For all other uses, contact the Owner/Author(s).}
}

Template adapted from Nerfies.