NeuroSym4MLLM
Neuro‑symbolique et connaissances
pour les LLMs multimodaux
Explorer comment graphes de connaissances, ontologies, règles et ressources documentaires peuvent améliorer la factualité, la robustesse et l’explicabilité des MLLMs – du RAG au raisonnement vérifiable, avec des applications à fort impact.
Résumé
Les MLLMs progressent rapidement, mais restent sujets aux hallucinations et à un raisonnement parfois fragile. L’atelier met l’accent sur l’intégration de connaissances structurées (graphe/ontologie/règles) et de ressources multimodales pour renforcer la factualité, la robustesse et l’explicabilité, et favoriser des décisions traçables dans des contextes exigeants (santé, industrie, énergie, environnement, etc.).
Organisation de la demi-journée - mardi 27 janvier 14h
- Guillaume Sarthou and Bastien Dussard — Repenser le rôle des LLMs : de système de raisonnement central à source de connaissances pour les systèmes d’IA symboliques
- Amani Mechergui — Querying Core Procedures Documents with Generative AI: A Case Study with benchmarks
- Edouard Haddag, Gabriel Medeiros and Lina F. Soualmia — Med-KAG, une approche de génération augmentée par des connaissances médicales : résultats préliminaires
- Socrates Waka Onyando, Ali Ayadi, Cedric Wemmert and Agnes Bloch-Zupan — Ontology-Aligned Prompting for Semantic RDF Extraction: A Case Study in Rare Oro-Dental Diseases
- Amal Beldi, Salma Sassi, Richard Chbeir and Abedrazzek Jemai — Vers une synthèse neuro-symbolique des dossiers médicaux électroniques : de GraphSynth aux LLMs multimodaux
- Slimane Arbaoui, Ali Ayadi, Ahmed Samet, Tedjani Mesbahi and Romuald Boné — Ontology Guided Large Language Model Pipeline for Structured Information Extraction from Battery Cell Datasheets
Thèmes de l’atelier
- Graphes de connaissances multimodaux (extraction & alignement image‑texte)
- Guidage & contraintes pour MLLMs (connaissances, règles)
- Injection de connaissances (RAG, graph‑augmented decoding)
- Grounding visuel & sémantique (localisation, correspondances concept‑image/texte)
- Raisonnement vérifiable (réponses avec preuves, cohérence logique)
- Réduction des hallucinations (vérification factuelle, contraintes ontologiques)
- Raisonnement de sens commun & connaissances expertes
- Explicabilité & traçabilité (chaînes de justification)
- Évaluation & benchmarks (robustesse, explicabilité, métriques)
- Ressources & pipelines (datasets multimodaux, outils d’annotation/extraction)
- Frugalité (distillation neurosymbolique, déploiement embarqué)
- Incertitude & calibration (confiance, propagation via KG/règles)
- Éthique, sûreté & conformité (biais, traçabilité réglementaire)
Domaines d’application
- Santé, médecine, biologie
- Usine du futur, industrie 4.0
- Environnement, télédétection, développement durable
- Ingénierie, robotique
- …
Types de contributions
- Résumés étendus : 4 pages (hors bibliographie)
- Articles longs : jusqu’à 12 pages (hors bibliographie)
- Démonstrations logicielles : 4 pages (hors bibliographie)
Les contributions (FR/EN) seront publiées dans des actes en ligne. Les prises de position argumentées, retours d’expérience et travaux en cours sont bienvenus.
Dates importantes
Comité de programme
- Ali Ayadi, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), Université de Strasbourg
- Cédric Wemmert, Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (ICube), Université de Strasbourg
- Ismaïl Baaj, Centre de Recherche en Informatique de Lens (CRIL), Université d'Artois
- Zied Bouraoui, Centre de Recherche en Informatique de Lens (CRIL), Université d'Artois
- Nicolas Loménie, Laboratoire d'Informatique Paris Descartes (LIPADE), Université Paris Cité
- Konstantin Todorov, Laboratoire d'Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM), Université de Montpellier
- Mathieu Serrurier, Institut de Recherche en Informatique de Toulouse (IRIT), Université Toulouse 3 Paul Sabatier
- Claudia Frydman, Laboratoire d'Informatique et des Systèmes (LIS), Aix-Marseille Université
- Maâmar El-Amine Hamri, Laboratoire d'Informatique et des Systèmes (LIS), Aix-Marseille Université
