← TravauxMSc DataScale · projet en binôme avec Youcef Bouagada
Des règles et un LLM qui se contrôlent : extraire un graphe de connaissances vérifiable
Textes scientifiques français → triplets RDF/OWL : NER, règles syntaxiques, recours LLM, validation par l'ontologie et raisonnement OWL-RL. F1 0,81 contre 0,73 (règles) et 0,75 (LLM seul).
- Rôle
- Co-concepteur et co-développeur
- Période
- 01 — 03 · 2026
- Statut
- Projet académique — corpus de 50 phrases
- Outils
- spaCyLlama-3RDFLibOWL 2 / owlrlStreamlit
01Vue d'ensemble
Transformer des textes scientifiques français en triplets RDF/OWL cohérents. Les règles linguistiques sont précises mais couvrent peu ; les LLM couvrent beaucoup mais inventent des relations.
MSc DataScale, Université Paris-Saclay / UVSQ — projet mené en binôme avec Youcef Bouagada.
Ce que j'ai fait personnellement
- 01Co-conçu le pipeline en cinq modules et co-écrit le code, le rapport (47 p.) et la soutenance.
02Contraintes
- Standards ouverts RDF, RDFS, OWL 2 ; triplets traçables jusqu'à leur phrase.
- Limites de débit de l'API de génération.
03Architecture
- 01
Entités
spaCy, EntityRuler, heuristiques, normalisation et filtrage des mentions.
- 02
Relations par règles
Dépendances syntaxiques, sujet–verbe–objet, dictionnaire vers les propriétés de l'ontologie.
- 03
Recours LLM
Llama-3 quand aucune règle ne couvre la relation.
- 04
Validation et raisonnement
Domaines, portées et classes contrôlés ; inférence OWL-RL ; export et interface Streamlit.
Pipeline neuro-symbolique en cinq modules.
04Décisions d'implémentation
- 01
Laisser l'ontologie refuser
Un triplet qui viole le domaine ou la portée d'une propriété est rejeté, quelle que soit sa source — règle ou LLM.
05Difficultés
Entités fusionnées
Une abréviation suivie d'un pronom en majuscule devenait une seule entité : règles de segmentation et filtre de mentions anormales.
Relations hallucinées
Une ville reliée à un produit sans preuve textuelle : rejet par les contraintes de l'ontologie et le typage sujet/objet.
Limites de débit
Cache LRU, attente exponentielle et solution de repli.
06Évaluation
150 triplets de référence annotés à la main par deux annotateurs (accord κ = 0,87), sur 50 phrases françaises.
| Configuration | Précision | Rappel | F1 |
|---|---|---|---|
| Règles seules | 0.92 | 0.61 | 0.73 |
| LLM seul | 0.67 | 0.84 | 0.75 |
| Hybride complet | 0.84 | 0.78 | 0.81 |
Scores propres à ce protocole académique.
07Résultats
- Le meilleur compromis entre couverture et contrôle sémantique, mesuré.
Limites
- 50 phrases : ce n'est pas une validation sur des milliers de documents industriels.
08Ce que j'en retiens
- 01Faire contrôler un générateur par un vérificateur symbolique est plus robuste que de l'affiner seul.
09Preuves