Une valeur juste, attribuée au mauvais objet

Quand on évalue un système qui extrait des informations de documents techniques, la première question est presque toujours : la valeur est-elle juste ? C'est une bonne question, mais ce n'est pas la plus coûteuse.

L'erreur qui ne se voit pas

Prenez un rapport de fin de puits. Il décrit un puits principal, une branche déviée, et cite un troisième puits — voisin — comme référence géologique. Les trois ont une profondeur finale, écrite quelque part dans le document. Demandez à un système RAG classique « quelle est la profondeur finale ? » : il retrouvera l'extrait le plus similaire à la question et répondra avec une valeur plausible, bien formatée, issue du texte.

Elle peut être parfaitement exacte — et appartenir au mauvais objet.

Dans un référentiel, cette erreur est pire qu'une valeur manquante : elle passe les contrôles de format, elle a l'air sourcée, et elle contamine tout ce qui s'appuie sur la donnée maître.

Séparer « qui » de « quoi »

La réponse qui a fonctionné dans mon travail n'est pas un meilleur prompt. C'est une séparation du problème en deux passes :

1. Recenser les objets dont parle le document, avec leurs identifiants et leur rôle — sujet principal, branche, ou simple référence à exclure.
2. Extraire les attributs sous contrainte de cette liste : une valeur ne peut être rattachée qu'à un objet déjà identifié.

Le principe des deux passes n'est pas nouveau. Ce qui change tout, c'est de le combiner avec une navigation guidée par la structure du document — sections, titres, résumés — plutôt qu'avec des extraits fixes sans contexte, et de modéliser la hiérarchie métier pour qu'un puits voisin ne puisse pas devenir le sujet.

Mesurer à deux niveaux

Si l'on mesure seulement la justesse des valeurs, on récompense le système qui répond toujours quelque chose. J'ai donc séparé l'évaluation :

• L1 — l'identification : le système a-t-il trouvé les bons objets sujets, ni plus ni moins ?
• L2 — les attributs : sur les objets correctement appariés, les valeurs sont-elles justes ?

Les objets manqués, mal identifiés et inventés sont comptés à part. Ce découpage a révélé quelque chose qu'un score unique masquait : le modèle le meilleur pour trouver les objets n'était pas le meilleur pour extraire leurs attributs. D'où un système composite, qui confie chaque étape au modèle le plus adapté, en arbitrant qualité et temps d'inférence.

Ce que je retiens

• Une valeur sans son objet n'est pas une donnée : mesurez l'attribution.
• Une métrique moyenne choisit à votre place ce qui compte ; découpez-la.
• Écrivez les limites à côté des résultats. Sur ce sujet, elles existent : certaines branches restent difficiles à retrouver, l'OCR plafonne certains attributs, et rien ne démontre qu'une approche sans vecteurs soit universellement meilleure.

Les chiffres de ce travail restent internes à l'entreprise ; cette note n'en décrit que la méthode.