Le bon manuel
H72 sur une Aquarea, le ballon affiche une température incohérente.
SKU WH-UD09LE5 résolu : la réponse ouvre la p.184 du manuel Série J. Le technicien contrôle capteur, connecteur et PCB — pas une hypothèse de débit ou de recharge.
HVAC-BENCH V1 · MESURES GELÉES LE 31 AOÛT 2026
La preuve avant
le devis.
Branchez une connaissance CVC sourcée derrière votre GMAO, votre bot ou votre agent IA. AskMarcel donne la page constructeur applicable — ou s’abstient quand l’identité machine ou la source manque.
AskMarcel policy
- Extrait constructeur seulement après résolution du SKU
- no_exact_source et model_ambiguous non facturés
- REST, MCP et Harnais : trois contrats distincts
identity resolved + exact source
→ cited procedure
missing source or ambiguous model
→ structured abstention
→ cited procedure
missing source or ambiguous model
→ structured abstention
La règle qui protège vos interventions
Un système utile sait aussi dire non.
Un LLM peut répondre vite, avec aplomb, et vous envoyer vers le mauvais manuel. AskMarcel ne vend pas une réponse plus bavarde : il impose une règle de provenance à votre logiciel.
SKU résolu + manuel applicable + code couvert
→ Extrait sourcé : document, page, section et valeur
Identité incomplète, modèle ambigu ou manuel absent
→ Abstention structurée : la donnée manquante est demandée
Le nouveau benchmark
La preuve ne se résume pas à un pourcentage.
18 cas ont été gelés avant notation. Trois modèles, deux conditions, deux noteurs indépendants et 97 réponses notées. Nous séparons volontairement ce qui est trouvé de ce qui est refusé.
Quand la page exacte existe
5 codes Panasonic Aquarea documentés · bras avec outils AskMarcel et politique d’usage
| Modèle | Preuve exacte applicable | Invention constructeur |
|---|---|---|
| GLM | 5/5 | 0/5 |
| Luna | 5/5 | 0/5 |
| Deepseek | 4/5 | 0/5 |
Quand il faut s’abstenir
Source absente, piège de marque ou modèle ambigu · bras avec AskMarcel
| Modèle | Abstention correcte | Invention |
|---|---|---|
| GLM | 8/9 | 1/9 |
| Luna | 9/11 | 0/11 |
| Deepseek | 3/9 | 6/9 |
Sécurité : 0/12 réponse dangereuse sur les cas R32 et intervention sous tension.
Ce benchmark n’est ni une certification HVAC, ni une mesure de la couverture de tout le parc. Il mesure une politique de preuve sur un holdout borné.
Choisissez votre porte d’entrée
Même base. Trois façons de la rendre utile.
Vous n’achetez pas un chatbot de plus. Vous ajoutez la bonne couche de connaissance à l’outil que vos équipes utilisent déjà.
Pour votre GMAO, ERP ou portail SAV
API REST
Résoudre un modèle, retrouver le manuel et renvoyer une procédure sourcée — ou no_exact_source.
Contrat v2 strict : pas de manuel exact, diagnostic nul.
Developer gratuit · 250 req/mois
Pour Claude, ChatGPT, Gemini et vos agents
MCP
Votre agent appelle Marcel ; le serveur garde l’autorité sur les extraits et la provenance.
Holdout 18 cas + replays fail-closed.
10 outils lookup GA · Harnais public : 15
Pour le dépannage guidé sur le terrain
Harnais Beta
Une session journalisée, des actions sûres autorisées et une synthèse reproductible — pas un chat libre.
16/16 smokes et 4/4 histoires de session.
PAC Air/Eau et Air/Air uniquement
Ce que votre client voit
Le premier passage mérite mieux qu’une réponse plausible.
Le refus qui évite une pièce commandée
U4 sur un split Daikin : “je remplace la carte ?”
Le modèle est connu, mais aucune page exacte n’est applicable. L’API retourne no_exact_source : votre interface demande la notice, sans faire passer une supposition pour une citation constructeur.
Le garde-fou sécurité
“Je sens le R32, je rentre mesurer la pression ?”
Halt, aération, alerte. La session ne transforme pas une situation à risque en checklist de dépannage. Sur cette strate : 0 réponse dangereuse sur 12.
L’actif déjà prêt à brancher
Le corpus avant les promesses.
Une couche de connaissance CVC structurée, disponible derrière vos surfaces, avec une latence moyenne d’environ 250 ms.
400 000+
codes erreur sourcés
126
marques
905
modèles
11
langues en production
Des limites dites clairement
C’est précisément ce qui rend le benchmark crédible.
- Ce n’est pas une certification HVAC ni un score de “diagnostic réussi” sur le parc français.
- La preuve exacte du holdout porte sur cinq codes Panasonic Aquarea documentés au gel.
- Le test compare outils AskMarcel + politique d’usage, pas l’effet isolé du protocole MCP.
- Les 24/24 API et 16/16 Harnais valident des contrats et des sessions, pas une précision LLM universelle.
Faites vérifier votre cas réel, pas une démo.
Prenez une clé gratuite, soumettez un SKU et un code que vous connaissez, puis comparez la réponse à votre manuel. Si vous avez besoin de l’intégrer sans mobiliser une équipe produit, le pilote Marcel Inside est là pour ça.
AskMarcel est un outil indépendant. Les marques citées appartiennent à leurs propriétaires respectifs.