Un adhérent demande à un chatbot le montant de sa cotisation. La réponse arrive vite, bien tournée, presque rassurante. Elle est fausse.

Ça tient à la nature même des modèles de langage grand public : ils complètent une phrase avec le mot le plus probable, pas avec la vérité vérifiée. Quand l'information figure dans leurs données d'entraînement, le résultat est souvent bon. Quand elle n'y figure pas, dans vos statuts, votre règlement intérieur ou votre grille tarifaire à vous, le modèle ne s'arrête pas. Il continue. Il produit une phrase plausible, avec le même ton assuré que s'il connaissait la réponse.

Le piège de l'assurance

Un humain hésitant se trahit. Il bafouille, il dit "je crois que", il propose de vérifier et de rappeler. Un modèle générique, lui, ne montre jamais son doute dans le texte qu'il écrit. Statistiquement, "je ne sais pas" est une réponse rare face à une question directe. Alors le modèle génère autre chose : une réponse qui a la forme d'une bonne réponse, sans en avoir le fond.

Pour une recherche anecdotique, ça passe inaperçu. Pour une association, c'est différent. Le bénévole à l'accueil sait dire "je vérifie et je reviens vers vous" quand il ne sait pas. Un chatbot incapable de faire ça n'est pas un gain de temps. C'est un risque déguisé en service.

Des questions qui touchent à l'argent, pas seulement à l'information

Toutes les questions d'adhérents ne sont pas anecdotiques. Beaucoup portent sur des sujets où une erreur coûte cher : le montant d'une cotisation selon le profil, les conditions de remboursement en cas de désistement, les délais pour une réduction d'impôt sur un don, ou ce que dit précisément le règlement intérieur sur un point de procédure. Une IA générique qui invente un pourcentage ou une date ne se trompe pas seulement dans sa communication. Elle engage l'association sur une promesse qu'elle n'a jamais faite.

Et l'adhérent ne fait pas la différence. Le ton est le même que pour une réponse fondée. La mise en forme aussi. C'est justement ce qui rend le problème difficile à repérer, jusqu'au jour où quelqu'un réclame un remboursement sur la base d'un délai qui n'a jamais existé.

Ce que change une réponse qui cite ses sources

Le chatbot documentaire d'Assoc-IA fonctionne autrement. Il ne complète pas une phrase à partir de ce qu'un modèle a appris sur internet il y a des mois. Il va chercher la réponse dans les documents que l'association lui a confiés (comptes-rendus, statuts, grilles tarifaires, foire aux questions interne) et construit sa réponse à partir de ce contenu-là, en indiquant d'où elle vient. C'est ce qu'on appelle un système RAG.

Quand un adhérent demande le montant de sa cotisation, la réponse s'accompagne d'un renvoi vers le document source, la grille tarifaire votée en assemblée générale par exemple. Si l'information ne se trouve dans aucun document fourni, le système peut le signaler au lieu d'improviser un chiffre. La différence semble petite à énoncer. Elle change tout l'usage : un trésorier bénévole vérifie une affirmation en un clic, au lieu de recontrôler chaque réponse à la main, dossier par dossier.

Cette exigence de traçabilité n'est pas propre aux questions financières. C'est la même logique qui fait tourner daniel-ia.fr, l'assistant du Forum Jésus le Messie porté par l'association Dialogue et Annonce : face à des questions missionnaires ou théologiques, on ne répond pas à l'instinct, on répond en s'appuyant sur des textes identifiables. Le principe reste le même qu'il s'agisse d'un point de doctrine ou d'une grille de cotisations : une réponse vaut ce que vaut sa source.

La vérification humaine ne disparaît pas, elle change de nature

Sourcer une réponse ne dispense pas de la relecture. Rien n'est publié sans validation chez Assoc-IA, y compris pour les réponses du chatbot documentaire. Mais vérifier une réponse qui cite son origine prend quelques secondes : on ouvre le document indiqué, on confirme, on passe à autre chose. Vérifier une réponse sans source oblige à refaire l'enquête depuis zéro, ou pire, à faire confiance sans avoir les moyens de contrôler quoi que ce soit.

Pour une structure qui tourne avec deux salariés et une poignée de bénévoles, cette différence de charge n'a rien de théorique. Elle se traduit, semaine après semaine, par le temps qu'il reste pour parler aux adhérents plutôt que pour rattraper les malentendus qu'une réponse mal fondée a laissés derrière elle.

Pour un comparatif plus large entre ChatGPT et un assistant sur mesure, voir notre article ChatGPT vs assistant IA sur mesure.