L’IA générative peut parfois être utilisée sans les garde-fous qu’elle exige. Entre gain de temps réel et risques d'interprétation, où placer le curseur ?
Cadrer l'usage, le garde-fou indispensable
L'IA générative trouve sa place dans le traitement des données d’enquêtes de satisfaction, notamment pour absorber des volumes de questions ouvertes qu'un traitement manuel exhaustif ne permettrait pas d'exploiter dans les mêmes délais.
Encore faut-il ne pas s'y méprendre car ce gain ne se fait pas sans contrepartie. Plus le corpus est riche, plus le cadrage, le paramétrage et la vérification demandent de temps. En effet, l'IA générative ne remplace pas totalement ce travail car elle impose une nouvelle forme de paramétrages amont (les fameux prompts) et des vérifications à réaliser a posteriori de son intervention.
Ce n'est pas un outil qu'on actionne d'un clic et dont on récupère un résultat exploitable tel quel. En tout cas, si certains sont tentés d’en avoir cet usage, on retrouve bien souvent quelqu’un en fin de chaîne, se retrouver à devoir séparer le bon grain de l’ivraie et d’y passer un temps certain pas nécessairement vendu… Cet exemple parlera peut-être à quelques lecteurs de cet article.
Ce que l'IA générative permet en revanche quand elle est bien cadrée, c'est un gain réel en qualité d'analyse. Elle permet de produire des synthèses transversales sur des milliers de verbatims, de croiser des thématiques qui seraient restées noyées dans le volume, ou encore de formuler des premiers constats qu'un traitement manuel n'aurait tout simplement pas eu les moyens de faire émerger. C'est là que se situe l'apport concret, à distinguer d'une automatisation intégrale du traitement.
Dans notre pratique, l'IA générative intervient donc à des étapes précises. L’usage principal que nous en avons porte sur la synthèse de gros volumes de verbatims. Elle permet la détection de tendances thématiques dans un corpus qualitatif et la production de premiers jets de restitution que le chargé d'études reprend ensuite.
Elle ne remplace pas l'analyse, elle en accélère les phases exploratoires, à condition d'y consacrer le travail de cadrage et de vérification que cela suppose, bien évidemment.
Cette distinction mérite d'être posée clairement, car un usage réel bien circonscrit se confond parfois, dans le discours ambiant, avec un usage fantasmé, celui d'une IA qui analyserait seule, sans supervision, l'intégralité d'une enquête de satisfaction. C'est précisément l'écart entre ces deux usages qui expose aux risques que nous allons maintenant détailler.
Risques de l'IA générative pour l'analyse
Sans supervision, l'usage de l'IA générative expose à plusieurs risques délétères, pouvant conduire à la perte de crédibilité.
Le premier risque est la surinterprétation. En effet, l'IA générative a tendance à généraliser un cas isolé en donnant à un verbatim marginal un poids qu'il n'a pas dans le corpus. L’usage d’un champ lexical emphatique en est souvent la cause avec des adjectifs typiques des productions de ChatGPT comme le fameux « crucial » rencontré à maintes reprises.
Nous avons ainsi vu, sur une enquête de satisfaction menée auprès de plusieurs centaines de répondants, une synthèse faite à l’IA qui présentait comme une tendance affirmée un point de vue exprimé par deux personnes seulement, sans que rien dans la formulation ne signale cette faiblesse statistique.
Ce premier biais en recoupe un second, plus insidieux concernant l'absence de prise en compte des effectifs. Un pourcentage énoncé sans son N n'a pas de valeur en soi, et l'IA générative peut les produire avec la même assurance, qu'ils reposent sur trois réponses ou sur trois cents, sans qu'on puisse anticiper quand l'erreur survient. Sans un rappel systématique des bases de calcul, le lecteur ne peut pas évaluer la robustesse de ce qui lui est présenté.
Un troisième risque touche à la fiabilité même du contenu produit avec la fabrication ou le mélange de données, autrement dit un modèle qui « pioche » hors du périmètre qui lui a été fixé ou qui ne respecte pas les consignes de cadrage données en amont ; ce qui arrive malheureusement assez fréquemment. Nous avons par exemple observé, dans une synthèse portant sur plusieurs sites d'un même client, une erreur de localisation attribuant un verbatim à un établissement qui n'était pas concerné. Cette confusion, si elle n’avait pas été corrigée, aurait orienté une recommandation vers le mauvais site.
S'ajoute enfin une instabilité de performance, d'un modèle à l'autre et parfois d'une exécution à l'autre pour un même modèle : les résultats peuvent varier sans qu'aucun changement n'ait été apporté à la consigne initiale, ce qui interdit de considérer un résultat correct un jour comme acquis le lendemain.
C’est finalement ce dernier point qui est le plus déstabilisant dans l’usage de l’IA générative dans l’analyse de la satisfaction client et plus largement dans les études. Le fait que cela soit non reproductible éloigne les chargés d’études de l’essence même de leur métier qui est de mettre du factuel, du tangible dans des perceptions. L’IA générative nous renvoie vers cette incertitude inconfortable que l’on cherche justement à éviter quand on réalise une étude marketing basée sur un sondage, une enquête.
Ces risques ne sont pas anecdotiques. Une interprétation non vérifiée, présentée à un client comme un constat établi, peut orienter une décision stratégique dans la mauvaise direction et a fortiori lorsque cette décision engage des moyens ou une réorganisation.
C'est précisément parce que ces erreurs sont plausibles, et non détectables à la simple lecture du résultat final, qu'elles appellent une vigilance systématique.
Les bonnes pratiques d'intégration IA / prompts & projets IA
Cette vigilance ne relève pas de l'improvisation. Elle nécessite une forte organisation et demande beaucoup de temps. C’est là aussi, un paradoxe. La facilité à générer un effet whaou et beaucoup de texte en quelques lignes de prompt pour aboutir à un slop IA (bouillie numérique)… ce qu’il faudra à tout prix éviter dans le cadre d’une prestation dont l’enjeu est qu’elle gagne en valeur grâce à l’IA et non l’inverse.
La première précaution consiste donc à créer un projet IA cadré, avec des instructions standards et des exemples de restitution attendue, plutôt que de reformuler la consigne à chaque nouvelle sollicitation. Ce cadrage se construit aussi en fournissant des exemples d'analyses cibles, qui réduisent le risque de surinterprétation en donnant au modèle un point de comparaison concret sur le niveau de généralisation acceptable.
Sur le fond, deux réflexes limitent directement les risques identifiés plus haut. Il s’agit dans un premier temps de demander systématiquement un comptage et la source pour chaque thème extrait (ce qui rend visible le N derrière chaque pourcentage) et de faire produire ensuite des tableaux intermédiaires avant la synthèse finale, pour permettre une vérification à un niveau de détail exploitable.
Le secret de la maîtrise de l’usage des IA dans les analyses d’enquêtes réside dans la capacité de vérifier étape par étape tout au long de l’avancement de la production générée par IA.
Un point de vigilance supplémentaire concerne la durée des échanges avec l'IA générative où une conversation qui s'allonge accroît le risque de dérive et de perte de contrôle sur le cadrage initial. Nous préférons des projets séparés et des itérations courtes, plutôt qu'un unique fil de discussion mobilisé sur l'ensemble d'une mission.
Enfin, quels que soient le cadrage et les garde-fous mis en place, la vérification humaine reste obligatoire. Le chargé d’études ne doit pas faire l’impasse sur une vérification d’un échantillon de verbatims pour contrôler la fidélité de la synthèse, un contrôle rigoureux des tris croisés, des tests de significativité sur les résultats chiffrés. Ce sont ces vérifications, et non la qualité apparente d'un résultat, qui permettent de valider ce qui pourra être garder pour l’analyse finale.
Reste une question de fond, que ces garde-fous ne suffisent pas à trancher : où se situe la limite entre le gain de temps réel que permet l'IA générative et la dilution progressive de l'expertise métier qui est pourtant indispensable à maintenir pour garantir une qualité des livrables finaux ?
L’humain, est-il encore vraiment indispensable ?
L’usage de l’IA sur l'intégralité de la chaîne dans nos métiers est aujourd’hui réalisable techniquement mais sur le plan de la responsabilité ultime des recommandations, qui la porte ? C’est là que l’expertise humaine ne s’efface pas, bien au contraire, car la valeur du regard expérimenté et responsable du professionnel a toute sa valeur.
En effet, une fois que cette chaîne est confiée à l'IA dans son entièreté, elle devient impossible à vérifier a posteriori étape par étape. Remonter d'une recommandation jusqu'à l'analyse et au traitement de données qui l'ont produite, pour repérer d'éventuelles erreurs, suppose de pouvoir reconstituer chaque étape intermédiaire. Et cela n’est tout simplement pas possible une fois que le modèle a produit un résultat consolidé. Le risque d'hallucination, lui, ne disparaît jamais étant donné la construction intrinsèque des modèles de langage.
La question de savoir qui, dans la chaîne, porte la responsabilité de ne pas l'avoir détecté, laisse finalement toute sa place à l’humain qui devra lui endosser cette partie.
C'est peut-être précisément pour cette raison que notre métier n’a certainement pas vocation à disparaitre mais doit en tout état de cause se réinventer avec l'IA générative et la mue a déjà commencé, sans pour autant s'y dissoudre. Notre conviction est que le rôle de responsable d'études ne disparaît pas, il se renforce même. Le cœur des actions se déplace vers la vérification, le cadrage, et la capacité à interroger un résultat.
