Des missions de bénévolat plus simples à publier grâce à l'IA

Augmenter notre volume de missions avec la même équipe de modération

JeVeuxAider.gouv.fr est une plateforme d’engagement citoyen mettant en relation des bénévoles et des associations. Les associations publient des missions sur lesquelles les bénévoles peuvent candidater. Chaque mission est modérée par notre équipe interne, ce qui nous posait un défi majeur : comment faire face au rythme croissant des missions publiées, sans impacter négativement la qualité des missions ni les délais de publication ?

Notre objectif principal était d’améliorer la qualité des missions avant qu’elles soient envoyées à l’équipe de modération, pour éviter les allers-retours entre les modérateurs et les associations.

Quels sont les principaux points de friction lors de la modération d’une mission ?

Le Product Manager et moi avons traversé cette première étape pour comprendre les principales raisons pour lesquelles une mission n’est pas publiée rapidement. Pour y répondre, nous avons utilisé plusieurs sources :

• des notes internes publiées par les modérateurs à chaque fois qu’ils doivent demander des modifications à une association
• des tickets de support
• des entretiens avec les modérateurs

Nous avons identifié les points suivants :

1. Certaines descriptions de missions ne sont pas suffisamment détaillées pour comprendre ce que feront les bénévoles
2. Certaines missions ne sont pas correctement configurées et présentent des incohérences (par exemple, des adresses différentes dans le contenu et dans le champ d’adresse spécifique)
3. Certains titres de missions ne respectent pas nos guidelines
4. Certaines missions incluent des critères discriminatoires concernant les bénévoles (principalement sur l’âge), ce que nous n’autorisons pas

Comment résoudre cela ?

Nous avions plusieurs solutions et itérations en tête. Face à ces points de friction, nous avons audité notre formulaire de publication de missions pour identifier les améliorations possibles :

1. Clarifier le niveau d’information attendu des associations
2. Aider les utilisateurs avec nos guidelines sur les titres
3. Informer l’association des problèmes potentiels ou des améliorations possibles AVANT qu’elle publie la mission pour modération

Ce que nous avons fait

Après avoir retravaillé les formulations du formulaire pour être aussi clairs que possible sur nos exigences auprès des associations, nous avons développé deux fonctionnalités IA pour répondre à nos points de friction :

1. Une analyse complète du contenu de la mission, pour afficher des conseils à l’association, afin qu’elle sache ce qu’elle devrait modifier ou améliorer : manque d’informations, incohérences, critères discriminatoires, etc.
2. Des suggestions de titres rédigées à partir de la description de la mission

Dans ce cadre, nous avons également développé quelque chose pour améliorer la qualité globale de nos missions : une fonctionnalité pour améliorer la mise en forme et la rédaction de la description de la mission. Elle aide les associations, leur fait gagner du temps et peut potentiellement avoir un impact sur le taux de conversion pour obtenir plus de candidatures.

Un mot sur le processus

À partir des retours de l’équipe de modération, j’ai commencé à rédiger un prompt pour analyser le contenu d’une mission. Le résultat du prompt est une liste de conseils pour les associations. Nous l’avons d’abord testé manuellement, mission par mission. Puis en lot avec Basalt. Nous avons identifié trop d’hallucinations, j’ai donc décidé d’ajouter un second prompt. Un prompt pour la première analyse, et un second pour le contrôle qualité. Le second prompt accepte ou rejette les conseils. Après cela, nous avons décidé de le tester en production, en interne uniquement. Avec ces nouveaux tests, nous avons continué à améliorer les prompts, puis nous avons lancé en production.

Côté design

Impact

Très bons retours utilisateurs sur les titres et la rédaction. Retours mitigés sur l’analyse : certains cas d’usage ne sont pas encore bien gérés par les prompts.

Nous devons encore améliorer cela. La prochaine fois sera bien plus rapide et facile : moins de tests manuels, davantage de tests en lot avec des outils IA dédiés.