Ce projet vise a évaluer les performances d'un assistant de recherche pour la documentation militaire basé sur le RAG.
Le RAG (Retrieval Augmented Generation), en français génération augmentée de récupération,
est une technique qui combine la recherche d'informations dans une base de données
avec la génération de texte, pour améliorer ainsi la précision et la pertinence des réponses.
Ce guide
par la Direction générale des Entreprises, décrit les enjeux de cette technologie.
Situation
L'armée de terre dispose de nombreux documents de référence : textes toutes armes, publications des forces terrestres...
La consultation de ces documents est chronophage et il n'y a pas de moteur de recherche optimisé pour cette documentation riche et de qualité.
L'armée développe un modèle de langage
(GenIAl.intradef), qui ignore encore l'ensemble de ces documents.
Objectif
L'objectif de ce projet est de créer un moteur de recherche et un assistant pour exploiter au mieux cette documentation,
renvoyer dans un premier temps vers les documents afférents aux sujets et proposer dans un second temps une réponse aux questions.
Ce projet met donc en oeuvre un moteur de recherche et une intelligence artificielle générative.
Protection des données
Ce projet n'est pas diffusé avec les derniers documents pour des raisons évidentes.
De plus pour protéger les données, le modèle de language utilisé est Mistral dont l'hébergement garantit la confidentialité des informations.
Fonctionnement
Elastic Search a été choisi pour indexer les fichiers car il supporte la recherche par mots clés et la recherche vectorielle pour inclure la recherche sémantique.
Afin d'indexer au mieux chaque partie du document, le sommaire des fichiers pdf est annalysé et exploité.
Le modèle Mistral Small 3 est utilisé pour l'identification des mots clés et la génération des réponses.
Open source sa mise en oeuvre est relativement aisées quelque soit l'hébergement choisi.
Les parties des documents pdf liées aux sujets de la question sont ainsi fournies en contexte à l'intelligence artificielle générative.
Ce processus semble ici plus efficace et plus rentable que le fine-tuning d'un modèle. Les données sont essentiellement des documents pdf et en l'absence de jeu de données type question - réponse, le fine-tuning du modèle pourrait se révéler approximatif.
Démonstration
Un prototype est disponible a cette adresse : search.godefroy.tech
Le frontend tourne sous Vue.js, mis en forme avec
Terminal CSS.