Retrieval-augmented generation in long-document financial question answering
Abstract
La génération augmentée par récupération est une approche prometteuse pour la question-réponse financière, où les réponses doivent être appuyées par des documents sources primaires. Dans ce contexte, la principale difficulté vient souvent de la récupération d'information plutôt que de la génération seule. Les documents financiers sont longs, répétitifs et riches en tableaux, et les éléments de preuve pertinents peuvent se trouver dans des documents de plusieurs centaines de pages. Ce mémoire place donc la récupération au cœur de l'étude de la question-réponse financière et analyse l'effet des erreurs de récupération sur la qualité des réponses générées. Nous introduisons un cadre d'évaluation fondé sur des conditions oracles qui sépare les erreurs de récupération aux niveaux du document, de la page et du segment. Appliquée à FinanceBench, cette analyse montre que les systèmes retrouvent souvent le bon document tout en manquant la page qui contient la réponse. Ce constat motive l'étude de stratégies d'adaptation pour la récupération financière, notamment la récupération hiérarchique page-puis-segment, l'adaptation d'un bi-encodeur au niveau des pages, le réordonnancement par encodeur croisé, la reformulation de requêtes et le classement visuel des pages. Ce mémoire évalue aussi la génération selon la taille des modèles, les types de questions et les types de documents financiers. Les résultats montrent qu'une meilleure récupération mène à de meilleures réponses, surtout pour…
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.