Beyond Redundancy: Embedding-Aware Novelty Reranking in Retrieval-Augmented Generation
Abstract
Questa tesi affronta il problema della ridondanza informativa nei sistemi di Retrieval-Augmented Generation (RAG), dove i modelli di linguaggio di grandi dimensioni vengono supportati da documenti recuperati da collezioni esterne. La presenza di passaggi duplicati o parafrasati limita infatti la copertura fattuale e riduce l’efficacia delle risposte generate. Per affrontare questa sfida, viene studiato un approccio di reranking basato sulla novità semantica, ottenuta attraverso il clustering in spazi di embedding densi. L’obiettivo è promuovere la diversità dei contenuti presentati al modello, riducendo la ridondanza e favorendo l’inclusione di fatti complementari. Il lavoro valuta diverse strategie di supervisione (lessicale e semantica), proponendo un fine-tuning del modello Set-Encoder con obiettivi contrastivi e listwise. La valutazione è condotta su benchmark standard (MMLU, GPQA) e sulla TREC RAG Track 2024, con metriche di accuratezza e di copertura nugget-based. I risultati mostrano che i benefici del reranking consapevole della novità emergono soprattutto in contesti di valutazione che privilegiano la copertura fine-grained dei contenuti, confermando il potenziale degli approcci embedding-aware nella costruzione di pipeline RAG più informative ed efficaci. This thesis addresses the issue of informational redundancy in Retrieval-Augmented Generation (RAG) systems, where large language models are supported by documents retrieved from external collections. Redundant or…
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.