Desenvolvimento de um chatbot inteligente baseado em arquiteturas de LLM para a estimativa de precipitação por satélite
Abstract
Em dois meses, esse trabalho se propôs a avaliar um sistema que disponibiliza um grande modelo de linguagem (LLM) para conversar com o usuário, ou seja um chatbot, com arquitetura avançada de retrieval-augmented-generation (RAG) com a possibilidade de uso de 4 diferentes técnicas. Cada uma dessas técnicas poderia ser usada em conjunto ou isoladamente, dependendo da escolha do usuário. Esse sistema foi planejado para ser alimentado com documentos sobre estimativa de chuva por satélite e atuar dentro desse domínio. Buscando uma compreensão aprofundada do projeto, dividiu-se a avaliação na etapa de busca e na etapa de geração. Para a avaliação da busca usou-se a métrica mean reciprocal rank (MRR), recall@4 e rank médio. Para a avaliação da geração usou-se o framework BERT-score para obter a métrica faithfulness que quantifi ca a semelhança semântica entre a resposta do modelo e a resposta certa. Os resultados obtidos mostram que o sistema consegue, na maioria das vezes, buscar as informações relevantes para responder as questões do usuário e produzir respostas corretas. No entanto, o uso de LLMs pequenos afeta muito a eficiência das técnicas avançadas, resultando em buscas de qualidade semelhante ou inferior ao uso tradicional de RAG. ABSTRACT: Over the course of two months, this work set out to evaluate a system that provides a large language model (LLM) to converse with the user, that is, a chatbot, featuring an advanced retrieval-augmented generation (RAG) architecture with…
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.