Optimasi kualitas jawaban chatbot eirene dengan pengembangan knowledge base menggunakan arsitektur retrieval-augmented generation
Abstract
Perkembangan Large Language Model (LLM) telah meningkatkan kemampuan chatbot dalam memahami bahasa alami. Namun, kualitas jawaban chatbot masih sangat dipengaruhi oleh kualitas knowledge base yang digunakan pada arsitektur Retrieval-Augmented Generation (RAG). Knowledge base yang belum lengkap dan kurang terstruktur dapat menyebabkan proses retrieval menghasilkan informasi yang kurang relevan sehingga memengaruhi kualitas respons chatbot. Penelitian ini bertujuan untuk mengoptimalkan kualitas jawaban chatbot Eirene melalui pengembangan knowledge base pada arsitektur Retrieval-Augmented Generation. Penelitian menggunakan metode Design and Development Research (DDR) yang meliputi tahap analysis, design, development, dan evaluation, sedangkan proses pengembangan dilakukan secara iteratif menggunakan metode Agile Scrum melalui tahapan product backlog, sprint planning, sprint development, sprint review, dan sprint retrospective. Pada tahap analisis dilakukan evaluasi awal terhadap knowledge base versi 1 menggunakan BERTScore dan Retrieval-Augmented Generation Assessment (RAGAS) sebagai dasar pengembangan knowledge base versi 2. Hasil pengembangan kemudian diintegrasikan ke dalam sistem RAG dan dievaluasi menggunakan BERTScore, RAGAS, validasi ahli materi, dan validasi ahli media. Hasil penelitian menunjukkan bahwa pengembangan knowledge base mampu meningkatkan kualitas jawaban chatbot. Nilai BERTScore F1 meningkat dari 0,9094 menjadi 0,9639 atau sebesar 5,99%. Evaluasi…
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.