AI-Driven Product Discovery in E-Commerce : An Evaluation of Semantic Retrieval, Retrieval-Augmented Generation and Agent-Based Systems
Abstract
Produktupptäckt i e-handel bygger ofta på nyckelordsbaserad sökning, vilket kan bli begränsande när användarens behov är otydliga, flerspråkiga eller innehåller flera krav. Detta examensarbete undersöker hur en AI-baserad prototyp kan förbättra produktupptäckt genom ett konversationsbaserat gränssnitt. Lösningen kombinerar semantisk sökning, där produkter och frågor jämförs utifrån betydelse, med generering av svar baserade på hämtad produktinformation genom Retrieval-Augmented Generation (RAG). Prototypen innehåller även ett agentbaserat system för att söka, filtrera och jämföra produkter i flera steg. Utvärderingen genomfördes mot 5 000 produkter från Amazon Products Dataset 2023 med 16 testfrågor fördelade i fyra grupper. Resultaten visar att semantisk sökning uppnår en precision på 0,925 bland de tio högst rankade resultaten, jämfört med 0,663 för nyckelordsbaserad sökning. Skillnaden är störst för flerspråkiga frågor, där semantisk sökning uppnår 0,975 i precision medan nyckelordsbaserad sökning returnerar 0,00. I den strukturerade bedömningen presterar RAG-systemet starkast i tydlighet (4,1 av 5) men svagast i korrekthet (3,8 av 5), medan det agentbaserade systemet presterar starkast i relevans (4,3 av 5) tack vare förmågan att ställa klargörande frågor vid vaga förfrågningar, men svagast i verktygsanvändning (3,3 av 5). Agentfunktionerna ger bättre stöd vid komplexa sökbehov men innebär också ökad teknisk komplexitet.
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.