Toward Understanding and Enhancing the Training and Evaluation of Language Models : A Study on Vision, Instruction Tuning, and Retrieval Augmentation
Abstract
POPULÄRVETENSKAPLIG SAMMANFATTNINGDenna avhandling undersöker hur stora språkmodeller -datorprogram som kan skriva och tolka text -kan göras mer begripliga, mer användbara och mer rättvist bedömda.Arbetet kretsar kring tre teman: att kombinera text med video, att träna modeller att följa instruktioner och att ge modeller möjlighet att inhämta information under skrivandet i stället för att enbart förlita sig på minnet.Inledningsvis analyseras vad som sker när en språkmodell får tillgång till video samtidigt som text.Utgångspunkten är att människor tolkar världen med flera sinnen; frågan är om samma förmåga också hjälper en modell.För att mäta effekten används begreppet bildbarhet -hur lätt ett ord framkallar en mental bild.Ord som boll eller gå är ofta lätta att föreställa sig, medan rättvisa är mer abstrakt.Resultaten visar att video särskilt underlättar förståelsen av ord med hög bildbarhet, och tydligast syns skillnaden i en mindre modell.För abstrakta ord är förbättringen mer ojämn, och större modeller tenderar ibland att lägga större vikt vid det visuella än vid själva texten.Slutsatsen är att bild och text inte alltid drar åt samma håll; nyttan påverkas både av ordens beskaffenhet och av modellens storlek.Därefter presenteras en metod för att utveckla svenska modeller som kan följa instruktioner utan behov av kostsam, skräddarsydd svensk data.Metoden innefattar att engelska instruktionssamlingar översätts till svenska och används för att vidareträna modeller av olika…
Read the paper
Related studies
- Knowledge Management Perspective of Generative Artificial Intelligence
- Navigating Generative Artificial Intelligence Promises and Perils for Knowledge and Creative Work
- Characterizing the evolving research on enterprise content management
- Large language models and multimodal foundation models for precision oncology
- From Generative AI to Extended Reality: Multidisciplinary Perspectives on the Challenges, Opportunities, and Future of Educational Computing
- Generative Artificial Intelligence: A New Engine for Advancing Environmental Science and Engineering
Go deeper in Evidence Hub
Evidence Hub adds a study data sheet (design, sample size, evidence level, key numbers), an AI summary and a chat grounded in the paper's text.