Språkmodeller, interpolasjon og den uventede fremveksten av mening
Introduksjon De siste årene har store språkmodeller (LLM-er) som ChatGPT overrasket mange med evnen sin til å generere sammenhengende, intelligente og tidvis slående innsiktsfulle svar på åpne spørsmål fra mennesker. For mange som har et vitenskapsbasert eller analytisk orientert verdensbilde, kan det være fristende å redusere disse interaksjonene til ren statistisk mønstergjenkjenning, og på ett nivå er det nettopp det som skjer. Men kvaliteten på svarene overgår ofte det man skulle forvente av et rent mekanisk system. Hvorfor? Dette innlegget utforsker hvordan vi, innenfor et rasjonelt og vitenskapsvennlig rammeverk, likevel kan begynne å ane hvordan språkmodeller er i stand til noe som ligner på perspektiv, og hvorfor det kan åpne for en ny type undring. 1. Interpolasjon i begrepsmessig rom Språkmodeller trenes ved å eksponeres for enorme mengder tekst skrevet av mennesker, og deretter lære å forutsi hvilket ord som mest sannsynlig kommer neste. Teknisk sett er dette interpola...