Wat is een Corpus?

Binnen de kunstmatige intelligentie (AI), computerlinguïstiek en data-analyse is een corpus (meervoud: corpora) een omvangrijke, gestructureerde en representatieve verzameling van tekst- of spraakgegevens die specifiek is samengesteld voor wetenschappelijk onderzoek en computationele analyse.

Het trainen van Language Models

Een corpus is het fundamentele basismateriaal waarmee computers menselijke taal (natuurlijke taalverwerking / NLP) leren begrijpen, interpreteren en genereren. Grote taalmodellen worden getraind op gigantische corpora die kunnen bestaan uit digitale boeken, geschreven webteksten, transcripties van gesproken woorden, beelden of video’s. Om deze data bruikbaar te maken, worden de corpora intensief geannoteerd met rijke metadata, waaronder part-of-speech-tags (taalkundige woordsoorten), entiteitsherkenning (zoals namen, data en locaties) en syntactische boomstructuren. Het stelt AI-systemen in staat patronen te herkennen voor taken zoals automatische vertalingen en spraakherkenning.