Download dit hoofdstuk (PDF)
Van grote tot kleine taalmodellen

Na de revolutionaire introductie van LLM’s is er een groeiende belangstelling voor small language models (SLM’s). Dit zijn modellen met maximaal 10 miljard parameters, in tegenstelling tot LLM’s, die honderden miljarden of zelfs triljoenen parameters kunnen hebben.

Het trainen en gebruiken van LLM's vereist enorme hoeveelheden rekenkracht. SLM's zijn daarentegen aanzienlijk kleiner. Daardoor zijn ze minder veeleisend wat betreft dataverwerking, hardware en trainingstijd. SLM's verbruiken ook minder energie, waardoor ze geschikter zijn voor toepassingen op kleinere apparaten.

SLM's zijn toegankelijker voor gebruikers die deze modellen willen trainen en uitvoeren op consumentenhardware aan de rand van een netwerk, met name voor apparaten met één doel (bijvoorbeeld sensoren). Bovendien zijn SLM's vooral nuttig voor specifieke taken en minder geschikt als algemene hulpmiddelen.

Impact

education

Onderwijs

  • SLM's en edge AI kunnen gepersonaliseerde leerervaringen rechtstreeks op de apparaten van studenten verbeteren, waarbij privacy en toegankelijkheid worden gewaarborgd. Instellingen moeten echter infrastructuurupgrades beheren en gelijke toegang handhaven om technologische achterstanden te voorkomen. Er zullen nieuwe vaardigheden op het gebied van modelcompressie en hardware-optimalisatie nodig zijn.
  • De betaalbaarheid van SLM-apparaten en ondersteunende technologie kan de digitale kloof verkleinen.
Research

Onderzoek

  • Onderzoekers kunnen profiteren van lokale, realtime analyses, zonder dat ze daarvoor uitgebreide rekenkracht nodig hebben. Dit vergemakkelijkt onderzoek in omgevingen met beperkte middelen.
  • Lokale apparaten die als sensoren fungeren, zullen gegevens direct kunnen verwerken, waardoor er meer mogelijkheden ontstaan voor locatieonafhankelijk onderzoek.
Operations

Operations

  • Instellingen kunnen SLM's en edge AI inzetten om de
    operationele efficiëntie te verbeteren, bijvoorbeeld door administratieve taken te automatiseren, terwijl ze minder afhankelijk worden van externe clouddiensten en mogelijk kosten kunnen besparen. Er zijn echter investeringen nodig in infrastructuur op apparaatniveau en in de ontwikkeling van vaardigheden om vendor lock in te voorkomen en flexibiliteit op lange termijn te behouden.
  • Instellingen moeten proactief plannen maken voor noodzakelijke infrastructuurupgrades en trainingsprogramma's om effectief gebruik te kunnen maken van de voordelen van edge AI en SLM's.
Meer informatie over AI?
Bezoek surf.nl
Link SURF icoon