Meta heeft zijn 'Large Language Model AI'-modellen onthuld, die naar eigen zeggen beter kunnen presteren dan het GPT-3-model van OpenAI, maar veel kleiner zijn. Waar GPT-3 175 miljard parameters heeft, bevatten de LLaMA-modellen tussen de 7 en 65 miljard parameters. Het techbedrijf beweert dat het 13B-model de bot van OpenAI al 'op de meeste benchmarks overtreft', dat terwijl deze tien keer kleiner is en daarmee zou kunnen draaien op slechts één gpu. Het grootste LLaMA-model (65B) zou al ongeveer net zo goed zijn als 'de beste AI-modellen van het moment', namelijk Chinchilla (70B) en PaLM (540B).
In tegenstelling tot de genoemde andere taalmodellen, worden die van Meta louter getraind met openbare bronnen, zoals Wikipedia, Common Crawl en Googles opensource BigQuery-dataset, aldus de onderzoekspaper van het bedrijf. Het is de bedoeling dat de taalmodellen de fundatie zullen vormen voor een verfijnder AI-model dat kan helpen bij wetenschappelijk onderzoek. Het is de bedoeling dat LLaMA in de toekomst onder meer kan helpen bij 'het beantwoorden van vragen, het begrijpen van natuurlijke taal of begrijpend lezen'. De taalmodellen zijn dus niet, zoals ChatGPT, voor het algemene publiek bedoeld. Onderzoekers die de LLaMA-modellen willen gebruiken, kunnen toegang vragen via een aanvraagformulier.
Bron: Meta
