IBM zet zich in voor de verbetering van ai-inferentiesoftware, en hoewel ze zeker niet het eerste bedrijf zijn dat dit doet, hopen ze vooral efficiëntie te bevorderen. Op dit moment is Nvidia de belangrijkste speler in deze markt vanwege het gebruik van hun gpu's om ai-modellen te versnellen. Niet lang geleden schreven we ook dat andere merken gespecialiseerde hardware willen leveren, zoals SK Hynix. Het trainen van ai kost energie, maar het uitvoeren ervan, ook wel bekend als de inference-modus, verbruikt ook aanzienlijke energie. Het grootste energieverbruik ligt namelijk in de inference-modus, aangezien ai-modellen het langste in deze modus draaien.
IBM heeft een strategisch partnerschap gesloten met NeuReality. Dit bedrijf werkt aan zijn NR1 AI-chip. Volgens Ming-Chi Kuo levert IBM de specificaties die nodig zijn om het IBM AI-inferenceplatform op deze chip te laten draaien. Hier komt AMD om de hoek kijken, omdat zij de fpga's (field-programmable gate arrays) gaan leveren voor de ai-oplossing. De chip zelf wordt geproduceerd door TSMC op hun geavanceerde 7nm-node. Foxconn zou naar verwachting in het vierde kwartaal van dit jaar beginnen met de productie op kleine schaal.
De NeuReality VCK6000, voorloper van de NR1, gebouwd samen met Xilinx (nu AMD)
Waarom is dit bijzonder? De NeuReality NR1-chip is 's werelds eerste Network Addressable Processing Unit (NAPU). Het wordt beschreven als een soort server op een chip die ai-modellen kan versnellen. Deze NAPU verwijdert alle knelpunten in vergelijking met normale cpu-achtige oplossingen. Omdat ze allemaal parallel kunnen draaien en weinig overhead hebben, is het een veel efficiëntere oplossing die aanzienlijk energie bespaart om AI modellen in inference-modus te draaien.
AMD heeft ook baat bij het leveren van fpga's aan NeuReality, omdat ze infrastructuur moeten bouwen om IBM's AI-oplossing te ondersteunen. Volgens Ming-Chi Kuo zal Nvidia naar verwachting volgend jaar marktleider blijven op het gebied van ai-chips, maar kan AMD door oplossingen te leveren zoals eerder genoemd en verder samen te werken met andere serviceproviders met goede software oplossingen, zoals Microsoft, Amazon, en door softwarebedrijven zoals Nod.ai over te nemen, in staat zijn om in 2025 de kloof tussen het bedrijf en Nvidia op het gebied van ai te verkleinen.
Bronnen: MingChiKuo, TechCrunch, IBM
