Twee jaar lang was de reflex om alles naar een groot model in de cloud te sturen. Voor de moeilijkste taken blijft dat zinvol, maar het is niet langer de enige optie. Een nieuwe generatie compacte modellen draait op het toestel zelf — een notitie samenvatten, een foto classificeren, een antwoord opstellen — zonder heen-en-weer naar een server. Het resultaat is meteen klaar, werkt offline en kost niets per aanvraag.
We behandelen het toestel nu als standaard en de cloud als escalatie. Eenvoudige functies met veel verkeer blijven lokaal, zodat gebruikersdata op het toestel blijven en de rekening voorspelbaar is; alleen de echt moeilijke aanvragen gaan naar een groter model. Voor de meeste apps is die mix goedkoper, sneller en veel makkelijker te verdedigen bij privacybewuste gebruikers — een betere deal dan elke tik door andermans datacenter te sturen.