Wie schnell kann KI im Browser sein – und welche Aufgaben gehören überhaupt dorthin?

In dieser Folge von Token-Therapie sprechen wir mit Nico Martin, Open Source Machine Learning Engineer bei Hugging Face, über Machine Learning im Browser. Nico arbeitet im Web AI Team vor allem an Transformers.js, der Library, mit der Modelle direkt im Browser laufen.

Für Nico liegt die Stärke von Browser-KI nicht in riesigen Sprachmodellen, sondern in kleinen Modellen für ganz bestimmte Aufgaben: Hintergrund entfernen, Sprache transkribieren, Text Embeddings berechnen. Gegenüber lokalen Werkzeugen wie Ollama hat der Browser den Vorteil, dass niemand etwas installieren muss: Ein Link genügt, und das Modell läuft auf dem eigenen Gerät. Mit eigenen, für WebGPU optimierten Kernels ist das Team bei einigen Modellen inzwischen gleich schnell wie llama.cpp oder schneller.

Auch beim Programmieren setzt Nico fast ganz auf Agents. Demos lassen sich in wenigen Minuten bauen, Code für die Library schreibt er selbst oder prüft ihn genau. Wichtiger als das Schreiben von Code ist für ihn das Gespräch darüber.

Wir sprechen unter anderem über:

• Nicos Weg zu Hugging Face über die Web-Community
• Was Transformers.js ist und wie die Pipeline um die Inference aussieht
• Wann KI im Browser Sinn ergibt und wann nicht
• Browser-KI im Vergleich zu Ollama und llama.cpp
• WebGPU-Support, ONNX Runtime und der Fallback auf die CPU
• Eigene WebGPU-Kernels, optimiert für die jeweilige Hardware
• Die Prompt API in Chrome, WebNN und WebMCP
• Agentisches Programmieren an Demos und an der Library
• Warum Nico eher Beratung für KMUs als ein KI-Start-up wählen würde
• Ein Privacy-Filter, der Namen und Adressen aus E-Mails entfernt, bevor sie in die Cloud gehen

Unser Gast:
https://www.linkedin.com/in/nicodotdev/
https://huggingface.co

Mehr zu Token-Therapie – dem Podcast für AI Engineering Leader:
https://tokentherapie.de

Kapitel
00:00 Begrüßung und Vorstellung von Nico Martin
01:04 Wie man bei Hugging Face landet
04:01 Was ist Transformers.js?
06:46 Wann KI im Browser Sinn ergibt
12:15 Browser oder Ollama: der Unterschied
13:52 WebGPU-Support und ONNX Runtime
16:37 Die härteste Nuss: eigene WebGPU-Kernels
19:43 Dasselbe Modell auf jedem Gerät?
21:48 Overhead im Vergleich zu llama.cpp
24:26 Eigene Runtimes statt ONNX Runtime?
26:40 Bauen Browser bald eigene Modelle ein?
30:04 Was ist mit WebNN?
31:59 WebMCP und Browser-KI
33:35 Kleine Modelle in Chrome-Extensions
35:30 Wie Nico agentisch programmiert
38:00 Was er noch von Hand schreibt
38:56 Produktideen für Browser-KI
42:33 Tipp für den Einstieg in WebML

Wenn euch die Folge gefällt, folgt uns und schreibt uns in die Kommentare: Welche Teile eurer Anwendungen würdet ihr in den Browser verlagern?