Wie schnell kann KI im Browser sein – und welche Aufgaben gehören überhaupt dorthin?

In dieser Folge von Token-Therapie sprechen wir mit Nico Martin, Open Source Machine Learning Engineer bei Hugging Face, über Machine Learning im Browser. Nico arbeitet im Web AI Team vor allem an Transformers.js, der Library, mit der Modelle direkt im Browser laufen.

Für Nico liegt die Stärke von Browser-KI nicht in riesigen Sprachmodellen, sondern in kleinen Modellen für ganz bestimmte Aufgaben: Hintergrund entfernen, Sprache transkribieren, Text Embeddings berechnen. Gegenüber lokalen Werkzeugen wie Ollama hat der Browser den Vorteil, dass niemand etwas installieren muss: Ein Link genügt, und das Modell läuft auf dem eigenen Gerät. Mit eigenen, für WebGPU optimierten Kernels ist das Team bei einigen Modellen inzwischen gleich schnell wie llama.cpp oder schneller.

Auch beim Programmieren setzt Nico fast ganz auf Agents. Demos lassen sich in wenigen Minuten bauen, Code für die Library schreibt er selbst oder prüft ihn genau. Wichtiger als das Schreiben von Code ist für ihn das Gespräch darüber.

Wir sprechen unter anderem über:

• Nicos Weg zu Hugging Face über die Web-Community
• Was Transformers.js ist und wie die Pipeline um die Inference aussieht
• Wann KI im Browser Sinn ergibt und wann nicht
• Browser-KI im Vergleich zu Ollama und llama.cpp
• WebGPU-Support, ONNX Runtime und der Fallback auf die CPU
• Eigene WebGPU-Kernels, optimiert für die jeweilige Hardware
• Die Prompt API in Chrome, WebNN und WebMCP
• Agentisches Programmieren an Demos und an der Library
• Warum Nico eher Beratung für KMUs als ein KI-Start-up wählen würde
• Ein Privacy-Filter, der Namen und Adressen aus E-Mails entfernt, bevor sie in die Cloud gehen

Unser Gast:
https://www.linkedin.com/in/nicodotdev/
https://huggingface.co

Mehr zu Token-Therapie – dem Podcast für AI Engineering Leader:
https://tokentherapie.de

Kapitel
00:00 Begrüßung und Vorstellung von Nico Martin
01:04 Wie man bei Hugging Face landet
04:01 Was ist Transformers.js?
06:46 Wann KI im Browser Sinn ergibt
12:15 Browser oder Ollama: der Unterschied
13:52 WebGPU-Support und ONNX Runtime
16:37 Die härteste Nuss: eigene WebGPU-Kernels
19:43 Dasselbe Modell auf jedem Gerät?
21:48 Overhead im Vergleich zu llama.cpp
24:26 Eigene Runtimes statt ONNX Runtime?
26:40 Bauen Browser bald eigene Modelle ein?
30:04 Was ist mit WebNN?
31:59 WebMCP und Browser-KI
33:35 Kleine Modelle in Chrome-Extensions
35:30 Wie Nico agentisch programmiert
38:00 Was er noch von Hand schreibt
38:56 Produktideen für Browser-KI
42:33 Tipp für den Einstieg in WebML

Wenn euch die Folge gefällt, folgt uns und schreibt uns in die Kommentare: Welche Teile eurer Anwendungen würdet ihr in den Browser verlagern?

Kann ein Product Manager mit Agents allein produktionsreife Software bauen?

In dieser Folge von Token-Therapie sprechen wir mit Florian Oefner, Organizer bei Open Builders Lisbon, über das Bauen von Software mit Agents, lokale KI und die Lage für alle, die gerade etwas gründen wollen.

Florian hat seine Karriere lang als Product Manager gearbeitet und schon immer selbst gecodet. Heute übernehmen Agents: Er schreibt Epics in GitHub Issues, lässt den Agent offene Fragen und Acceptance Criteria ergänzen, und Codex arbeitet auf einem eigenen Server die Issues ab, mit zwei Review-Agents, die jeden Pull Request prüfen.

Seine These: Die Rollen verschwimmen. Engineers werden entweder Product Engineers oder gehen ganz in Richtung Infrastruktur, Plattform und Security. Und weil jetzt sehr viele Leute etwas bauen können, zählen Qualität und UX mehr denn je. So sehr, dass Florian zugibt: „ich bin inzwischen so weit, dass ich meine Agents manchmal beleidige“.

Wir sprechen unter anderem über:

• Warum Florian lieber von Buildern spricht als von Architekten
• Wie sein Setup aussieht: GitHub Issues, Markdown im Repo, Codex auf einem Server, Review-Agents
• Wie autonom das läuft und wo er selbst noch prüft
• Was das kostet und warum die Review-Agents rund ein Viertel der Tokens brauchen• Warum Legacy und Komplexität Tokens fressen
• Wofür sich lokale Modelle heute lohnen: Kosten, Datenschutz, offline
• Wie die Lage für Gründer gerade ist und warum es nicht mehr reicht, etwas Gutes zu bauen und ein bisschen darüber zu reden
• Ob Agents Apps ersetzen oder ob wir weiter eigene Produkte brauchen• Was erfolgreiche Builder gerade bauen
• Warum man der AGI-Story der großen Anbieter nicht auf den Leim gehen sollte

Unser Gast:

👉 Florian Oefner auf LinkedIn

https://www.linkedin.com/in/florian-oefner/

👉 Open Builders Lisbon

https://luma.com/openbuilders.lisbon

Mehr zu Token-Therapie – dem Podcast für AI Engineering Leader:

👉 https://tokentherapie.de

Kapitel

00:00 Intro: Florian Oefner und Open Builders Lisbon

01:18 Vom Product Manager zum Builder

03:17 Allein produktionsreife Software bauen?

05:41 Werden Entwickler zu Product Managern?

08:42 Architekt, Producer oder Builder?

10:54 Vom Proof of Concept zu GitHub Issues

14:32 Codex auf dem eigenen Server

16:51 Wie autonom? Reviews, Pentest und Abnahme

18:36 Was kostet das? Limits, Abos, Review-Agents

22:02 Warum Legacy und Komplexität Tokens fressen

23:21 Lokale Modelle: fürs Coden noch nicht

24:24 Drei Vorteile lokaler KI: Kosten, Datenschutz, offline

27:53 Grenzen lokaler KI: Mac, Windows, Handy

29:39 Gründen heute: optimistisch oder pessimistisch?

32:41 Qualität und UX wichtiger denn je

34:27 Ersetzen Agents die Apps?

38:35 Was erfolgreiche Builder bauen

40:21 Die AGI-Story als Machtpositionierung

42:52 Florians Rat: ausprobieren und selbst denken

44:35 Abschluss

Wenn euch die Folge gefällt, abonniert den Kanal und schreibt uns in die Kommentare: Wie redet ihr mit euren Agents, wenn sie nicht tun, was ihr sagt?