Wie schnell kann KI im Browser sein – und welche Aufgaben gehören überhaupt dorthin?

In dieser Folge von Token-Therapie sprechen wir mit Nico Martin, Open Source Machine Learning Engineer bei Hugging Face, über Machine Learning im Browser. Nico arbeitet im Web AI Team vor allem an Transformers.js, der Library, mit der Modelle direkt im Browser laufen.

Für Nico liegt die Stärke von Browser-KI nicht in riesigen Sprachmodellen, sondern in kleinen Modellen für ganz bestimmte Aufgaben: Hintergrund entfernen, Sprache transkribieren, Text Embeddings berechnen. Gegenüber lokalen Werkzeugen wie Ollama hat der Browser den Vorteil, dass niemand etwas installieren muss: Ein Link genügt, und das Modell läuft auf dem eigenen Gerät. Mit eigenen, für WebGPU optimierten Kernels ist das Team bei einigen Modellen inzwischen gleich schnell wie llama.cpp oder schneller.

Auch beim Programmieren setzt Nico fast ganz auf Agents. Demos lassen sich in wenigen Minuten bauen, Code für die Library schreibt er selbst oder prüft ihn genau. Wichtiger als das Schreiben von Code ist für ihn das Gespräch darüber.

Wir sprechen unter anderem über:

• Nicos Weg zu Hugging Face über die Web-Community
• Was Transformers.js ist und wie die Pipeline um die Inference aussieht
• Wann KI im Browser Sinn ergibt und wann nicht
• Browser-KI im Vergleich zu Ollama und llama.cpp
• WebGPU-Support, ONNX Runtime und der Fallback auf die CPU
• Eigene WebGPU-Kernels, optimiert für die jeweilige Hardware
• Die Prompt API in Chrome, WebNN und WebMCP
• Agentisches Programmieren an Demos und an der Library
• Warum Nico eher Beratung für KMUs als ein KI-Start-up wählen würde
• Ein Privacy-Filter, der Namen und Adressen aus E-Mails entfernt, bevor sie in die Cloud gehen

Unser Gast:
https://www.linkedin.com/in/nicodotdev/
https://huggingface.co

Mehr zu Token-Therapie – dem Podcast für AI Engineering Leader:
https://tokentherapie.de

Kapitel
00:00 Begrüßung und Vorstellung von Nico Martin
01:04 Wie man bei Hugging Face landet
04:01 Was ist Transformers.js?
06:46 Wann KI im Browser Sinn ergibt
12:15 Browser oder Ollama: der Unterschied
13:52 WebGPU-Support und ONNX Runtime
16:37 Die härteste Nuss: eigene WebGPU-Kernels
19:43 Dasselbe Modell auf jedem Gerät?
21:48 Overhead im Vergleich zu llama.cpp
24:26 Eigene Runtimes statt ONNX Runtime?
26:40 Bauen Browser bald eigene Modelle ein?
30:04 Was ist mit WebNN?
31:59 WebMCP und Browser-KI
33:35 Kleine Modelle in Chrome-Extensions
35:30 Wie Nico agentisch programmiert
38:00 Was er noch von Hand schreibt
38:56 Produktideen für Browser-KI
42:33 Tipp für den Einstieg in WebML

Wenn euch die Folge gefällt, folgt uns und schreibt uns in die Kommentare: Welche Teile eurer Anwendungen würdet ihr in den Browser verlagern?

Kann ein Product Manager mit Agents allein produktionsreife Software bauen?

In dieser Folge von Token-Therapie sprechen wir mit Florian Oefner, Organizer bei Open Builders Lisbon, über das Bauen von Software mit Agents, lokale KI und die Lage für alle, die gerade etwas gründen wollen.

Florian hat seine Karriere lang als Product Manager gearbeitet und schon immer selbst gecodet. Heute übernehmen Agents: Er schreibt Epics in GitHub Issues, lässt den Agent offene Fragen und Acceptance Criteria ergänzen, und Codex arbeitet auf einem eigenen Server die Issues ab, mit zwei Review-Agents, die jeden Pull Request prüfen.

Seine These: Die Rollen verschwimmen. Engineers werden entweder Product Engineers oder gehen ganz in Richtung Infrastruktur, Plattform und Security. Und weil jetzt sehr viele Leute etwas bauen können, zählen Qualität und UX mehr denn je. So sehr, dass Florian zugibt: „ich bin inzwischen so weit, dass ich meine Agents manchmal beleidige“.

Wir sprechen unter anderem über:

• Warum Florian lieber von Buildern spricht als von Architekten
• Wie sein Setup aussieht: GitHub Issues, Markdown im Repo, Codex auf einem Server, Review-Agents
• Wie autonom das läuft und wo er selbst noch prüft
• Was das kostet und warum die Review-Agents rund ein Viertel der Tokens brauchen• Warum Legacy und Komplexität Tokens fressen
• Wofür sich lokale Modelle heute lohnen: Kosten, Datenschutz, offline
• Wie die Lage für Gründer gerade ist und warum es nicht mehr reicht, etwas Gutes zu bauen und ein bisschen darüber zu reden
• Ob Agents Apps ersetzen oder ob wir weiter eigene Produkte brauchen• Was erfolgreiche Builder gerade bauen
• Warum man der AGI-Story der großen Anbieter nicht auf den Leim gehen sollte

Unser Gast:

👉 Florian Oefner auf LinkedIn

https://www.linkedin.com/in/florian-oefner/

👉 Open Builders Lisbon

https://luma.com/openbuilders.lisbon

Mehr zu Token-Therapie – dem Podcast für AI Engineering Leader:

👉 https://tokentherapie.de

Kapitel

00:00 Intro: Florian Oefner und Open Builders Lisbon

01:18 Vom Product Manager zum Builder

03:17 Allein produktionsreife Software bauen?

05:41 Werden Entwickler zu Product Managern?

08:42 Architekt, Producer oder Builder?

10:54 Vom Proof of Concept zu GitHub Issues

14:32 Codex auf dem eigenen Server

16:51 Wie autonom? Reviews, Pentest und Abnahme

18:36 Was kostet das? Limits, Abos, Review-Agents

22:02 Warum Legacy und Komplexität Tokens fressen

23:21 Lokale Modelle: fürs Coden noch nicht

24:24 Drei Vorteile lokaler KI: Kosten, Datenschutz, offline

27:53 Grenzen lokaler KI: Mac, Windows, Handy

29:39 Gründen heute: optimistisch oder pessimistisch?

32:41 Qualität und UX wichtiger denn je

34:27 Ersetzen Agents die Apps?

38:35 Was erfolgreiche Builder bauen

40:21 Die AGI-Story als Machtpositionierung

42:52 Florians Rat: ausprobieren und selbst denken

44:35 Abschluss

Wenn euch die Folge gefällt, abonniert den Kanal und schreibt uns in die Kommentare: Wie redet ihr mit euren Agents, wenn sie nicht tun, was ihr sagt?

Wie viel KI muss eigentlich wirklich in der Cloud laufen?

In dieser Folge von Token-Therapie sprechen wir mit Branko Trebsche über lokale KI – und darüber, wann Unternehmen sich unabhängig von Anbietern wie OpenAI, Anthropic & Co. machen sollten.

Mehr zu Branko Trebsche:

https://www.linkedin.com/in/branko-trebsche/

Wir diskutieren, warum Datenschutz und der Schutz von Geschäftsgeheimnissen starke Argumente für lokale Modelle sein können, welche Anwendungen heute bereits auf einem MacBook oder Mac Studio möglich sind und wann leistungsfähigere Hardware wie NVIDIA-GPUs ins Spiel kommt.

Außerdem geht es um die Frage, wie Unternehmen lokale KI sinnvoll in ihre Softwareentwicklung integrieren können. Denn ein Modell lokal laufen zu lassen, ist nur der Anfang: Infrastruktur, Security, Entwicklungsprozesse, Architektur, Teamkoordination und die Fähigkeiten der Entwickler werden mit agentischer Softwareentwicklung wichtiger denn je.

Wir sprechen unter anderem über:

• Wann lokale KI gegenüber Cloud-KI sinnvoll ist
• Datenschutz, IP und Geschäftsgeheimnisse
• MacBook, Mac Studio, RTX 6000, B200 & Co.
• Lokale und hybride KI-Infrastruktur
• Coding mit lokalen Open-Source-Modellen
• Warum gute Softwarearchitektur durch KI noch wichtiger wird
• Wie Unternehmen KI in Entwicklungsteams einführen sollten
• EU AI Act und KI-Kompetenz der Mitarbeiter
• Die Zukunft leistungsfähiger Open-Source-Modelle• Abhängigkeit von großen KI- und Softwareanbietern
• Tokenkosten, Hardwarekosten und die Ökonomie von KI
• Warum KI-Produktivität ohne Koordination schnell wieder verloren gehen kann

Eine zentrale These der Folge: Für typische Business-Software muss lokale KI bei guter Vorbereitung nicht zwangsläufig schlechter sein als die neuesten Cloud-Modelle. Entscheidend sind nicht nur Modellgröße und Benchmarks, sondern der gesamte Entwicklungsprozess rund um das Modell.

Zum Abschluss sprechen wir darüber, was IT- und Engineering-Führungskräfte in den kommenden zwölf Monaten tun sollten: Zielinfrastruktur definieren, Mitarbeiter qualifizieren und KI nicht als isoliertes Tool, sondern als Bestandteil des gesamten Software-Engineering-Systems betrachten.

KAPITEL

00:00 Intro & Vorstellung von Branko Trebsche

01:34 Warum überhaupt lokale KI?

03:40 Vertrauen, Datenschutz und Geschäftsgeheimnisse

06:17 Was bedeutet „lokale KI“ eigentlich?

09:37 Was läuft heute auf MacBook und Mac Studio?

12:23 Welche Hardware braucht lokale KI – und was kostet sie?

15:01 Warum lokale KI nicht primär eine Kostenfrage ist

17:15 Wie führt man lokale KI in Entwicklungsteams ein?

20:02 EU AI Act, Infrastruktur und KI-Kompetenz

24:23 Warum gute Softwareentwicklung durch KI wichtiger wird

25:04 Wie groß ist der Abstand zu den besten Cloud-Modellen?

27:17 Wie schützt man sein Geschäftsmodell vor der KI-Entwicklung?

29:09 Hat Open Source bei KI eine Zukunft?

32:09 Wie entwickeln sich die Preise für Cloud-KI?

34:39 Wem gehört eigentlich der Output einer KI?

36:58 Vendor Lock-in und die langfristigen Kosten von KI

38:31 Welche neuen Geschäftsmodelle ermöglicht eigene KI-Infrastruktur?

39:12 Was IT-Führungskräfte in den nächsten 12 Monaten tun sollten

Token-Therapie – der Podcast für AI Engineering Leader.

Mehr Folgen, Infos und Hintergründe:

https://tokentherapie.de

#KI #KünstlicheIntelligenz #LocalAI #Softwareentwicklung #AIEngineering #LLM #OpenSource #DevOps