Wie viel KI muss eigentlich wirklich in der Cloud laufen?

In dieser Folge von Token-Therapie sprechen wir mit Branko Trebsche über lokale KI – und darüber, wann Unternehmen sich unabhängig von Anbietern wie OpenAI, Anthropic & Co. machen sollten.

Mehr zu Branko Trebsche:

https://www.linkedin.com/in/branko-trebsche/

Wir diskutieren, warum Datenschutz und der Schutz von Geschäftsgeheimnissen starke Argumente für lokale Modelle sein können, welche Anwendungen heute bereits auf einem MacBook oder Mac Studio möglich sind und wann leistungsfähigere Hardware wie NVIDIA-GPUs ins Spiel kommt.

Außerdem geht es um die Frage, wie Unternehmen lokale KI sinnvoll in ihre Softwareentwicklung integrieren können. Denn ein Modell lokal laufen zu lassen, ist nur der Anfang: Infrastruktur, Security, Entwicklungsprozesse, Architektur, Teamkoordination und die Fähigkeiten der Entwickler werden mit agentischer Softwareentwicklung wichtiger denn je.

Wir sprechen unter anderem über:

• Wann lokale KI gegenüber Cloud-KI sinnvoll ist
• Datenschutz, IP und Geschäftsgeheimnisse
• MacBook, Mac Studio, RTX 6000, B200 & Co.
• Lokale und hybride KI-Infrastruktur
• Coding mit lokalen Open-Source-Modellen
• Warum gute Softwarearchitektur durch KI noch wichtiger wird
• Wie Unternehmen KI in Entwicklungsteams einführen sollten
• EU AI Act und KI-Kompetenz der Mitarbeiter
• Die Zukunft leistungsfähiger Open-Source-Modelle• Abhängigkeit von großen KI- und Softwareanbietern
• Tokenkosten, Hardwarekosten und die Ökonomie von KI
• Warum KI-Produktivität ohne Koordination schnell wieder verloren gehen kann

Eine zentrale These der Folge: Für typische Business-Software muss lokale KI bei guter Vorbereitung nicht zwangsläufig schlechter sein als die neuesten Cloud-Modelle. Entscheidend sind nicht nur Modellgröße und Benchmarks, sondern der gesamte Entwicklungsprozess rund um das Modell.

Zum Abschluss sprechen wir darüber, was IT- und Engineering-Führungskräfte in den kommenden zwölf Monaten tun sollten: Zielinfrastruktur definieren, Mitarbeiter qualifizieren und KI nicht als isoliertes Tool, sondern als Bestandteil des gesamten Software-Engineering-Systems betrachten.

KAPITEL

00:00 Intro & Vorstellung von Branko Trebsche

01:34 Warum überhaupt lokale KI?

03:40 Vertrauen, Datenschutz und Geschäftsgeheimnisse

06:17 Was bedeutet „lokale KI“ eigentlich?

09:37 Was läuft heute auf MacBook und Mac Studio?

12:23 Welche Hardware braucht lokale KI – und was kostet sie?

15:01 Warum lokale KI nicht primär eine Kostenfrage ist

17:15 Wie führt man lokale KI in Entwicklungsteams ein?

20:02 EU AI Act, Infrastruktur und KI-Kompetenz

24:23 Warum gute Softwareentwicklung durch KI wichtiger wird

25:04 Wie groß ist der Abstand zu den besten Cloud-Modellen?

27:17 Wie schützt man sein Geschäftsmodell vor der KI-Entwicklung?

29:09 Hat Open Source bei KI eine Zukunft?

32:09 Wie entwickeln sich die Preise für Cloud-KI?

34:39 Wem gehört eigentlich der Output einer KI?

36:58 Vendor Lock-in und die langfristigen Kosten von KI

38:31 Welche neuen Geschäftsmodelle ermöglicht eigene KI-Infrastruktur?

39:12 Was IT-Führungskräfte in den nächsten 12 Monaten tun sollten

Token-Therapie – der Podcast für AI Engineering Leader.

Mehr Folgen, Infos und Hintergründe:

https://tokentherapie.de

#KI #KünstlicheIntelligenz #LocalAI #Softwareentwicklung #AIEngineering #LLM #OpenSource #DevOps