Think Slow – Train Fast: Neue KI-Architekturen vs. "Digitale Inzucht"

11/20/24 • 26 min

Der Weg nach KAI – Episode 45: Think Slow – Train Fast: Neue KI-Architekturen vs. "Digitale Inzucht"
Diesmal untersuchen wir die massiven Veränderungen in der KI-Modell-Entwicklung. Denn die bisherige Entwicklungsstrategie der KI-Branche, die auf dem Prinzip "mehr Daten, größere Modelle" basierte, stößt an ihre Grenzen. Die Trainingskosten erreichen Milliardenbeträge, während qualitativ hochwertige Trainingsdaten zunehmend knapper werden.
Ein vielversprechender neuer Ansatz ist die Optimierung der "Test-Time-Performance". Statt in immer größere Modelle zu investieren, wird mehr Rechenzeit in die eigentliche Antwortfindung investiert. Ein Modell mit 20 Sekunden Bedenkzeit kann so die Leistung eines 100.000-fach länger trainierten Modells erreichen.
Ein Forschungsteam des MIT entwickelte nun die Methode des "Test Time Training", bei der sich KI-Modelle während der Inferenzzeit selbst auf spezifische Aufgaben trainieren.
Die Zukunft der KI-Entwicklung liegt wohl in der Kombination von langsamem, gründlichem Denken ("Think Slow") und schneller Anpassungsfähigkeit ("Train Fast").

Vorherige Episode

Die Habermas Maschine und .lumen Glasses: KI für die Konfliktlösung und Teilhabe

Der Weg nach KAI - Episode 44: Die Habermas Maschine und .lumen Glasses: KI für die Konfliktlösung und Teilhabe
Diesmal widmen wir uns zwei KI-Entwicklungen, die als Vermittler bzw. Wahrnehmungsübersetzer funktionieren.
Im ersten Teil wird die innovative .lumen Brille vorgestellt, eine technologische Alternative zu Blindenführhunden. Diese KI-gestützte Brille, die 2025 für etwa 5000 Dollar auf den Markt kommen soll, nutzt fortschrittliche 3D-Sensoren und haptisches Feedback, um blinden Menschen mehr Selbstständigkeit zu ermöglichen.
Die Brille verwendet zwei spezielle Tiefenkameras zur dreidimensionalen Umgebungserfassung und navigiert ihre Träger durch sanfte Vibrationen an der Stirn. Mit sechs integrierten Kameras und Mikrofonen kann das System in Echtzeit zwischen begehbaren und unpassierbaren Flächen unterscheiden.
Der zweite Teil der Episode beschäftigt sich mit der von Google DeepMind entwickelten "Habermas Machine", einem KI-System zur Vermittlung in politischen und gesellschaftlichen Konflikten.
Das System arbeitet mit zwei verschiedenen KI-Modellen: eines sammelt die unterschiedlichen Perspektiven wertfrei, während das andere nach Wegen sucht, diese zusammenzubringen.
Die KI nutzt fortschrittliche Sprachverarbeitungsalgorithmen, um nicht nur explizite Aussagen, sondern auch Nuancen in der Kommunikation zu erkennen. Sie analysiert Tonfall, Kontext und implizite Bedeutungen, um wiederkehrende sprachliche Muster zu identifizieren, die auf Unsicherheiten, Vorbehalte oder versteckte Zustimmung hinweisen.

Nächste Episode

Digitale Transformation 2025: Cursor, MCP und die kundenorientierte Automatisierung

Der Weg nach KAI – Episode 46: Digitale Transformation 2025: Cursor, MCP und die kundenorientierte Automatisierung
Diesmal thematisieren wir die Konsequenzen der KI-gestützten Softwareentwicklung und neue Standards für die Integration von KI in Unternehmensumgebungen.
Die Integrated Development Environments (IDEs) ermöglichen durch KI-Unterstützung das Programmieren auch für Laien. Das Entwicklungstool "Cursor" zeigt, wie KI-Agenten eigenständig Code erstellen, testen und optimieren. Die Software führt viele Arbeitsschritte vollautomatisiert durch und benötigt nur bei kritischen Aufgaben eine Zugriffs-Erlaubnis. Diese Entwicklung führt in den nächsten Jahren absehbar zu einer Fülle spezialisierter Software-Lösungen.
Des Weiteren beschäftigen wir uns mit dem neuen Model Context Protocol (MCP) von Anthropic, das als standardisierte Schnittstelle zwischen KI-Systemen und Unternehmensinfrastrukturen funktioniert. MCP arbeitet wie ein Universalübersetzer zwischen verschiedenen Datenquellen und KI-Modellen. Die Client-Server-Architektur ermöglicht eine flexible Kommunikation mit internen und externen Datenbanken.