Gepostet am 03.11.2026
Multimodales Reasoning: Warum Künstliche Intelligenz ihren eigenen Augen nicht traut
Dass Ton und Bild zwei Seiten derselben Medaille sind, ist für einen Menschen eine Selbstverständlichkeit. Nicht so bei KI-Systemen – multimodales Reasoning ist notwendig, damit beide Ebenen gemeinsam interpretiert werden können. Illustration: Mit KI erstellt.
Wenn wir Menschen einen Film betrachten, fügt unser Gehirn Bilder, Musik und Text mühelos zu einem Gesamtbild zusammen. Künstliche Intelligenz muss dieses Zusammenspiel mühsam herleiten. Multimodales Reasoning verspricht Besserung für die Videoanalyse, doch es hat seine Tücken – das zeigt der Blick in die Praxis von Medienarchiven.
Die Archive von Sendern und Verlagen sind voll von unstrukturiertem Videomaterial. Um diese Bestände durchsuchbar zu machen, kommt immer öfter KI zum Einsatz. Die meisten KI-Systeme werten allerdings oft nur eine einzelne Informationsquelle aus, hören also beispielsweise ausschließlich auf die Audiospur.
Das kann im Produktionsalltag zu kuriosen Situationen führen, denn die isolierte Analyse von Tonspuren kann zu Fehlschlüssen führen, die Menschen bei gleichzeitiger Wahrnehmung von Bild und Ton im Normalfall nicht unterlaufen wären.
Ein sogenanntes ASR-Modell (Automatic Speech Recognition), das rein auf automatische Audio- und Spracherkennung trainiert ist, ordnet das brummende Rauschen eines Verbrennungsmotors möglicherweise als Motorboot ein. Das Bildmaterial zeigt in diesem Moment aber eigentlich einen Traktor auf dem Feld. Weil klassische Audiosoftware blind für Video ist, würde der Beitrag im Archiv möglicherweise unter völlig falschen Schlagwörtern abgelegt.
Multimodales Reasoning: Wenn die Modelle sich abgleichen
Um diesen Fehler zu beheben, setzt der Prototyp Archivar aus dem KI-Reallabor auf Multimodalität – also die Fähigkeit, verschiedene Sinneseindrücke wie Ton, Bild und Text gleichzeitig zu verarbeiten. Hierfür kommt neben der Spracherkennung ein VLM (Vision Language Model) zum Einsatz, das die visuellen Inhalte analysiert.
Der entscheidende Schritt ist dabei „Multimodales Reasoning“. Der Begriff beschreibt den logischen Abgleich der verschiedenen Eindrücke. Das System verknüpft das Transkript des ASR-Modells direkt mit der Bildbeschreibung des VLMs. Die Maschine lernt auf diese Weise, scheinbar widersprüchliche Informationen gegeneinander abzuwägen und sich für den wahrscheinlichsten Kontext zu entscheiden, um zum Beispiel falsch zugeordnete Geräusche zu vermeiden.
Der Praxisfall: Wenn Text und Ton das Bild überschreiben
Doch auch dieser Abgleich funktioniert nicht immer reibungslos. Manchmal gewichtet ein KI-System eine der Wahrnehmungsebenen zu stark. Wie fehleranfällig dieser Prozess sein kann, belegt ein konkreter Fall im Verlauf der Machbarkeitsstudie.
Analysiert wurde der Animationskurzfilm „Sound Asleep“. Die menschliche Referenz beschreibt das Werk folgendermaßen: Ein Vogel kehrt zu seinem Küken in den Turm einer Bergkirche zurück, bis ein mächtiges Uhrwerk die Nachtruhe stört.
Die Maschine zog jedoch eine völlig andere Schlussfolgerung. Das KI-System erkannte dramatische Musik und interpretierte den Schriftzug „STORM RIDER“ im Abspann als Titel. Das Modell gewichtete diese textlichen und auditiven Signale derart stark, dass sie die visuelle Ebene komplett überschrieben. Aus einem Film über einen Vogel machte das System fälschlicherweise ein düsteres Musikvideo. Die Annahme, es handle sich um ein Musikvideo namens „STORM RIDER“, zog sich im Test konsistent durch die gesamte maschinelle Beschreibung.
Das bedeutet die Technologie für Redaktionen
Für den Einsatz in der Medienproduktion beweist dies erneut: Künstliche Intelligenz sieht keine unumstößlichen Fakten, sie berechnet lediglich Wahrscheinlichkeiten. Multimodales Reasoning ist daher ein gewaltiger technologischer Sprung, um Videoinhalte überhaupt sinnvoll zu beschreiben und riesige Videoarchive mit vertretbarem Aufwand durchsuchbar zu machen. Die Technik kann für Medienhäuser eine enorme Arbeitserleichterung bedeuten.
Damit die Integration in die eigenen Content-Management-Systeme gelingt, erfordert es jedoch ein grundlegendes technisches Verständnis bei den Anwender:innen. Redaktionen müssen wissen, dass dominante Text- oder Audiosignale – wie ein wuchtiger Soundtrack oder prägnante Texteinblendungen – die Bildanalyse in die Irre führen können. Die automatisierten Metadaten sollten deshalb als strukturelle Grundlage für Suche und Filterung genutzt werden, nicht als unfehlbare Wahrheit.
Fazit: Vier Augen sehen mehr als zwei
Multimodales Reasoning kann unstrukturierte Datenberge in wertvolles, durchsuchbares Wissen verwandeln. Entscheidend ist, dass multimodales Reasoning die Fehlerquote erheblich reduziert, da Datensätze in Relation zueinander betrachtet werden. Wer die Schwächen eines Modells kennt, kann gezielte redaktionelle Kontrollschritte für komplexe Formate in seine Workflows einbauen und sich vor unentdeckten Fehlern schützen.
Redaktionelle Mitarbeit: Giulia Neumeyer
Geschrieben von
Marius Grubel
Projektmanagement KI-Reallabor
Marius Grubel ist KI-Entwickler und verantwortet das KI-Reallabor. Nach beruflichen Stationen in der Automobilindustrie bringt der Absolvent des Studiengangs AI Engineering of Autonomous Systems (THI) seine Expertise in die Medienwelt ein, um dort den Austausch zu KI-Themen und -Prozessen zu fördern.
