Projekt: Archivar
Verschlagwortung und Inhaltsbeschreibung von Bewegtbild
Kann KI genutzt werden, um eine großflächige und zugleich vertrauenswürdige automatische Beschreibung von Videomaterial zu ermöglichen? Dieses Projekt prüft, wie generative Technologien dabei unterstützen können.
Projektanstoß
Viele Medienhäuser sitzen auf einem riesigen Schatz. Sie verfügen über Archive mit Texten, Berichten, Bildern und Videos. Es sind Inhalte, die oft über Jahrzehnte hinweg entstanden sind. Diesen Bestand nutzbar zu machen, blieb lange Zukunftsmusik.
Was „nutzbar" konkret bedeutet, zeigt ein typisches Beispiel: Hunderte Videos liegen ohne Beschreibung in einer Datenbank, und für einen bestimmten Beitrag soll daraus ein passendes Video oder ein kurzer Ausschnitt zur Wiederverwendung gefunden werden. Bisher funktionierte das automatisiert nur unzuverlässig und blockierte damit die Aufbereitung und Weiterverwendung wertvoller alter Inhalte.
Lösungsansatz der Machbarkeitsstudie
Die Machbarkeitsstudie geht auf eine gemeinsame Initiative von München TV und der Medienwerkstatt Franken zurück. Sie untersucht, ob aktuelle KI-Technologie diese Arbeit zuverlässig übernehmen kann, und zwar auf eigener Hardware, ohne dass Archivmaterial an externe Dienste weitergegeben werden muss.
Neben einer Reduktion von Kosten und Verarbeitungszeit macht Archivar die Beschreibung von Videomaterial verlässlich und skalierbar. Bewegtbildinhalte werden dafür in kleinere, semantisch geschlossene Snippets zerlegt. Diese Segmente bewahren den inhaltlichen Zusammenhang einer Szene und lassen sich zugleich von kleineren, ressourcenschonenden Modellen in gleichbleibend hoher Qualität analysieren. Das Ergebnis ist eine Analyse, die spürbar weniger Zeit beansprucht, als das Material an Laufzeit besitzt.
Wie Archivar Ressourcen sparen kann und trotzdem brauchbare Ergebnisse erzielt
Jede Teilaufgabe wie Bilderkennung oder Audiotranskription wird dabei einem Modell übertragen, das in seinem jeweiligen Kontext dem aktuellen Stand der Technik entspricht, um die spezifischen Vorteile der Modelle auszunutzen. Auf diese Weise werden ressourcenintensive Cloud-basiere KI-Modelle vermieden und die Rate an Falscherkennungen so weit wie möglich gegen null gesenkt. Für die Audioverarbeitung wird zusätzlich sichergestellt, dass gesprochene Sprache zuverlässig erkannt wird, der semantische Zusammenhang einer Szene erhalten bleibt und korrekt gedeutet wird.
Schematische Darstellung eines möglichen redaktionellen Workflows. Eine menschliche Endkontrolle ist empfohlen.
Warum eine ganzheitliche Analyse von Ton und Bild notwendig ist
Ton und Bild werden ganzheitlich ausgewertet werden, um Kontext zu erhalten. Durch ein Reasoning zwischen Audiotranskription und Bildbeschreibung im zeitlichen Verlauf kann der Prototyp Fehlzuordnungen vermeiden, wie sie bei rein akustischer Analyse entstehen – etwa wenn das Geräusch eines Verbrennungsmotors fälschlich einem Motorboot zugeordnet wird, obwohl im Bild ein Traktor zu erkennen ist.
Archivar analysiert das Bewegtbildmaterial, zerlegt es in inhaltliche Segmente (Chunks) und setzt Video- und Audiospuren in Kontext.
Bedeutung für die Medienbranche
Der KI-Video-Analyse-Prototyp Archivar ist eine technisch vollständige Lösung für die KI-gestützte Video- und Audioanalyse. Er besteht aus einer Hauptanwendung plus eigenständigen Inferenzservern. Inferenzserver liegen in den Konfigurationen S, M und L vor und sind funktionsfähig – müssen jedoch für die individuelle Hardware konfiguriert werden. Die jeweiligen Konfigurationen dienen unterschiedlichen Anwendungsfällen.
Der vollständige Projektbericht liefert Medienhäusern Ansatzpunkte für die bestmögliche Auswahl.
Weitere Projekte entdecken
