Small Language Models für Medienhäuser: Wann die kompakte KI-Lösung die richtige Wahl ist

Small Language Models (SLMs) sind kompakt genug für den Eigenbetrieb und spezialisiert genug für konkrete Anwendungsfälle in der Redaktion. Aber wann ist klein wirklich besser? Das KI-Kompetenzzentrum Medien (KI.M) hat die wichtigsten Unterschiede zu Large Language Models (LLMs) herausgearbeitet.

Was sind Small Language Models?

SLMs und LLMs basieren auf demselben Prinzip: Sie verarbeiten natürliche Sprache und erzeugen ihren Output auf Basis von Wahrscheinlichkeiten. Wie ein Modell reagiert, bestimmen die Parameter, die es im Training erwirbt. Je mehr Parameter, desto leistungsfähiger das System, desto mehr Rechenleistung und Speicherplatz braucht es aber auch.

Ein LLM weist Milliarden bis Billionen Parameter auf. Ein SLM kommt mit weitaus weniger aus. Als Basis dient ihm ein LLM, dessen Kopie mit Kompressionstechniken geschrumpft wird: Bei der Wissensdestillation übernimmt das kleine Modell die Gewichtungen für die Entscheidungsfindung vom großen, ohne dessen aufwendiges Training absolviert zu haben. Pruning entfernt überflüssige Parameter, die Quantization fasst die verbliebenen gröber zusammen, die Low Rank Factorization komprimiert große Gewichtsmatrizen auf ihre Kerninformationen. Das spart Zeit, Geld und Emissionen.

Was du realistisch von einem SLM erwarten kannst

Ein LLM ist ein Universalist. Ein SLM ist ein Spezialist für einen klar umrissenen Anwendungsbereich, kein KI-Allheilmittel. Drei Punkte sprechen für den Einsatz im Medienhaus.

Du holst dir einen unermüdlichen Experten ohne Allgemeinbildung ins Team

Durch die Feinjustierung (Finetuning) mit unternehmenseigenen Daten und Richtlinien wird ein SLM zum Experten für seine Aufgabe. Ein Chatbot auf SLM-Basis halluziniert weniger und antwortet seltener themenfremd als ein LLM-Generalist. Außerhalb seines Gebiets büßt er dagegen deutlich an Genauigkeit ein.

Ein möglicher Use Case: das SLM als Analyse-Werkzeug. Wer Artikel auf die Einhaltung von Redaktionsrichtlinien prüfen oder ein Archiv klassifizieren will, spart damit viel Routinearbeit.

Du senkst deine Entwicklungs- und Betriebskosten

KI-Modelle zu trainieren ist teuer, energie- und zeitaufwendig. Ein SLM lernt vom Training größerer Modelle, wie es Entscheidungen mit deinem Datensatz trifft. Der ursprüngliche Aufwand muss nicht wiederholt werden, was den Einstieg erleichtert.

Entscheidender sind die laufenden Kosten: Ein Modell befindet sich den größten Teil seines Lebenszyklus nicht im Training, sondern im Betrieb (Inferenz). Wer einen Chatbot für viele Nutzer:innen bereitstellt, zahlt dauerhaft für Rechenleistung. Ein schlankeres Modell läuft auf einfacherer Hardware und senkt diesen Posten erheblich.

Dein Modell bleibt bei dir und ist dadurch sicher und schnell

Seine geringe Größe macht ein SLM Edge-Computing-kompatibel: Es kann vollständig auf eigener Hardware (On Premise) laufen, je nach Anwendungsfall sogar ohne Internetverbindung. Sensible Daten und unveröffentlichte Inhalte verlassen die Redaktion nicht. Das ist eine DSGVO-konforme KI-Implementierung, die für Medienhäuser zentral ist.

Dazu kommt die niedrige Latenz. Ein SLM antwortet extrem schnell und eignet sich deshalb dafür, Kommentare live zu filtern oder Live-Inhalte in Echtzeit zu untertiteln.

Was du bei SLMs beachten solltest

Vor dem Modell steht die Vorarbeit. Je präziser du die Aufgabe definieren kannst, desto eher ist ein SLM die richtige Wahl und desto besser lässt sich kontrollieren, ob es sie erfüllt. 

Ideal sind wiederkehrende, regelbasierte Aufgaben: einfache Klassifizierung, Richtlinien-Checks, standardisierte Ausgaben. Dafür ein LLM einzusetzen, heißt mit Kanonen auf Spatzen zu schießen. Wer sein SLM umgekehrt außerhalb seiner Expertise verwendet, bekommt schnell falschen oder zu knappen Output. Weil die Modelle modular sind, lassen sie sich in agentischen Workflows kombinieren: viele klar umrissene Arbeitsschritte statt einer unkontrollierbaren Blackbox.

Über die Qualität entscheiden dann die Daten und deine Kontrolle. Die Arbeit deines Modells steht und fällt mit den Daten, mit denen es arbeitet: aktuell, faktisch sauber, zur Aufgabe passend. Bullshit in, Bullshit out. Und weil auch ein gut versorgtes SLM Fehler macht, gehören Stichproben beim Output, Tests außerhalb der Domäne, eine Dokumentation des Systems und die Kennzeichnung KI-generierter Inhalte dazu.

Fazit: Wann ist klein wirklich besser?

Small Language Models sind für Medienhäuser eine sinnvolle Alternative zu LLMs, wenn der Einsatzbereich klar definiert ist. Ihre Stärken liegen bei wiederkehrenden, spezialisierten Aufgaben: niedrige Kosten, sehr kurze Reaktionszeiten und bei Bedarf vollständiger Betrieb On Premise, ideal für DSGVO-konforme KI-Implementierungen.

Ihre Grenzen sind ebenso klar. Für vielseitige, kreative Aufgaben oder komplexe Zusammenhänge bleiben LLMs die bessere Wahl. Entscheidend ist die Frage, ob dein Medienhaus die Aufgabe präzise genug beschreiben und die passenden Daten aufbereiten kann. Wer das leistet, gewinnt mit einem SLM die Kontrolle über Kosten, Daten und Qualität zurück.