Computer besiegen uns Menschen im Schachspiel und Google’s Supercomputer AlphaGo hat den Kampf Mensch gegen Maschine in dem hochkomplexen asiatischen Brettspiel Go für sich entschieden. Doch in ein Refugium sind die elektronischen Schaltkreise noch nicht vorgedrungen: die menschliche Sprache. Sie bleibt den Prozessoren weitgehend verschlossen. Für eine bessere Qualität im Social Media Monitoring benötigt man deshalb auch heute noch eine gute Portion „Human Touch“. Peter Bernskötter, Gründer des Monitoring-Anbieters bc.lab, skizziert in seinem Gastbeitrag, warum Menschen der entscheidende Qualitätsfaktor im Social Media Monitoring bleiben – beim Set-Up, beim Sentiment und auch beim Reporting.
Meinungen, Kritik und Dialoge lassen sich nicht durch noch so hochdimensionierte Rechenleistung fehlerfrei analysieren. Denn Computer können die Inhalte unserer Sprache nicht „verstehen“, sie können nicht assoziieren, sie können den Sinn von Dialogen nicht erfassen oder sie fehlerfrei fortführen. Ironische Äußerungen, Anspielungen, doppelte Verneinungen und Stimmungen sind für Elektronenhirne eine Blackbox. Um Dialoge und Meinungsäußerungen in Social Media Netzwerken zu analysieren, müssen deshalb auch heute noch Menschen ran. Qualitativ hochwertige Analysen bleiben ganz klar eine Domäne der menschlichen Intelligenz.
Was bedeutet das für das Social Media Monitoring? In mehreren Bereichen des Monitoring ist die menschliche Komponente der entscheidende Qualitätsfaktor. Denn sowohl das richtige Set-Up eines Monitorings als auch die laufende Optimierung, die Sentiment-Analyse und ein sinnvolles Reporting ist ohne menschlichen Einsatz nicht zu machen.
Set-Up
Am Anfang jedes Social Media Monitorings steht das Set-Up. Die richtigen Keywords legen die Basis für das Monitoring und entscheiden darüber, ob die relevanten Beiträge aus sozialen Medien gefunden und zusammengetragen werden. Im besten Fall hat man eindeutige Suchbegriffe, die keine Fehltreffer erzeugen. Aber das ist eher die Ausnahme. Denn bei vielen Marken und Produkten werden überwiegend Treffer gefunden, die mit dem gesuchten Produkt nichts zu tun haben.
Wer beispielsweise nach der Thalia Buchhandlung sucht, findet unter den Ergebnissen sowohl zahlreiche Thalia-Theater und -Kinos (in Deutschland muss es hunderte Thalia Theater geben) als auch unzählige Bilder, Videos und Diskussionen über die berühmte mexikanische Sängerin „Ariadna Thalia“. Der Juwelier Christ macht es einem Monitoring Dienstleister noch schwerer. Schließlich steht das Wort „Christ“ für eine der führenden Weltreligionen und funktioniert sogar perfekt in englischer Sprache. Wer sich die Liste der großen Marken anschaut, wird feststellen, dass sie voll von generischen Begriffen und weit verbreiteten Nachnamen ist – für das Social Media Monitoring eine echte Herausforderung.
Um bei solchen Suchbegriffen nicht in Fehltreffern zu ertrinken und brauchbare Monitoring-Ergebnisse zu erhalten, braucht es Menschen. Menschen, die über viel Know-how, Erfahrung, Geduld und Ausdauer verfügen. Denn alle unbrauchbaren Treffer zu identifizieren und zu eliminieren, ist keine einmalige Aufgabe, sondern ein kontinuierlicher Prozess. Dabei muss man sensibel abwägen, was grundsätzlich und automatisch gelöscht werden kann und was nicht. Kann also im konkreten Fall „Thalia“ der Begriff „Kino“ pauschal gelöscht werden oder könnte bei der Wortkombination Kino + Thalia eventuell doch ein relevanter Treffer dabei sein? Gehört das Glaubensbekenntnis „ich bin Christ“, das täglich unzählige Treffer ausmacht, auf die Blacklist oder werden dadurch nicht sogar wichtige Treffer gelöscht, wie etwa „ich bin Christ dankbar für …“. Diese Entscheidungen zu fällen, ist die Aufgabe eines Social Media Analysten. Oft ist es unumgänglich, täglich solche Treffer zu kontrollieren, die nicht automatisch über Blacklists abgefangen werden können und diese dann manuell zu löschen.
Sentiment
Die nächste Schwierigkeit haben Computer mit der Bewertung von positiven, neutralen und negativen Stimmungen. Die Sentiment-Analyse ist ein Teilbereich der Computer-Linguistik, auch Natural Language Processing (NLP) genannt. Damit sind Computer heute recht zuverlässig in der Lage, einfache Bewertungen vorzunehmen. Sätze wie „ich hasse Autos“ oder „Abgase stinken“ werden als negativ erkannt. Wird es aber etwas komplexer, entscheiden sich die Algorithmen schnell für die falsche Stimmung. Typische Fallstricke sind Verneinungen, („man kann nicht sagen, der Service ist besonders gut“), verschachtelte Sätze („ich finde, dass der Service schon deutlich besser war“), ironische Aussagen („Super Service den keiner braucht“).
Auch wenn die Entwicklung der Algorithmen große Fortschritte gemacht hat, ist die Fehlerquote für eine brauchbare Auswertung und Analyse noch nicht im akzeptablen Bereich angekommen. Zuverlässigere Positiv-Negativ-Bewertungen können nur durch die nachgelagerte Kontrolle von Social Media Analysten erreicht werden. Denn erst wenn die Inhalte solcher Aussagen erfasst, die Anspielungen erkannt und Zusammenhänge zugeordnet werden, entstehen sinnvolle Bewertungen von Stimmungen und Meinungen. Wie beim Monitoring Set-Up und der kontinuierlichen Ergebnis-Pflege ist auch bei der Sentiment-Analyse eine Zusammenarbeit von Mensch und Maschine weiterhin sinnvoll: Vorentscheidung durch Software; nachgelagerte Kontrolle, Korrektur und kontinuierliche Optimierung durch Analysten.
Dabei muss man einschränkend sagen, dass es eine hundertprozentig eindeutige Bewertung in der Sentiment-Analyse auch durch Menschen nie geben wird. Denn lässt man Texte durch mehrere Analysten bewerten, erkennt man schnell, dass sie sich nicht immer für die selbe Stimmung entscheiden. Einflussfaktoren können persönlichen Einstellungen und Erfahrungen, oder auch die Betrachtungsperspektive sein. Wenn beispielsweise ein Produkt gegenüber einem anderen schlecht abschneidet, ist das für den einen Hersteller positiv, für den anderen negativ.
Der maximal erreichbare Wert der Übereinstimmung liegt rein wissenschaftlich bei 75 Prozent. Das restliche Viertel bleibt uneindeutig und kann nur durch eine individuelle Festlegung von Bewertungsrichtlinien gesteigert werden. Im Monitoring bedeutet das konkret: Nur mit einer klaren Guideline und einem Briefing der beteiligten Social Media Analysten erreicht man qualitativ hochwertige Sentiment-Analysen.
Reporting
Social Media Reports sollen auf einfache Weise sichtbar machen, was im Social Web passiert, welche Trends sich entwickeln, wo es Probleme gibt und welchen Impact diese im Social Web haben. Auch hier steigert das Zusammenspiel von Computer-Technologie und menschlicher Intelligenz die Qualität und damit den Nutzen von Social Media Reports. Denn was nützen Zahlen, KPIs, Balken-, Säulen- und Tortendiagramme, wenn ich nicht weiß, welche Diskussionen und Themen sich dahinter verbergen? Erst durch die Kombination aus „Zahlen“ (durch Computer generiert) und „Inhalt“ (durch Social Media Analysten erkannt) lassen sich Chancen und Risiken konkret benennen und sinnvolle Erkenntnisse ableiten.
Welche konkrete Aussage steht hinter einem negativen Ausschlag in der Timeline-Kurve? Welches Feature sorgt bei Produkten und Services für positive Spitzen in der Monatsgrafik? Diese Inhalte sind es, die den Zahlen ein Gesicht und dem Entscheider die Möglichkeit geben, die richtigen Schlussfolgerungen und Entscheidungen für künftige Strategien und Kampagnen ableiten zu können. Und um zugunsten der Übersichtlichkeit die Balance zu finden, was in einem Report enthalten sein muss und was nicht, gehört auch immer eine Portion menschliche Erfahrung, Intuition und Know-how dazu. Auch hier zeigt sich, dass die menschliche Komponente einen deutlichen Mehrwert schaffen kann, den reine Software für sich genommen nicht erreicht.
Fazit: Social Media Monitoring mit dem „Human Touch“
Social Media Monitoring ist weit mehr als das Sammeln und Zählen von Suchergebnissen im Social Web. Das Verständnis der menschlichen Sprache ist ein hoch komplexer Prozess, der Computer weiterhin vor große Herausforderungen stellt. Rein technische Lösungen, wie sie die meisten Monitoring-Tools bieten, stoßen hier an ihre Grenzen. Auch wenn die Software-Entwicklung in großen Schritten voranschreitet, wird man in absehbarer Zukunft ein hohes Qualitätsniveau und sinnvollen Mehrwert im Social Media Monitoring nur mit einer guten Portion „Human Touch“ erzielen können.