Beim Social Media Monitoring werden bekanntlich zwei Möglichkeiten der Datenauswertung eingesetzt. Die meisten Tool-Anbieter bieten die automatisierte Variante an, wo mit Hilfe von Algorithmen das jeweilige Sentiment und der Inhalt eines Social Media Beitrags ausgelesen werden. Dem gegenüber steht die manuelle Auswertung der Beiträge, bei welcher geschulte Analysten die Beiträge lesen und einstufen. Im folgenden Gastbeitrag beschäftigt sich Jan Bartels vom Berliner Monitoring-Anbieter Webbosaurus vor allem mit der manuellen Beitragsprüfung sowie deren Anwendungsfeldern.
Ausgangssituation
Social Media Monitoring gehört heute zum Tagesgeschäft vieler Unternehmen. Die Mehrheit setzt dazu auf die Verwendung von professionellen Monitoring Tools, um die Daten aus dem Social Web zu erfassen und auszuwerten. Immer wieder gibt es jedoch Unternehmen, welche von den gefunden Daten überfordert sind. Das kann verschiedene Gründe haben: z.B. eine falsche Erwartungshaltung, fehlende Kompetenzen oder mangelnde Ressourcen. In nahezu jeder Query finden sich darüber hinaus Fehlbeiträge: Werbung, Spam, Affiliate-Seiten, unpassende Plattformen oder irrelevante Beiträge (Beispielsuche nach dem Drogeriemarkt „DM“ – Ergebnisse zu: DM als Abkürzung für Deutsche Mark, Dezimeter, Depeche Mode, Deutsche Meisterschaft). In der Konsequenz bedeutet das für die Unternehmen Mehraufwand. Leider werden an dieser Stelle dann häufig die falschen Konsequenzen gezogen, indem beispielsweise Praktikanten oder Auszubildende für die Datenaufbereitung eingesetzt werden, welche letztlich ebenfalls Geld kosten oder das Tool wird erst gar nicht mehr genutzt.
Um diesem Fall vorzubeugen, gibt es alternativ zu den reinen Tool-Anbietern sogenannte Full-Service-Dienstleister. Diese übernehmen im ersten Schritt die professionelle Einrichtung der Queries und pflegen diese währende der Projektlaufzeit kontinuierlich, um Fehlbeiträge zu minimieren. Anschließend werden die Ergebnisse des Social Media Monitorings von Analysten gesichtet, auf Relevanz geprüft, kategorisiert und bewertet. Ziel der manuellen Beitragsprüfung ist es, dem Tool-Nutzer Zeit zu sparen und ausschließlich relevante sowie qualifizierte Beiträge zur Verfügung zu stellen.
Nachteile
Die manuelle Beitragsprüfung hat natürlich auch Nachteile. Bei kleineren und normalen Datenmengen lässt sich diese noch nahezu in Echtzeit durchführen. Werden jedoch generische Themen, wie zum Beispiel: „Fußball“ oder „Schuhe“ betrachtet, stößt die manuelle Beitragsprüfung an dessen Grenzen. Auch große Marken wie „BMW“ oder der „FC Bayern“ generieren so viele Beiträge, dass die Datenflut nur von einem großen Team rasch bearbeitet werden kann. Die entstehenden Kosten stehen dann jedoch in der Regel nicht mehr in einem gesunden Verhältnis zum gelieferten Mehrwert. An dieser Stelle bietet sich im Rahmen der manuellen Beitragsprüfung dann eher die Untersuchung einer zufälligen Stichprobe an.
Vorteile
Auf der anderen Seiten gilt es zu bedenken, dass beispielsweise zu über 90% aller deutschen Unternehmen monatlich nicht mehr als 500 relevante Beiträge im Social Web publiziert werden. Gerade in diesen Größenordnungen ist die manuelle Beitragsprüfung häufig nicht teurer oder sogar günstiger als die Nutzung eines automatisierten Monitoring Tools. Zudem erhalten die Unternehmen dann um Fehlbeiträge bereits bereinigte Ergebnisse und vor allem qualifizierte Daten. Das bedeutet, jeder Beitrag wird auf dessen Sentiment sowie Thematik geprüft und es werden in der Regel Schlagworte aufgenommen, welche den Beitrag paraphrasieren.
Die aktuelle Stimmung rund um ihre Marken zu beobachten, ist für viele Unternehmen der Hauptgrund, Social Media Monitoring zu betreiben. Deshalb ist die Erkennung des korrekten Sentiments häufig entscheidend. Bewegt sich die Sentiment-Erkennung bei der automatisierten Variante bei rund 60 % Genauigkeit, so erreichen Analysten über 90 %. Je länger die Zusammenarbeit läuft, desto besser wird die Qualität der Daten. In der Summe werden die Daten deutlich belastbarer und ermöglichen einen höheren Erkenntnisgewinn.
Sentiment-Erkennung
Warum die Datenqualität zwischen automatisierter und manueller Auswertung so differiert, zeigen folgende Beispiele, welche häufig in der Praxis auftreten:
Erkennung des Kontexts:
„Da kann ich ja gleich zu Primark gehen!“
Würde eine automatisierte Sentiment-Erkennung diesen Beitrag wohl mit neutralem Sentiment einstufen, so prüft der Analyst den Kontext der Aussage und erkennt, dass hier wohl eher eine negative Einstufung vorzunehmen ist.
Ironie, Sarkasmus, Zynismus:
„Die neuen Schränke von IKEA sind qualitativ mal wieder echt hochwertig.“
Indirekte Aussagen werden im Social Web sehr häufig getätigt. Auch für Analysten ist eine eindeutige Zuordnung nicht immer möglich.
Dialekte, Rechtschreibung, Umgangssprache:
„Na wie ch gspannt bin ob die neue Cro-Album.“
Auf vielen Social Media Plattformen spielt die korrekte Rechtschreibung nur eine untergeordnete Rolle. Zudem gibt es für Dialekte und Umgangssprache keine festgelegten Schreibweisen. Automatisierte Tools stoßen entsprechend schnell an ihre Grenzen.
Mehrere Interpretationsmöglichkeiten:
„Winterjacken findest du auch bei Karstadt.“
Da jede manuelle Einstufung zunächst einmal subjektiv ist, können verschiedene Personen einen Beitrag auch unterschiedlich bewerten. So kann obige Aussage einerseits mit einem neutralen Sentiment bewertet, aus Unternehmenssicht aber ebenso als positiv gesehen werden, weil Karstadt als möglicher Einkaufsort genannt wurde. Um eine stringente Bewertung sicherzustellen, ist daher der kontinuierliche Austausch mit dem Unternehmen entscheidend. Bestimmte Vorgaben lassen sich in einem gemeinsam erstellten Codebuch festhalten, welches die Analysten bei der korrekten Kategorisierung unterstützt.
Sentiment des Beitrages vs. Sentiment aus Markensicht:
„Wie man schlecht in den Tag startet: Socken mit Loch angezogen, Kaffee verkippt, Auto springt nicht an. Zum Glück fährt die DB wenigstens.“
Dieses Beispiel zeigt, dass eine Textpassage insgesamt negativ sein kann, die Marke hingegen trotzdem im positiven Sinn genannt wird. Technologien haben mit der korrekten Sentiment-Einstufung hier häufig Probleme.
Mehrere Sentiments in einem Beitrag:
„Der Schuh passt, sieht super schick aus, aber bereits nach 2 Wochen löst sich die Sohle ab.“
Besonders bei Bewertungen oder in Blogs werden gerne mehrere Aussagen zu einem Produkt in einem Beitrag untergebracht. Bei der manuellen Beitragsprüfung hat der Kunde die Wahl, sich sämtliche Aussagen entweder separat darzustellen oder ein übergeordnetes Sentiment ermitteln zu lassen.
Fazit: Kosten und Nutzen für jeden Anwendungsfall abwägen
Die Anwendungsbereiche von Social Media Monitoring sind vielfältig. Entsprechend gilt es, immer genau zu schauen, welche Zielstellung ein Unternehmen mit der Beobachtung des Social Web verfolgen möchte. Die manuelle Beitragsprüfung macht insbesondere dann Sinn, wenn belastbare Insights auf der Grundlage qualifizierter Social Media Daten gewonnen werden sollen. Zudem bewegen sich die Kosten bei Datenmengen von rund 500 relevanten Beiträgen durchaus im gleichen Rahmen wie die Nutzung eines automatisierten Tools.