Wann lohnt manuelle Beitragsprüfung und warum? (Gastbeitrag)

Manuelle Beitragsprüfung jan bartels webbosaurusBeim Social Media Monitoring werden bekanntlich zwei Möglichkeiten der Datenauswertung eingesetzt. Die meisten Tool-Anbieter bieten die automatisierte Variante an, wo mit Hilfe von Algorithmen das jeweilige Sentiment und der Inhalt eines Social Media Beitrags ausgelesen werden. Dem gegenüber steht die manuelle Auswertung der Beiträge, bei welcher geschulte Analysten die Beiträge lesen und einstufen. Im folgenden Gastbeitrag beschäftigt sich Jan Bartels vom Berliner Monitoring-Anbieter Webbosaurus vor allem mit der manuellen Beitragsprüfung sowie deren Anwendungsfeldern.

Ausgangssituation

Social Media Monitoring gehört heute zum Tagesgeschäft vieler Unternehmen. Die Mehrheit setzt dazu auf die Verwendung von professionellen Monitoring Tools, um die Daten aus dem Social Web zu erfassen und auszuwerten. Immer wieder gibt es jedoch Unternehmen, welche von den gefunden Daten überfordert sind. Das kann verschiedene Gründe haben: z.B. eine falsche Erwartungshaltung, fehlende Kompetenzen oder mangelnde Ressourcen. In nahezu jeder Query finden sich darüber hinaus Fehlbeiträge: Werbung, Spam, Affiliate-Seiten, unpassende Plattformen oder irrelevante Beiträge (Beispielsuche nach dem Drogeriemarkt „DM“ – Ergebnisse zu: DM als Abkürzung für Deutsche Mark, Dezimeter, Depeche Mode, Deutsche Meisterschaft). In der Konsequenz bedeutet das für die Unternehmen Mehraufwand. Leider werden an dieser Stelle dann häufig die falschen Konsequenzen gezogen, indem beispielsweise Praktikanten oder Auszubildende für die Datenaufbereitung eingesetzt werden, welche letztlich ebenfalls Geld kosten oder das Tool wird erst gar nicht mehr genutzt.

Um diesem Fall vorzubeugen, gibt es alternativ zu den reinen Tool-Anbietern sogenannte Full-Service-Dienstleister. Diese übernehmen im ersten Schritt die professionelle Einrichtung der Queries und pflegen diese währende der Projektlaufzeit kontinuierlich, um Fehlbeiträge zu minimieren. Anschließend werden die Ergebnisse des Social Media Monitorings von Analysten gesichtet, auf Relevanz geprüft, kategorisiert und bewertet. Ziel der manuellen Beitragsprüfung ist es, dem Tool-Nutzer Zeit zu sparen und ausschließlich relevante sowie qualifizierte Beiträge zur Verfügung zu stellen.

Nachteile

Die manuelle Beitragsprüfung hat natürlich auch Nachteile. Bei kleineren und normalen Datenmengen lässt sich diese noch nahezu in Echtzeit durchführen. Werden jedoch generische Themen, wie zum Beispiel: „Fußball“ oder „Schuhe“ betrachtet, stößt die manuelle Beitragsprüfung an dessen Grenzen. Auch große Marken wie „BMW“ oder der „FC Bayern“ generieren so viele Beiträge, dass die Datenflut nur von einem großen Team rasch bearbeitet werden kann. Die entstehenden Kosten stehen dann jedoch in der Regel nicht mehr in einem gesunden Verhältnis zum gelieferten Mehrwert. An dieser Stelle bietet sich im Rahmen der manuellen Beitragsprüfung dann eher die Untersuchung einer zufälligen Stichprobe an.

Vorteile

Auf der anderen Seiten gilt es zu bedenken, dass beispielsweise zu über 90% aller deutschen Unternehmen monatlich nicht mehr als 500 relevante Beiträge im Social Web publiziert werden. Gerade in diesen Größenordnungen ist die manuelle Beitragsprüfung häufig nicht teurer oder sogar günstiger als die Nutzung eines automatisierten Monitoring Tools. Zudem erhalten die Unternehmen dann um Fehlbeiträge bereits bereinigte Ergebnisse und vor allem qualifizierte Daten. Das bedeutet, jeder Beitrag wird auf dessen Sentiment sowie Thematik geprüft und es werden in der Regel Schlagworte aufgenommen, welche den Beitrag paraphrasieren.

Die aktuelle Stimmung rund um ihre Marken zu beobachten, ist für viele Unternehmen der Hauptgrund, Social Media Monitoring zu betreiben. Deshalb ist die Erkennung des korrekten Sentiments häufig entscheidend. Bewegt sich die Sentiment-Erkennung bei der automatisierten Variante bei rund 60 % Genauigkeit, so erreichen Analysten über 90 %. Je länger die Zusammenarbeit läuft, desto besser wird die Qualität der Daten. In der Summe werden die Daten deutlich belastbarer und ermöglichen einen höheren Erkenntnisgewinn.

Sentiment-Erkennung

Warum die Datenqualität zwischen automatisierter und manueller Auswertung so differiert, zeigen folgende Beispiele, welche häufig in der Praxis auftreten:

Erkennung des Kontexts:

„Da kann ich ja gleich zu Primark gehen!“

Würde eine automatisierte Sentiment-Erkennung diesen Beitrag wohl mit neutralem Sentiment einstufen, so prüft der Analyst den Kontext der Aussage und erkennt, dass hier wohl eher eine negative Einstufung vorzunehmen ist.

Ironie, Sarkasmus, Zynismus:

„Die neuen Schränke von IKEA sind qualitativ mal wieder echt hochwertig.“

Indirekte Aussagen werden im Social Web sehr häufig getätigt. Auch für Analysten ist eine eindeutige Zuordnung nicht immer möglich.

Dialekte, Rechtschreibung, Umgangssprache:

„Na wie ch gspannt bin ob die neue Cro-Album.“

Auf vielen Social Media Plattformen spielt die korrekte Rechtschreibung nur eine untergeordnete Rolle. Zudem gibt es für Dialekte und Umgangssprache keine festgelegten Schreibweisen. Automatisierte Tools stoßen entsprechend schnell an ihre Grenzen.

Mehrere Interpretationsmöglichkeiten:

„Winterjacken findest du auch bei Karstadt.“

Da jede manuelle Einstufung zunächst einmal subjektiv ist, können verschiedene Personen einen Beitrag auch unterschiedlich bewerten. So kann obige Aussage einerseits mit einem neutralen Sentiment bewertet, aus Unternehmenssicht aber ebenso als positiv gesehen werden, weil Karstadt als möglicher Einkaufsort genannt wurde. Um eine stringente Bewertung sicherzustellen, ist daher der kontinuierliche Austausch mit dem Unternehmen entscheidend. Bestimmte Vorgaben lassen sich in einem gemeinsam erstellten Codebuch festhalten, welches die Analysten bei der korrekten Kategorisierung unterstützt.

Sentiment des Beitrages vs. Sentiment aus Markensicht:

„Wie man schlecht in den Tag startet: Socken mit Loch angezogen, Kaffee verkippt, Auto springt nicht an. Zum Glück fährt die DB wenigstens.“

Dieses Beispiel zeigt, dass eine Textpassage insgesamt negativ sein kann, die Marke hingegen trotzdem im positiven Sinn genannt wird. Technologien haben mit der korrekten Sentiment-Einstufung hier häufig Probleme.

Mehrere Sentiments in einem Beitrag:

„Der Schuh passt, sieht super schick aus, aber bereits nach 2 Wochen löst sich die Sohle ab.“

Besonders bei Bewertungen oder in Blogs werden gerne mehrere Aussagen zu einem Produkt in einem Beitrag untergebracht. Bei der manuellen Beitragsprüfung hat der Kunde die Wahl, sich sämtliche Aussagen entweder separat darzustellen oder ein übergeordnetes Sentiment ermitteln zu lassen.

Fazit: Kosten und Nutzen für jeden Anwendungsfall abwägen

Die Anwendungsbereiche von Social Media Monitoring sind vielfältig. Entsprechend gilt es, immer genau zu schauen, welche Zielstellung ein Unternehmen mit der Beobachtung des Social Web verfolgen möchte. Die manuelle Beitragsprüfung macht insbesondere dann Sinn, wenn belastbare Insights auf der Grundlage qualifizierter Social Media Daten gewonnen werden sollen. Zudem bewegen sich die Kosten bei Datenmengen von rund 500 relevanten Beiträgen durchaus im gleichen Rahmen wie die Nutzung eines automatisierten Tools.

10 Kommentare » Schreibe einen Kommentar

  1. Hallo Herr Bartels,

    danke für den lesenswerten Beitrag, dem ich voll zustimmen kann. Ich hatte im vergangenen Jahr einen ähnlichen Beitrag verfasst:
    http://cure-sa.eu/blog/die-grenzen-von-social-media-monitoring-tools.html

    Neben den von Ihnen geschilderten Problemen bei der Sentiment-Erkennung spricht für das manuelle Monitoring auch einfach, dass es es Websites bzw. Publikationen gibt, die nicht gecrawlt werden können und dass die rein Keyword-basierte Suche ohnehin niemals vollständig sein kann, weil in einer Diskussion oft Bezug auf einen auslösenden Beitrag genommen wird, ohne dann die entsprechenden Keywords wieder zu nennen. In letzterem Fall haben Sie dann einen systematischen statistischen Fehler. Dieser kann über manuelles Monitoring weitestgehend eliminiert werden.

    Beste Grüße aus Luxemburg
    Marco Feiten
    Managing Director CURE S.A.

  2. Pingback: Linkdump vom Mi, 27. Januar 2016 bis Mi, 03. Februar 2016 Links synapsenschnappsen

  3. Hallo Herr Feiten,

    danke für Ihr Feedback und Ihre Zustimmung. Im Rahmen eines Blogposts ist es natürlich immer schwierig auf sämtliche Probleme einzugehen. So habe ich mich auf die wesentlichen Punkte fokussiert. Nichtsdestotrotz gehe ich mit Ihren genannten Punkten natürlich ebenso vollkommen d’accord. Gerade mit dem manuellen Durchsuchen von nicht “crawlbaren” Quellen sprechen Sie aus meiner Sicht einen weiteren wichtigen Punkt an.

    Beste Grüße
    Jan Bartels

  4. Sehr interessanter Artikel, Jan Bartels. Was ist denn der monatliche Mindestbetrag, den ein kleines mittelständiges Unternehmen für den Service einplanen müsste? Das Problem ist in der Tat nicht die Menge an Erwähnungen, sondern dass es ggf. die eine Erwähnung ist, die nicht übersehen werden sollte.

    Wie findet man die Erwähnungen auf nicht crawlbaren Seiten, Herr Feiten?

    • Hallo Herr Spannaus,

      entschuldigen meine späte Rückmeldung. Monatlich beginnen unsere günstigsten Pakete bei 350 Euro für eine automatisierte Aufbereitung der Daten. Nimmt man die manuelle Beitragsprüfung durch unsere Analysten dazu, so sind circa 500 Euro monatlich zu veranschlagen. Letztlich hängt dies jedoch immer von der Menge der aufzubereitenden Daten ab. Gerne können Sie sich an mich wenden, dann können wir Ihnen ein individuelles Angebot zukommen lassen.

      Beste Grüße

      Jan Bartels

    • Hallo Herr Spannaus,

      wir nutzen mehrere Monitoring-Tools und testen immer wieder neue, um die Quellenabdeckungen zu vergleichen. Aus der inzwischen über 6-jährigen Monitoring-Historie heraus haben wir zudem eine umfassende Übersicht erstellt, welche Seiten nicht gecrawlt werden können. Auf diese Seiten sind wir durch andere Tools und zum Teil sogar klassische Suchmaschinen gestoßen oder wurden explizit von Kunden darauf hingewiesen. Diese Seiten werden bei uns durch manuelle Suchen über Mitarbeiter abgedeckt – je nach Wichtigkeit mehrmals täglich.

      Beste Grüße
      Marco Feiten

  5. Pingback: Gedankenspiele-Lesetipps vom 09. Februar 2016 | GEDANKENSPIELE by Dominik Ruisinger

  6. Pingback: Sentimentanalyse: Ergebnis Tonalitätstest da

  7. Pingback: Regelbasiertes Tagging mit Talkwalker

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.


Newsletter?
Los