Der Berliner Social Media Monitoring-Anbieter uberMetrics experimentiert seit einem Jahr mit einem neuen Feature, in dem Crowdsourcing zum Einsatz kommt, um das Sentiment von Beiträgen zu bestimmen. Mittlerweile ist dieses Feature auch als reguläre Dienstleistung verfügbar (siehe auch uberMetrics-Blog im April 2014). Wie sieht das Anwendungsszenario und die Umsetzung im Tool aus und wie lief das Pilotprojekt? Ein Gastbeitrag von Anjou Müller-Pering (uberMetrics).
Anwendungsszenario
Machen wir uns nichts vor. Monitoring bringt viele Vorteile, aber wirklich handlungsrelevantes Wissen lässt sich nur erzeugen, wenn echte Menschen mit den Daten arbeiten und Informationen entnehmen.
Als Anbieter für Social Media Monitoring ist „Zeit sparen und nicht rauben“ fester Bestandteil unseres Credos. Wir möchten alles daran setzen, alle Prozesse, die von Algorithmen bzw. einer Technologie übernommen werden können, zu automatisieren. So können automatisiert Themen identifiziert, Reports erstellt, Viralität gemessen und ein Stimmungsbild erstellt werden. An der Stelle sind wir jedoch bereits beim wohl meistdiskutierten und polarisierendsten Feature im Social Media Monitoring angekommen. Wer sich regelmäßig mit Monitoring Tools beschäftigt, der weiß um die leidige Diskussion zum Thema Sentiment-Bewertung, denn eine inhaltliche Bewertung von Artikeln ist natürlich stark subjektiv geprägt. Ersparen wir uns an dieser Stelle die üblichen Beispiele; es liegt in der Natur des Menschen, ein unterschiedliches Verständnis von „gut“ und „schlecht“ zu haben und im unternehmerischen Kontext Interessen zu vertreten, die an einigen Punkten kollidieren.
Wir reagieren auf diese Problematik bisher, indem individuelle Sentiment-Modelle angelegt werden, das heißt, jeder Nutzer oder Account ist in der Lage, ein Sentiment-Modell zu trainieren, welches sich mit der jeweiligen Anwender-Perspektive deckt. Man spricht hier von „Machine-Learning-Algorithmen“. Doch auch ein Training eines solchen Modells erfordert ein Zeitinvestment des Anwenders. Es muss verstehen, welche Worte bzw. Buchstabenfolgen vom Anwender als positiv, neutral oder negativ interpretiert werden. Also eine Stellschraube, an der Automatisierung zumindest mit vorgelagertem Aufwand verbunden ist, aber vielleicht andere Modelle unterstützend wirken können. uberMetrics hat diesbezüglich im vergangenen Jahr mit Crowdsourcing-Konzepten experimentiert. Fangen wir beim Anfang an:
Pilot Projekt bis aktueller Einsatz
Vor etwa einem Jahr erreichte uns eine Projektanfrage: Ein Telekommunikationsanbieter wollte innerhalb kurzer Zeit ein Sentiment-Modell erstellen, welches im eigenen Data-Warehouse eingesetzt werden sollte. Dabei war wichtig, dass das Sentiment insbesondere auf die Domäne Telekommunikation passte und die Perspektive des Unternehmens eingenommen wurde.
Das Projekt stellte uns also vor die Herausforderung, innerhalb kurzer Zeit einen großen Datensatz zu bearbeiten und daraus ein reproduzierbares Sentiment-Modell zu erstellen. An dieser Stelle kommt uns vermutlich Berlin, als Startup-Metropole mitsamt seiner Vernetzung zwischen den hier ansässigen jungen Unternehmen, zu Gute. Unser befreundetes Startup WorkHub bietet eine Dienstleistung an, bei der große Aufgaben in kleine Teile zerlegt und von einem Personen-Netzwerk aka einer Crowd erledigt werden. Konkret lädt sich ein User eine App auf sein Smartphone, registriert sich und kann im Anschluss verschiedene kleine Tasks, nach einem vorgegebenen Briefing, erledigen – so zum Beispiel auch eine Stimmungsbewertung innerhalb kurzer Texte.
Unser Datensatz von rund 20.000 Erwähnungen des Telekommunikationsunternehmens wurde also mit einem entsprechenden Briefing an WorkHub übergeben und in den darauf folgenden Tagen von der Crowd bearbeitet. Dabei wurde jede einzelne Erwähnung von drei verschiedenen Usern hinsichtlich der enthaltenen Stimmung gegenüber der Telekommunikationsfirma bewertet, um später bei Meinungsverschiedenheiten einen Durchschnitt bilden zu können. Bewerteten zwei User einen Artikel positiv und ein User ihn neutral, so wird er schlussendlich als positiv eingestuft. Um die Qualität der Ergebnisse später bewerten zu können bildeten wir zudem eine interne Arbeitsgruppe, die eine größere Stichprobe der relevanten Treffer parallel zur Crowd manuell bewertete.
Nach wenigen Tagen lag sowohl der Datensatz der Crowd, als auch die von uns erstellte Stichprobe vor. Mithilfe der Daten von WorkHub entwickelten wir im nächsten Schritt ein Sentiment-Modell für uberMetrics DELTA. Spannend war für uns vor allem der Performance-Vergleich zwischen dem künstlich erzeugten Sentiment-Modell und unserer manuell erstellten Bewertung. Es stellte sich heraus, dass das trainierte Sentiment-Modell mit Bezug auf die Telekommunikationsbranche zu 79% mit unseren manuellen Bewertungen übereinstimmte. Wer sich mit Machine-Learning bzw. Sentiment-Bewertung befasst wird verstehen, dass wir von diesem Ergebnis begeistert waren, da man in der Theorie davon ausgeht, dass selbst Menschen nur 80-85% erzielen können.
Implementierung bei uberMetrics, wie funktioniert es konkret
Im weiteren Verlauf entstand aus dem Pilot-Projekt das Crowdsourcing-Feature in uberMetrics DELTA. Hier bieten wir all unseren Kunden an, zeitaufwändige Aufgaben wie Sentiment-Bewertung und Verschlagwortung von der Crowd erledigen zu lassen. Unsere Kunden erstellen üblicherweise mit unserer Hilfe ein kurzes und aussagekräftiges Briefing, bestimmen einen Datensatz und erhalten innerhalb weniger Tage ein Ergebnis. Einige setzen das Feature sogar bereits fortlaufend ein.
Fazit
Crowdsourcing kann keinen Analysten ersetzen, der sich entsprechendes Expertenwissen in einem Bereich angeeignet hat. Was das Feature aber perspektivisch leisten kann, ist einem Anwender mit begrenzten zeitlichen Ressourcen gezielt unter die Arme zu greifen. Dabei wird kein Anspruch auf explizite inhaltliche Auswertung erhoben, sondern insbesondere die Aussagekraft von individuellen Sentiment-Analysen erhöht und bei der Daten-Segmentierung durch Verschlagwortung geholfen. Dies wiederum deckt sich mit unserem Ziel: Zeit zu sparen.
Wir sind sehr gespannt wie die Leser des MonitoringMatchers dieses Feature einschätzen und freuen uns über thematisches Feedback in den Kommentaren bzw. auf Twitter
Photo Credit: Nina Matthews Photography via Compfight cc