Sonstiges

Big Data im Eigenversuch: Wie man Musikverkäufe mithilfe von Twitter prognostiziert

model

Big Data ist in aller Munde und ich hab hin und wieder erwähnt, dass ich selbst an einem Forschungsprojekt (PDF) arbeite, bei dem ich den Absatz von Musikalben mithilfe von Twitter prognostizieren möchte. Die Erkenntnis: Es klappt – und zwar mit beeindruckender Genauigkeit.

Das Studiendesign ist im Prinzip simpel: Man schaut sich an, wie oft über ein Album getweetet wurde und vergleicht das mit den Verkaufszahlen. Wenn es eine starke Korrelation gibt, ist das Modell verlässlich.

Daten von Universal Music und DiscoverText

Für die Studie habe ich 25 Alben von Universal Music untersucht, die zwischen Ende Januar und Mitte Februar veröffentlicht wurden, unter anderem „Passione“ von Andrea Bocelli, „Two Lanes of Freedom“ von Tim McGraw oder „Chasing The Saturdays“ von The Saturdays. Die Verkaufszahlen für drei Wochen nach der Veröffentlichung wurden von der Universal Music Group in Santa Monica zur Verfügung gestellt.


Neue Stellenangebote

Growth Marketing Manager:in – Social Media
GOhiring GmbH in Home Office
Senior Social Media Manager:in im Corporate Strategy Office (w/d/m)
Haufe Group SE in Freiburg im Breisgau
Senior Communication Manager – Social Media (f/m/d)
E.ON Energy Markets GmbH in Essen

Alle Stellenanzeigen


Über DiscoverText, ein kostenpflichtiges Analyse-Tool, habe ich englischsprachige Tweets gesammelt, die entweder den Künstlernamen oder den Albumtitel enthielten und in einem Zeitraum von zwei Wochen vor Veröffentlichung bis eine Woche nach Veröffentlichung gepostet wurden.

3 Millionen Tweets für 2.500 Dollar

Grundsätzlich kann man Tweets auch über die Twitter-API sammeln, aber da ich in meinem Fall die Tweets rückwirkend betrachtet habe, mussten die eingekauft werden. Kostenpunkt: 2.500 Dollar für drei Millionen Tweets, die meine Alma Mater, die University of Southern California, bezahlt hat.

Nachdem ich die Daten gesammelt hatte, musste ich sie sinnvoll ordnen. Ich habe zwei grobe Modelle berücksichtigt: In dem ersten Modell waren alle Tweets, die entweder den Künstlernamen oder den Albumtitel enthielten, im zweiten Modell wurden Tweets berücksichtigt, die sowohl den Künstlernamen als auch den Albumtitel verwenden. Auch wurden hier Tweets gesammelt, in denen der Künstlername und Wörter wie „CD“, „Album“, „Release“ oder bestimmte Songtitel vorkamen.

In beiden Modellen habe ich pro Album eine Stichprobe der gesammelten Tweets auf ihre Relevanz überprüft, denn bei Alben wie „At Peace“ von Ballake Sissoko oder „Icon“ von der Allman Brothers Band haben die wenigsten Tweets etwas mit dem Album zu tun. Insgesamt hatte ich die Freude 18.000 Tweets zu lesen und zu kodieren – pro Tweet braucht man ca. zwei Sekunden.

Drei Modelle, 25 Alben und 23.500 gelesene Tweets

Da das Modell 1a relativ unbrauchbar ist, weil viele irrelevante Tweets gesammelt werden, wurde es nicht weiter berücksichtigt. Für die anderen drei Modelle (1b = relevante Tweets, Künstler oder Album; 2a = alle Tweets, Künstler und Album; 2b = relevante Tweets, Künstler und Album) wurde ermittelt, wie viel Tweets pro Tag von wie vielen unterschiedlichen Usern (Unique User) gesendet wurden und wie viele gemeinsamen Follower (Reichweite) die Unique User haben.

Bei einem Zeitraum von 22 Tagen kommt man somit auf 198 Variablen. Zusätzlich habe ich noch die Summen für die Wochen genommen (2 Wochen vor Veröffentlichung, 1 Woche vor Veröffentlichung, 1 Woche nach Veröffentlichung) und für die beiden Zeiträume vor und nach der Veröffentlichung das Sentiment analysiert, also sprich, ob der Tweet positiv, negativ oder neutral gefasst ist. Für die Sentiment-Analyse durfte ich mir noch einmal 5.500 Tweets durchlesen.

255 unabhängige Variablen und 288 lineare Regressionsmodelle

Insgesamt kam ich demnach auf 255 unabhängige Variablen sowie die drei Verkaufsvariablen. Bei 25 Alben macht das knapp 6.500 Datenpunkte, die mit linearen Regressionsmodellen mit der Statistiksoftware IBM SPSS 21 untersucht wurden. Insgesamt wurden 288 unterschiedliche Modelle berechnet, je nach dem, welche Daten man zugrunde legt.

Die Ergebnisse im Überblick: Die Reichweite ist die verlässlichste Datenquelle, Daten auf Tagesbasis sind deutlich besser als auf Wochenbasis, Modell 2a und 2b haben die besten Ergebnisse hervorgebracht und die Sentiment-Analyse ist unwichtig.

95-prozentige Genauigkeit

Beobachtet man die tägliche Reichweite der relevanten Tweets zwei Wochen vor Veröffentlichung eines Albums, die Künstlernamen und Albumtitel enthalten, kann man die Verkaufszahlen der nächsten drei Verkaufsperioden mit 95-prozentiger Genauigkeit prognostizieren.

Zugegeben: Ich war selbst von der Zuverlässigkeit überrascht. Ein Grund für die hohe Korrelation dürfte sein, dass ich im Gegensatz zu den meisten Studien nicht das Volumen der Tweets sondern die Reichweite betrachte.

Reichweiten-Analyse bringt Vorteile mit sich

Das hat zwei entscheidende Vorteile: Zum einen wird der Einfluss eines Twitter-Users berücksichtigt. Wenn Hans Meier und der „Rolling Stone“ ein Album empfehlen, sind das zwei Tweets von zwei Usern. Der „Rolling Stone“ hat aber deutlich mehr Follower, wird also auch einen größeren Einfluss auf die Verkaufszahlen haben.

Zum anderen umgeht man somit das Problem, dass es auf Twitter schätzungsweise 20 Millionen Fake-Accounts gibt. Auch ich habe in den Stichproben und den 23.500 Tweets, die ich manuell gelesen habe, Auffälligkeiten gesehen, wo der Verdacht nahe liegt, dass es sich um Fake-Profile handelt. Die haben aber eine zu vernachlässigende Reichweite und beeinflussen daher nicht das Ergebnis.

Modell hat Einschränkungen

Natürlich hat meine Studie auch Einschränkungen. Alben, die „Romance“oder „Best Of“ hießen habe ich von vornherein ausgeschlossen. Auch bei Bands die „The Saturdays“ heißen, hat das Modell Schwierigkeiten.

Das zweite Problem ist, dass mein Studienergebnis zwar interessant ist, aber aus Marketing-Sicht wenig nützlich, denn die Marketing-Ausgaben werden viel früher geplant.

Ursprünglich war geplant, dass ich das Twitter-Volumen rund um die Single-Auskopplungen beobachten wollte, doch aus verschiedenen Gründen konnte ich dieses Studiendesign nicht realisieren.

Das dritte Problem: Korrelation ist nicht Kausalität. Nur weil ein Marketing-Manager es schafft, dass viele User über ein Album tweeten, werden die Absatzzahlen vermutlich nicht steigen. Das muss man im Hinterkopf behalten.

Big Data-Analysen haben Potential

Soweit ich weiß ist das die erste Studie, die Musikverkäufe mithilfe von Twitter prognostiziert. Der Grundstein ist sozusagen gelegt und besonders die Erkenntnis, dass die Reichweite aussagekräftiger als andere Daten ist, kann meiner Meinung nach auch für andere Studien hilfreich sein.

Nichtsdestotrotz ist es wichtig, weiter zu forschen und zu schauen, ob man Modelle entwickeln kann, die auch tatsächlich bei der Marketing-Planung helfen können.

Dennoch: Ich bin nun auch aus eigener Erfahrung von dem Potential von Big Data-Analysen überzeugt!

Update:

Es gab ja ein paar Fragen, wie die beiden Alben mit den größten Verkaufszahlen (Bocelli und Tim McGraw) die Korrelation beeinflussen würden. Leser Stefan Hahmann von der TU Dresden hat auch noch mal mit einem anderen Programm nachgerechnet und ist auf eine ebenso hohe Korrelation gekommen. Werden die drei größten Outlier weggelassen, sinkt die Korrelation natürlich, ist aber immer noch nachweisbar. Da es sich bei meiner Studie aber nur um eine kleine Stichprobe handelt, vermute ich, dass die Outlier bei einer größeren Analyse normalisiert werden – bei meinem Fazit bleibe ich also: Es muss mehr geforscht werden. Vielen Dank noch mal an Stefan Hahmann.

Bild: Robert Vossen

Über den Autor

Robert Vossen

Robert Vossen hat erst Los Angeles den Rücken gekehrt und dann leider auch BASIC thinking. Von 2012 bis 2013 hat er über 300 Artikel hier veröffentlicht.

14 Kommentare

  • Vielen Dank für den detailierten Einblick in deine Analyse, Robert!
    Was mich noch interessieren würde ist, ob dies auch bei Indie-Bands funktioniert. Was ich damit meine sind Bands, die eine sehr lebendige Fan-Kultur haben, aber trotzdem nicht so eine große Käuferschicht wie Pop-Acts haben.

    • Ich glaube schon, dass das funktioniert. Die wenigsten Bands der Studie kannte ich vorher, aber natürlich haben die alle einen Major-Vertrag. Vermutlich müsste man noch eine Ja/Nein-Variable einfügen, ob die Band bei einem Major Label ist oder nicht, da Majors einfach eine bessere Vertriebsstruktur haben.

  • Und ich habe über Ökonomie und Gerechtigkeit promoviert. So ein Mist, ich komme mir gerade vor, als hätte ich schon bei der Themenwahl das Thema verfehlt. Das (also deins) klingt echt spannend. Poste gerne öfter darüber!

  • Der Nachteil ist aber das der Künstler und seine Musik vorher Bekannt sein müssen, wenn nun alle Studios nach solchen Analyse Methoden arbeiten würden gebe es wohl kaum noch neue Musikrichtungen oder Erstlingswerke.

  • Sieht mir etwas aus als wäre der hohe R^2 wert vor allem durch die beiden meistverkauften Werte zustande gekommen. Wie hoch ist die korrelation denn wenn man diese outlier weglässt?

    • Meinst du Bocelli und den anderen Punkt auf der Linie? Ich meine das ist Tim McGraw. Das sind aber keine Outlier, die haben nur deutlich höhere Verkaufszahlen als die anderen Alben. Da meine Test-Version von SPSS abgelaufen ist, kann ich das leider nicht überprüfen. Ich habe aber auch Regressionsmodelle mit nur einem Teil der Alben berechnet, da waren die Korrelationen genauso hoch.

    • Ja, aus Verkaufszahlensicht sind es Outlier, hab ich gerade anders verstanden gehabt. SPSS 21 trimmt aber auch die Outlier, um solche Probleme zu umschiffen.

  • Die Ergebnisse halte ich ebenfalls für (Zitat): „zwar interessant [ … ] aber [ … ] wenig nützlich“.

    Sie zeigen, was mit Datenkorrelation erreicht werden kann, ja. Die zugrundeliegenden Methoden sind allerdings lange bekannt (seit den 1960ern), daher sollte das wenig überraschen.

    Wichtiger ist mir höchstens die Feststellung, dass der geschilderte Fall so gar nichts mit „Big Data“ zu tun hat. (außer hier wurde eine verkaufsstarke Titelzeile gesucht). Drei Millionen Datensätze fordern modernen Analysesystemen höchstens ein leichtes Schulterzucken ab. Und so beeindruckend die Zahlen der Variablen und Regressionsmodelle für den Laien vielleicht klingen mögen: In der betriebswirtschaftlichen Praxis wird (wenn überhaupt, s. u.) in ganz anderen Dimensionen korreliert – und selbst dann wird immer noch nicht von „Big Data“ gesprochen.

    Aber Big Data hin oder her – ich komme ich nochmal auf das „nützlich“ zurück: Obwohl ich mich seit Jahren beruflich intensivst mit dem Mehrwert von Information auseinandersetze, bleiben echte Mehrwertnachweise für Datenanalysen (ob im Ad Hoc, Data Mining, Big Data oder sonstigem Umfeld) bislang entweder komplett aus oder maximal auf wenige hochspezialisierte Sonderfälle beschränkt. Leider.

    • 95 % Genauigkeit fand ich schon überraschend.

      Streng genommen hast du natürlich Recht, dass es kein reines Big Data-Projekt ist, aber ich glaube, dass man das im allgemeinen Sprachgebrauch so bezeichnen kann, zumal meine Analyse ja nur über 25 Alben ging. Universal veröffentlicht jeden Monat 100+ Alben, wenn man das in Echtzeit und kontinuierlich beobachtet, kann das schon schnell Big Data-Ausmaße annehmen.

      Deinen letzten Kritikpunkt verstehe ich aber nicht wirklich.

  • Ich finde die Studie auch sehr spannend und habe großem Interesse und Begeisterung Deinen Beitrag lesen. Danke auch für den Hinweis zu DiscoverText. Etwas schmunzeln musste ich bei den insgesamt 23.500 Tweets die Du manuell kodiert hast. Für meine Forschungsarbeit (Messung des Zusammenhanges zwischen mobil erzeugt Twitternachrichten und in der Umgebung befindlichen Objekten) bin ich bis jetzt glücklicherweise damit ausgekommen, nur 5.000 Tweets manuell zu kodieren (mal sehen was irgendwann mal die Gutachter sagen). Dabei lag meine eigene Performance auch bei ca. 1.500 Tweets pro Stunde. Bei meinen Co-Kodierern lag sie jedoch teilweise nur bei ca. 500 pro Stunde (wobei sie aber auch leicht bessere Ergebnisse hatten).
    Besonders interessant finde ich den Ansatz, die Reichweite, also die Anzahl der Follower auszuwerten. Es überrascht mich, dass die Sentimentanalyse nur einen geringen Einfluss hat.
    Ich stelle mir allerdings die gleiche Frage wie Thomas in seinem Kommentar. Wie ist die Korrelationswert, wenn man mit nur 23 Werten (also ohne Bocelli und McGraw) rechnet? Meine Annahme ist, dass die Korrelation dann deutlich unter den Wert von 0.95 fällt, weil die Regression sehr stark von nur diesen beiden Werten gestützt wird. Eine Korrelation von 2×23 Werten ließe sich auch schnell in Excel berechnen (also auch ohne SPSS). Für die Darstellung würde sich dann auch eine logarithmische Achseneinteilung besser eignen, dann würden die Abweichungen vom Modell bei den kleinen Werten nicht so sehr „versteckt“ werden.

    • Also ich hab das jetzt noch mal auf einem anderen Rechner mit SPSS 21 Automatic Linear Modelling gerechnet und wenn ich die beiden Alben ausschließe, komme ich auf 0 % Korrelation. Schließe ich Coheed & Cambria auch noch aus (gute Verkaufszahlen, geringes Twitter-Volumen), springt es wieder auf 94 %. Das hört sich für mich nach einem Fehler an, aber auf die Schnelle finde ich nicht heraus, woran es liegt.

      Allerdings ist die Stichprobe ja auch relativ klein und ich habe aus den 100 veröffentlichten Alben auch manche mit guten Verkaufszahlen rausgenommen (z. B. Justin Biebers Akustik-Album), da das die Rechnung von DiscoverText wegen des Twitter-Volumens in die Höhe getrieben hätte. Sprich: Auch wenn in meiner Studie nur zwei Alben Verkaufszahlen von 100k+ haben ist das ja nicht ungewöhnlich, sodass bei einer breiteren Betrachtung die Outlier eben normalisiert würden. Mein Fazit stimmt also: Es muss weiter geforscht werden 😉

      Wenn du statistisch fit bist und möchtest, kann ich dir die Roh-Daten gerne zur Verfügung stellen, dann können wir schauen, was die Ursache für den Rechenfehler in SPSS ist. Am besten per Mail: robert.vossen@basicthinking.de

      Die Sentiment-Analyse macht übrigens deswegen kaum etwas aus, da der Großteil der Tweets neutral (einfach nen Link zu ner Album-Review) oder positiv (ca. 10 % im Schnitt) gefasst ist. Das verändert sich von Pre- zu Post-Release auch nur geringfügig. Negative Tweets über Alben gibt es so gut wie gar nicht.

  • Ich will hier nicht rumunken. Finde es im Gegenteil toll, auch mal eine statistische Analyse zu diesem Thema zu lesen.

    Das wäre aber auch eher traurig, wenn die Sentimentanalyse beeinflusst worden wäre. Dann wäre die Korrelation ja nicht auf die Anzahl der Tweets (total) zurückzuführen, sondern auf die positiven bzw. negativen Aussagen darin und damit das Gesamtergebnis, das momentan mit dem Rechenfehler ja noch relativ positiv aussieht in Frage zu stellen.

    Grundsätzlich halte ich die Ergebnisse für stimmig und zwar aus einem praktisch zu beobachtenden Effekt: Fans (im Allgemeinen Early Adopters) kaufen früher und berichten eher über das Album. Deswegen haben die beiden Outlier auch den hohen Impact. (Würde ich jetzt so deuten ohne die Daten gesehen zu haben)

    Diesen Effekt der Early Adopters kannst Du übrigens im Herbst wahrscheinlich wieder vor Apple Stores quer durch die Republik beobachten und anschließend die Entwicklung über die nächsten Wochen beobachten.

    Gerade, da es ja mit direkter Kommunikation zu tun hat, wäre es übrigens (für mich aus einer stumpfen Sales- & Marketing-Perspektive) zu wissen, wie sich die Follower verhalten. Zum Einlesen: http://web.mit.edu/sinana/www/ISIAral.pdf
    So wie es bearbeitet ist, übrigens grundsätzlich zur Promotion auszubauen… 😉

    Trotzdem meinen vollen Respekt