Algorithmus erkennt Online-Sarkasmus

Informatiker an der Hebrew University of Jerusalem haben einen Algorithmus entwickelt, der Sarkasmus in Online-Postings erkennen kann. Mithilfe eines derartigen Sarkasmus-Detektors könnten den Forschern zufolge Zusammenfassungen von Kundenrezensionen oder deren Reihung auf Webseiten wie beispielsweise Amazon verbessert werden.

Dass SASI (Semi-supervised Algorithm for Sarcasm Identification) tatsächlich funktioniert, hat das Team rund um den Informatikprofessor Ari Rappoport am Beispiel des Onlinehändlers gezeigt. Die Software konnte in einem Experiment mit 77-prozentiger Genauigkeit erkennen, ob sie es in Amazon-Rezensionen mit sarkastischen Sätzen zu tun hat. Angesichts der oft subtilen Natur des Sarkasmus ist das ein beachtlicher Wert.

Sarkasmus auf Amazon

Im Experiment wurden alle Sätze aus insgesamt 66.000 englischsprachigen Amazon-Kundenrezensionen zu 120 Produkten von SASI bewertet. Um das zu ermöglichen, haben die israelischen Forscher auf eine fünfteilige Skala für zunehmenden Sarkasmus gesetzt, wobei die Werte eins und zwei für normale Formulierungen stehen. Zunächst wurden ausgewählte Beispielsätze von Menschen auf dieser Skala eingestuft.

So entstand ein Trainingsset für den Algorithmus, aus dem Wortabfolge-Muster extrahiert wurden, die als Sarkasmus-Hinweis dienen. Damit hat SASI dann die 66.000 Rezensionen auf sarkastische Formulierungen untersucht. Um abzuschätzen, wie treffsicher die damit erfolgte Erkennung ist, haben dann 15 menschliche Probanden eine Auswahl aus je 90 Sätzen beurteilt, die SASI als sarkastisch beziehungsweise normal eingestuft hat. Mit dieser Vergleichsbasis kamen die Informatiker zum Schluss, dass ihr Algorithmus in mehr als drei Vierteln der Fälle richtig liegt.

Personalisierungs-Vorteil

Eine Sarkasmus-Erkennung könnte Rappoport und seinen Mitarbeitern zufolge gerade auf Seiten wie Amazon auch praktischen Nutzen haben. Denn viele Nutzer würden sarkastische Rezensionen wenig hilfreich finden. Andererseits gäbe es auch User, die diesen Stil schätzen. Daher könne eine Sarkasmus-Erkennung gerade für eine personalisierte Darstellung der Kundenrezensionen von Vorteil sein. Dazu, wie leicht sich die Methode auch auf andere Sprachen als Englisch umlegen ließe, haben die Informatiker allerdings keine Angaben gemacht.

Die Arbeit mit dem Titel „ICWSM – A Great Catchy Name: Semi-Supervised Recognition of Sarcastic Sentences in Product Reviews“ wird kommende Woche im Rahmen der 4th International AAAI Conference on Weblogs and Social Media http://www.icwsm.org/2010 genauer vorgestellt. Seit dem Amazon-Experiment haben die Forscher ihre Sarkasmus-Erkennung auch bei Twitter getestet.

„ICWSM – A Great Catchy Name: Semi-Supervised Recognition of Sarcastic Sentences in Product Reviews“ (PDF): http://www.cs.huji.ac.il/~arir/10-sarcasmAmazonICWSM10.pdf