Att rangordna flygbolag endast baserat på Twitter-kommentarer är mycket misstänkt

Det finns många sätt att rangordna flygbolag. Ekonomiskt spelar resultat roll och Wall Street gör ett bra jobb med att peka ut de företag som ger bra avkastning till aktieägarna och de som inte gör det. Net Promoter Score (NPS), delvis utvecklat av Bain, används av många industrier och deras flygbolagstillämpningar är vanliga och robusta. US Department of Transportation sammanställer och rapporterar om flygbolagens operativa resultat, som flyg i tid, avbokningar och förlorat bagage. Flera universitet och konsumentgrupper lägger också ut sina egna rankningar av de bästa och sämsta flygbolagen.

Många rankningar är begränsade pga de fokuserar på konsumentegenskaper men inte på värde, eftersom de ofta inte anser att olika flygbolag tar olika priser. Insuremytrip.com, en webbplats som säljer reseförsäkring, har nu släppt en ny studie som rankar flygbolagen enbart baserat på Twitter-kommentarer. Jag kan inte föreställa mig en mer värdelös och trivial rankning, och även om många rankingsystem kan förbättras, bör detta bara behandlas med stor försiktighet.

Hur Insuremytrip Ranking fungerar

Denna nya rankning använder en process som kallas sentimentanalys. Den använder artificiell intelligens för att skanna tweets efter negativa och positiva kommentarer om flygbolag. De utvärderar tiotusentals tweets och tittar på förändringar i mängden känslor som uttrycks i meddelandena. Baserat på detta rangordnar de flygbolagen både i det absoluta antalet negativa kommentarer och på förändringen från en tidigare period. Studien söker också efter positiva kommentarer och på så sätt matchar studien ungefär huvudtanken i den mer rigorösa NPS-metodiken.

Det här tillvägagångssättet har samlats in under de senaste fyra åren, men utan något för 2020 förståeligt nog, så nu kan vissa trender och statistik från år till år ses. Om du antar att problemen i kärndataprovet är konstanta, är denna fleråriga trend förmodligen den mest användbara aspekten av denna studie.

Resultaten av denna ranking

För 2022 visar denna studie till exempel att bland United Airlines tweets har 37 % negativa kommentarer och 26 % har positiva kommentarer. Vidare är de 26% positiva en minskning med sex punkter från 2021, vilket tyder på att färre personer twittrar positiva saker om United i år. Alaska Airlines har den högsta andelen positiva kommentarer med 29 % och Frontier Airlines har den högsta andelen negativa kommentarer med 61 %.

Som grupp såg alla flygbolag för 2022 en minskning av positiva kommentarer och de flesta såg en ökning av negativa kommentarer. Med tanke på branschens driftstörningar den gångna sommaren är detta inte förvånande. Intressant nog är det största bekymret när man flyger enligt denna studie för 2022 pengar, följt av förseningar, avbokningar och kundservice. Med andra ord, Twitter-resultat tyder på att kunder bryr sig mer om att betala ett lågt pris än att bli försenade, men när de sedan registrerar det negativa sentimentet om förseningen försvinner priset på mystiskt sätt.

Vad detta tillvägagångssätt missar

Det finns flera problem med denna rankningsmetod. Den första är den överväldigande negativa tendensen hos alla tweets. Forskning från Harvard University visar att upprördhet sprider sig snabbare på Twitter än någon annan social medieplattform. Denna fördomar predisponerar att människor kommer att twittra mer när de har negativa saker att säga, så som en absolut rankning är det inte en bra underliggande datakälla. Trenden från år till år, som tidigare nämnts, har viss giltighet.

Den andra begränsningen är bristen på värde implicit i rangordningen. För att välja flyget bryr sig folk mycket om priset de betalar. Men väl där irriterar samma saker alla oberoende av vad de betalat. Relaterat till detta är den stora skillnaden mellan vad som irriterar människor. En flygförsening på 30 minuter kanske inte spelar någon roll för vissa kunder, eftersom andra kan känna att detta förstörde deras resa. Är kaffe som inte är för varmt, eller är för varmt, detsamma som en förlorad påse eller betydande försening? Var och en skulle visa sig som en negativ känsla men det finns ingen viktning av negativitetens svårighetsgrad.

Det sista ansatsproblemet i denna studie är begränsningen i datakällan. Pew Research Center uppskattar som endast cirka 23% av människor använder Twitter eller tweeta med valfri regelbundenhet. Att basera en konsumentrankning på detta icke-slumpmässiga urval, utan viktning för överträdelsens omfattning, begränsar avsevärt användbarheten av denna studie.

Bättre sätt att använda sociala medier i ranking

Sociala medier är en rik miljö av konsumentdata. Reseföretag har arbetat på sätt att identifiera trender i platser och andra reseintressen för att skapa intressanta paketmöjligheter, eller till och med för vissa att välja nya platser att flyga.

Som ett sätt att rangordna flygbolag skulle utan tvekan en robust uppsättning mätvärden för sociala medier kunna användas för att få en realistisk konsumentsyn på flygbolagen. Jag vet inte att någon har gjort det här ännu, och att använda en enda källa som denna Twitter-studie är långt ifrån det ideala. Värdemåttet, vad du får för vad du betalar, är det mest intressanta eftersom det är mest relaterat till hur folk faktiskt köper. Närhelst man tittar på en källa som bara använder vad folk säger, kommer detta att blekna i jämförelse med att para ihop detta med de beslut som människor faktiskt fattar.