Facebooks pålitlighetsundersökning med två frågor är bra. Resultaten kommer fortfarande att vara partiska

Nyhetsorganisationer var tveksamma när Facebook meddelat förra veckan att den skulle lyfta fram 'pålitliga källor' till nyheter baserat på feedback från communityn. Det var trots allt Facebook-communityt som drev 'falska nyheter'-historier och ryskt länkade bot under den senaste valcykeln.

Men journalister blev apoplektiska när sociala mediejätten senare bekräftade att undersökningen bara bestod av två frågor.

Här är undersökningen (via Buzzfeed ):

Som ett svar till en annan användare på Twitter, Facebooks vice vd för produkthantering, Adam Mosseri, försvarade undersökningen.

'Jag förstår att vissa människor kan tycka om hur enkel en undersökning är, men komplicerade undersökningar kan vara förvirrande och fördomssignaler, och meningsfulla mönster kan uppstå från breda undersökningar,' sa han.

Även om undersökningen har problem, har Mosseri en poäng. Formatet ligger i linje med hur andra forskare kan försöka bedöma tillförlitlighet. Steven S. Smith, professor i statsvetenskap och chef för Weidenbaum Center vid Washington University i St. Louis, kallade det 'inte så illa.'

'Om de har en större pool och den poolen är ganska omfattande, och om en webbplats väljs slumpmässigt för varje respondent, kommer de fortfarande att få ett mycket stort urval av sina användare och det är ingen dålig strategi. Många av detta i undersökningsbranschen gör det hela tiden, säger Smith.

Långa uppsättningar frågor ger färre svar. Att köra kortare undersökningar över bredare delar av olika människor är ett giltigt sätt att få fler svar. Förutsatt att användare ser ett slumpmässigt urval av nyhetsorganisationer, är det ett bra sätt att göra saker på, sa Smith.

Men även om metoderna är sunda, kanske undersökningen fortfarande inte är det. Dess syfte att 'förskjuta balansen av nyheter du ser mot källor som är fast beslutna att lita på av samhället' är, på Facebook-språk, komplicerat, eftersom nyhetsbranschen är så polariserad.

'Det finns väldigt få sajter som har väldigt många följare eftersom det finns så många sajter. Alla har en pluralitet, ingen har majoritet. Så vem har störst mångfald?” sa Smith.

Tänk på Fox News. Det är mest sedda kabelkanal. Men Facebook-användare kommer sannolikt att ranka dess trovärdighet på väldigt olika sätt. Republikanska och konservativa svar kommer att skeva långt mot den höga delen av skalan och demokrater och liberaler kommer att skeva långt mot den andra.

'Hur informerar det Facebook om att placera Fox News-artiklar på deras webbplats? Jag vet inte, sa Smith.

'Genomsnittet där, medelvärdet, är förmodligen inte särskilt användbart. [Fox News] kan hamna väldigt mycket i mitten av vägen när det gäller pålitlighet, men det skiljer sig mycket från en annan organisation där den stora majoriteten av svaren är i mitten.'

Med andra ord, hur berättar polariserad publik i opinionsundersökningar dig om nyhetsorganisationernas verkliga pålitlighet?

'Det kanske inte,' sa Smith.

Men, som ett eko av det pågående samtalet om Facebook som utgivare kontra Facebook som plattform, sa Smith att det största problemet med undersökningen kan vara Facebooks praktiska tillvägagångssätt.

'Att tillåta publiken att bestämma trovärdighet utan att utöva någon bedömning själva är en tveksam standard', sa han. Som ett exempel sa han att en faktakontrollerande organisation som Politifact 'faktiskt gör en bedömning om en källas eller ett påståendes korrekthet och tillförlitlighet. Vad Facebook försöker göra är att låta någon annan göra det åt dem. Det är ett problematiskt företag på grund av de fördomar som den publiken har.' (Upplysning: PolitiFact är ett projekt av Poynter-ägda Tampa Bay Times.)

I huvudsak kommer publiken att bli bekanta med nyhetskällor som de redan använder. Om de inte är bekanta med en, kommer de inte att betygsätta den. Om de är bekanta med en och den inte stämmer överens med deras övertygelse, kommer de sannolikt att bedöma den som opålitlig. 'Och så valet av källan och deras inställning till den är alla en produkt av deras partiskhet,' sa Smith.

Så även om undersökningsformatet med två frågor kan vara giltigt, kommer de övergripande resultaten sannolikt inte att vara det.

'Jag tror att deras svar kommer att representera publikens partiskhet mer än någon rimlig standard för pålitlighet,' sa Smith.