Vi frågade 19 faktagranskare vad de tycker om sitt samarbete med Facebook. Här är vad de berättade för oss.

I den här 29 mars 2018, arkivfotot visas Facebooks logotyp på skärmar på Nasdaq MarketSite på New Yorks Times Square. (AP Photo/Richard Drew, File)

Den 15 december 2016 fattade Facebook ett oväntat beslut.

Bara en månad efter att vd Mark Zuckerberg förlöjligade förslaget att falska nyheter var endemiska på hans plattform, meddelade företaget att det behövde avslöja hjälp. Så det vände sig till oberoende faktagranskande organisationer.

Premissen var lovande: Oberoende faktagranskare skulle få tillgång till en instrumentpanel på Facebook, där de kunde se vilka inlägg användare flaggade som potentiellt falska. De skulle faktakontrollera dem och om det skulle bevisas att det är falskt, skulle dess framtida räckvidd i nyhetsflödet minska, en faktakontroll skulle listas under relaterade artiklar och användare som delade det skulle informeras.

Facebooks snabba offentliga pivot följde sannolikt en liknande accelererad intern process också - vilket resulterade ien stenig startför partnerskapet för faktagranskning.

'Det fanns inte tillräckligt med planering som gick in i projektet när det tillkännagavs i december 2016,' sa Eugene Kiely, chef för Factcheck.org - en av Facebooks första partners - i ett mejl. ”Sättet att meddela faktagranskare om misstänkt innehåll var primitivt och inte särskilt effektivt. Vi fick inte ens någon finansiering för projektet förrän i mitten av 2017.'

'Men det har skett enorma förbättringar över tiden och fler förändringar är på gång, så vid det här laget är det ett mycket värdefullt och effektivt partnerskap.'

RELATERAD ARTIKEL: Hur Facebook hanterar desinformation, i en bild

Sedan lanseringen av detta projekt har Facebook gjort det till en hörnsten i sin kamp mot desinformation. Både Zuckerberg och COO Sheryl Sandberg har nämnt det i kongressens vittnesmål. Det har utökats till 35 partners i 24 länder. Och faktagranskare säger att det har hjälpt dem att hitta påståenden att kontrollera mednågra uppskattningar upptäckt att det finns mindre desinformation på plattformen nu än för två år sedan.

Men det finns fortfarande mycket att lära om hur Facebooks faktagranskning har fungerat i praktiken. (Upplysning: Att vara undertecknare avInternational Fact-Checking Networks principkodär en nödvändig förutsättning för att gå med i projektet. IFCN:s direktör Alexios Mantzarlis hjälpte också till att starta projektet.)

Medan företaget har delat mer information om partnerskapet , detaljerade data om dess resultat har ännu inte materialiserats ( trots våra bättre förhoppningar ). För att få en bättre uppfattning om resultaten av Facebooks kamp mot desinformation undersökte vi 19 av dess befintliga faktakontrollpartner, analyserade några av årets bästa Facebook-berättelser och nådde ut till mer än 35 akademiker som var intresserade av Samhällsvetenskap ett , ett partnerskap som kommer att ge forskare tillgång till Facebook-data om initiativet för faktakontroll.

Vad vi fann är att även om faktagranskare i allmänhet är överens om att projektet har varit positivt, finns det fortfarande mycket arbete att göra. (Detta ekar a påstående släpptes av fem faktagranskare på torsdagen.)

Vad faktagranskare tycker

De faktakontrollerande organisationerna med tillgång till Facebooks instrumentpanel för falska spottingär ett varierat gäng. De sträcker sig från internationella nyhetssändningar som Agence France-Presse till icke-statliga faktakontrollorganisationer som Chequeado i Argentina.

Ändå svarade 19 av Facebooks nuvarande partner för faktakontroll på vår anonyma undersökning, drygt hälften av det totala antalet. Vi antar inte att de är representativa för hela gruppen, men deras svar ger en tidigare underrapporterad titt på hur faktagranskare ser på deras arbete på det sociala nätverket.

Svar indikerar att faktagranskare har flaggat tiotusentals länkar till falskt eller vilseledande innehåll, är diskret nöjda med förhållandet som helhet - men tror inte att det har förändrats. Och det finns en bred enighet bland dem om att Facebook borde göra mer när det gäller att dela information med allmänheten.

Det finns en stor variation i antalet länkar som flaggats som falska av varje faktagranskare, allt från färre än 50 till fler än 2 000. Detta är delvis en återspegling av den varierande varaktigheten av dessa partnerskap, med några faktagranskare som har arbetat med verktyget sedan 2016 och andra tagits ombord under de senaste månaderna.

Om siffrorna gäller för alla faktagranskare och inte bara de tillfrågade, så uppskattar vi att någonstans mellan 30 000 och 40 000 länkar till falskt innehåll - möjligen många fler - har flaggats som en del av partnerskapet. Även om denna siffra är en liten del av det totala innehållet som delas på Facebook, skulle det ge massor av data för att mäta hur faktakontroller påverkar spridningen av motsvarande falskheter på plattformen.

På frågan varför de gick med i partnerskapet gav de flesta faktagranskare en mängd olika anledningar. För många var detta en möjlighet att nå publiken där de var och minska räckvidden för desinformation på ett sätt som överensstämde med deras uppdrag. Det ekonomiska incitamentet är också attraktivt.

Att döma efter sina egna mål verkar faktagranskare vara måttligt nöjda med partnerskapet och betygsätter det i genomsnitt 3,5 av 5. Om detta vore en Yelp-recension skulle restaurangen inte vara ett måste att äta men inte heller någonstans du skulle riskera matförgiftning.

De verkar lika nöjda (3,5 av 5) med betalningen de får från Facebook för sitt arbete – medan exakta belopp i allmänhet inte är offentliga och varierar mellan partner baserat på utfört arbete, avslöjade Factcheck.org att de fick en palindromisk $188 881 från Facebook under räkenskapsåret 2018 .

Faktagranskare är mindre övertygade om att partnerskapet har hjälpt deras organisationer att hitta påståenden som de annars inte skulle ha dykt upp lika snabbt (3 av 5). Och de är osäkra på om det har hjälpt dem att minska räckvidden av virala bluffar (2,9 av 5), vilket är en central del av det sociala nätverkets kommunikation om vad partnerskapet ska uppnå.

Den mest kritiska frågan för partners är att de anser att företaget inte berättar tillräckligt för allmänheten om hur partnerskapet fungerar. I genomsnitt var enigheten med påståendet 'Facebook ger tillräckligt med information om detta partnerskap med allmänheten' ynka 2,2 av 5.

En faktagranskare noterade att Facebook 'bör göra ett bättre jobb med att berätta för oss och allmänheten hur de har använt vårt arbete för att straffa dåliga aktörer på plattformen.'

Andra hoppas att Facebook kommer att utöka partnerskapet till WhatsApp, den krypterade meddelandeapp som det förvärvade 2014. Den plattformen har följts av desinformation runt om i världen, särskilt iBrasilien, Indien ochNigeria.

'Att bekämpa desinformation är ett problem som ständigt utvecklas och tar ett mångsidigt tillvägagångssätt från hela branschen', säger Meredith Carden, chef för nyhetsintegritetspartnerskap på Facebook, i ett mejl till Poynter. 'Vi är fast beslutna att bekämpa detta genom många taktiker, och det arbete som tredjeparts faktagranskare gör är en uppskattad och viktig del av denna ansträngning - vi älskar att samarbeta med dem i vårt gemensamma mål.'

Datum, datum, datum

Under större delen av deras partnerskap med Facebook var de enda siffrorna som faktagranskare kunde peka på när det kom till deras inverkan '80 procent' och 'tre dagar.'

Den första är den genomsnittliga minskningen av räckvidden för ett inlägg när det har flaggats som falskt av en faktagranskare(Facebook bekräftade i ett mejl till Poynter att siffran fortfarande stämmer). Det senare är hur lång tid den processen tar i genomsnitt. Både erhölls av BuzzFeed News i oktober 2017 från ett läckt mejl.

Den begränsade informationen har länge förföljt både förhållandet mellan Facebook och dess faktakontrollpartner och dess allmänna uppfattning.

Den här gången förra året, faktagranskareberättade för Poynterde var oroade över bristen på transparens från Facebook om hur deras arbete har påverkat spridningen av desinformation på plattformen. Vid Global Fact-Checking Summit i juni lovade produktchefen Tessa Lyons att företaget skulle göra bättre ifrån sig.

Och nyligen började faktagranskare få personliga rapporter från Facebook som direkt kvantifierar deras arbete.

I en sådan rapport, som Poynter erhållit från en av företagets faktakontrollpartner, listar Facebook flera mer detaljerade datapunkter, inklusive: hur många användare som har fått aviseringar för att dela falskt innehåll, andelen användare som inte delat något en gång det flaggades som falskt och hur många aviseringssidor som mottogs för att ha publicerat felaktigt innehåll.

Uppgifterna hänför sig till det arbete som varje faktagranskare skickar in via Facebooks instrumentpanel och ger en tremånadersvy av hur det arbetet påverkade spridningen av motsvarande felaktig information. (Poynter kunde inte publicera innehållet i rapporten eller vem som tillhandahöll den.)

Ändå har inte alla faktagranskare börjat få de rapporterna. Och ingen storbildsdata som kvantifierar hur framgångsrikt Facebooks faktakontrollprojekt har varit för att begränsa spridningen av felaktig information har delats med allmänheten.

Livsstora utskärningar av Facebooks vd Mark Zuckerberg som bär 'Fix Fakebook'-t-shirts visas av förespråkargruppen Avaaz på South East Lawn of the Capitol på Capitol Hill i Washington, tisdagen den 10 april 2018, inför Zuckerbergs framträdande inför en gemensam utfrågning i senatens rättsväsende och handelsutskott. (AP Photo/Carolyn Kaster)

En studie från Stanford University i september fann att användarinteraktioner med innehåll som flaggats som falska nyheter minskade hastigt sedan december 2016 ( andra nya studier hade liknande fynd). Enligt rudimentära analyser frånPoynteroch BuzzFeed News , medan individuella faktakontroller verkar begränsa den framtida räckvidden för falska inlägg, är sammanställningen inte riktigt lika uppmuntrande.

Facebook berättade för Poynter i ett e-postmeddelande att det är ute efter att dela mer statistik externt under det nya året.En snabb titt på data från BuzzSumo, ett mätverktyg för sociala medier, visade blandade resultat för 2018.

För att se vilka berättelser som var mest engagerande på Facebook 2018, sökte vi nyckelord för några av de främsta politiska händelserna – inklusive 'Parkland' och 'caravan' i USA, 'atentado Bolsonador' (för att få fram nyheter om den tillträdande brasilianska presidenten som knivhöggs under kampanjen) och 'gilets jaunes' ('gula västar') i Frankrike. Vi upptäckte att även om de flesta inlägg i topp 10 kommer från vanliga nyhetssajter, slog desinformation, tvivelaktig satir och hyperpartiskt innehåll fortfarande igenom.

Till exempel, den nionde mest engagerande artikeln om migrantkaravanen 2018 kom från The Daily Wire och hävdade att en tredjedel av migranterna var sjuka med hiv, tuberkulos och vattkoppor. ( Snopes och PolitiFact båda bedömde det mestadels falskt.)

När han letade efter historier relaterade till skjutningen på gymnasiet i Parkland, Florida, fann Poynter det ett falskt påstående om överlevande Emma Gonzalez bröt topp 10 och samlade nästan 500 000 engagemang vid publiceringen - trots PolitiFact bedömer det som falskt .

Mer nyligen, av de 10 bästa berättelserna om de 'gula västarna' protesterar i Frankrike var minst två tveksamma. Adrien Sénécat, journalist på Le Mondes Les Décodeurs, sa till Poynter i ett mejl att en av berättelserna var 'vilseledande' satir och en artikel återpublicerades från en hyperpartisk sida som ägnar sig åt konspirationsteorier.

I Brasilien inkluderade de tio bästa berättelserna om knivhuggandet av den tillträdande presidenten Jair Bolsonaro inte uppenbara bluffar, och en faktakontroll från Boatos.org gjorde listan.

RELATERAD ARTIKEL: Faktagranskare har avfärdat denna falska nyhetssajt 80 gånger. Den publiceras fortfarande på Facebook.

Dessa är grova observationer, hämtade från en snabb BuzzSumo-sökning - men de indikerar att felaktig information med enorm räckvidd fortfarande kan glida förbi Facebooks faktakontrollprojekt. Utsikten till en mer systematisk analys av Facebooks partnerskap för faktagranskning är vid horisonten, men det måste vänta på den tidskrävande processen med akademisk forskning.

Det är där Social Science One kommer in. Projektet, som meddelat dess partnerskap med Facebook i april lovar att publicera mer information om hur faktakontroll och desinformation fungerar på plattformen. Facebook kommer att tillhandahålla uppgifterna; akademiker kommer att göra forskningen.

Detta kom efter månader av förfrågningar från faktagranskningen och den akademiska gemenskapen, ivriga att förstå om och hur flaggning av falska nyheter på Facebook hade en effekt.

Ansökningar till Samhällsvetenskap Ett-förslag stängdes i november. Poynter nådde ut till mer än 35 akademiker som var intresserade av desinformation, och de som svarade och sa att de skickade in till Social Science One sa att de inte ville prata om sina förslag förrän vinnarna tillkännagavs.

Nate Persily, en professor vid Stanford Law School som hjälper till att driva projektet, sa att partnerskapet med största sannolikhet kommer att tillkännage vinnarna av årets begäran om förslag i januari.

'Vi får förslag från hela världen,' sa han till Poynter. 'Detta är både skönheten och utmaningen med vår strävan här, vilket är att Facebook-data, om de analyseras, kan svara på några av de stora frågorna i det mänskliga samhället.'

Persily sa att designen av Social Science One är ett svar på Facebooks Cambridge Analytica-problem, där privata data från miljontals användare användes utan deras samtycke för politiska mål. Vinnande forskare kommer att se Facebook-data i en säker online-instrumentpanel och sedan publicera sina resultat – fria från NDAs eller ekonomisk press, eftersom Social Science One är finansierat av en mängd olika oberoende stiftelser.

'Även om det är svårt att arbeta med ett företag som är under mer intensiv granskning än något annat företag i världen just nu,' sa Persily, 'har jag inte sett dem lägga upp hinder på vårt sätt som är motiverade av imageproblem. ”

Vägen framåt

När en av Facebooks faktakontrollpartner, The Weekly Standard, flaggade en ThinkProgress-artikel som falsk i september,hela helvetet bröt lös. Tvisten kretsade kring en till synes semantisk fråga: Hur bokstavligt ska folk ta ThinkProgresss rubrik som högsta domstolens nominerade Brett Kavanaugh 'sa att han skulle döda Roe v. Wade ?”

Men debaclet lyfte fram några viktiga frågor om rollen för Facebooks faktakontrollprojekt: Vad är det egentligen till för? Är det för att rensa upp de junkiga virala bluffarna om hajar som simmar uppför mellanstatliga vägar? Eller att rikta in felaktig information i alla dess skepnader?

Akademisk analys av de tiotusentals länkar som redan flaggats borde åtminstone kunna svara på hur produkten hittills använts av faktagranskare — vilket innehåll som har nedgraderats och i vilken utsträckning. Faktagranskare ser ytterligare en anledning att fortsätta vara involverade; Tack vare Facebook kan de göra mer arbete.

RELATERAD ARTIKEL: Hyperpartiska Facebook-grupper är nästa stora utmaning för faktagranskare

'Den största fördelen är att ha resurserna att göra mer faktakontroll', sa Factcheck.orgs Kiely. 'I mars anställde vi en andra person för Facebook-projektet, och vid det här laget tar vi fram många bra historier som avslöjar desinformation om viktiga ämnen.'

Problemet är att förbättra verktyget för att sålla bort inlägg som inte har något att göra med nyhetspåståenden och att meddela faktagranskare i tid under de senaste nyheterna. Kiely sa att han skulle gilla om Facebook kunde förbättra sin anmälningsprocess så att felaktig information om saker som valet 2020 och masskjutningar inte förblir okontrollerad under långa tidsperioder.

'Vi fortsätter att lägga till nya försvar till vårt holistiska tillvägagångssätt, som utvidgningen av faktakontroll till foton och videor, nya tekniker som likhetsdetektering som ökar effekten av faktakontroll och förbättringar av våra maskininlärningsmodeller som kan hjälpa oss att upptäcka fler sorters falskt innehåll och dåliga skådespelare mer effektivt, säger Carden. 'Ändå vet vi att detta är en mycket motståndskraftig fråga och kommer att kräva en långsiktig investering som vi är engagerade i.'

Den 1 maj 2018 håller Facebooks vd Mark Zuckerberg huvudanförandet vid F8, Facebooks utvecklarkonferens i San Jose, Kalifornien (AP Photo/Marcio Jose Sanchez, File)

Sedan finns det oro för projektets allmänna förmåga att skala till den stora mängden desinformation på Facebook.

'Jag skulle vilja se verktyget fortsätta att bli mer effektivt när det gäller att filtrera rätt sorts tvivelaktiga föremål för oss att faktakontrollera', säger Derek Thomson, chef för France 24's Observers, som var bland Facebooks första icke-amerikanska faktagranskning. partners. 'Jag är orolig över omfattningen av det. Jag tror att vi alltid kommer att ha svårt att hantera den stora mängden falsk och tvivelaktig information online, och vi kommer att sluta se arméer av faktagranskare där ute som gör det här arbetet.”

Hittills verkar den bästa chansen att få en korrekt bild av hur faktakontroll och desinformation fungerar på Facebook vara Social Science One. Och även om projektet har gått långsamt med att sålla igenom pappersförslag (säger persily att det har varit som 'rakethastighet' för en akademisk tidtabell), vad nästa månads vinnande forskningsförslag samlar in kan förändra framtiden för teknikföretagets faktakontrollpartnerskap.

'Vi vill se till att vi har allmänhetens och forskarsamhällets förtroende för att säkerställa att vi gör detta på rätt sätt,' sa Persily. 'Om vi ​​får det rätt, kommer det att öppna alla typer av potentiell forskning där ute. Så vi måste se till att vi gör det rätt istället för att göra det snabbt.'

Under tiden sa Thomson att han ser fram emot att få de typer av personliga datarapporter som andra Facebook-faktakontrollpartner har börjat få. Men tills företaget börjar släppa projektomfattande data är det omöjligt att definitivt mäta framgången för partnerskapet.

'Något jag tar upp med Facebook varje gång vi pratar med dem är att vi skulle vilja ha en bättre känsla för vilken inverkan verktyget har på Facebook-användare', sa han. 'Jag vet att det är väldigt svårt att ge hårda siffror för antalet personer som ser relaterade berättelser om ett föremål som har flaggats, men jag skulle älska att ha en uppfattning om hur effekten utvecklas.'

På frågan om var han tror att Facebooks faktakontrollpartnerskap kommer att vara om ett år, sa Kiely att för honom är allas ögon riktade mot det amerikanska valet 2020.

'Det här projektet skulle inte existera om inte för floden av desinformation som cirkulerade på Facebook under kampanjen 2016', sa han. 'Det skulle vara dumt att inte tillämpa lärdomarna från de senaste två åren på 2020 års kampanjcykel.'