Det mest bemerkelsesverdige med videoklippet er imidlertid ikke det at Obama kom med slike uttalelser, men det at han faktisk ikke gjorde det. I stedet hadde stemmen til skuespiller Jordan Peele der han gir seg ut for å være Obama, gjennomgått en mediesyntesealgoritme som genererte videoen. Resultatet er forbløffende autentisk.

På nett er ingenting helt som det gir seg ut for å være, og nå enda mindre enn før. Takket være en ny type nevrale nettverk av maskinlæringsalgoritmer, kan overbevisende, men fiktive videoer, bilder, stemmer og tekst, syntetiseres fra bunnen av.

Datamaskiner kan lage virkelighetstro bilder av fiktive ansikter — med følelser, hud, alder og kjønn plottet inn via tastaturet. Stiloverføring kan endre et bildes omgivelser, og få vinter til å bli sommer, solfylt til regnfylt. Videoklipp av politikere kan lages på samme måte som en dukkefilm. Og ansikter kan byttes ut fra en kropp til en annen, kjent som “deepfakes”, noe som åpner opp for en rekke farer for rykte, sikkerhet og personvern. Ganske rystende greier.

Men på en måte kan dette teknologiske spranget faktisk være gode nyheter for journalister — og kan også være en anledning for teknologiplattformer til å vise velvilje overfor et mistenksomt publikum.

Teknologisk undergraving av sannhet

Joda, bilder har blitt manipulert mer eller mindre siden bildeteknologien ble oppfunnet. Og mediene selv er kun et bilde av en virkelighet, hvor alle utvalg, redigeringer, fremhevinger og formuleringer former publikums tolkning av hendelser og begivenheter.

Det nye her er at mediesyntesealgoritmer bryter enda mer ned vår forventning om autentisiteten til innspilt media som foto, video og lyd, og samtidig muliggjør en ny og mer omfattende inngripen, personliggjøring og enklere bruk for alle — fra skuespillere til spioner. Konstruerte videoer kan rokke ved og endre menneskers dannelse av faktiske minner av hendelser. Og visuelle bevis kan i stor grad miste sin rolle når strategiske desinformatører bruker hele det teknologiske spekteret til å undergrave enhver sannhet.

Så hva skjer når folk ikke lenger kan stole på nettmedier? Hvordan kan et samfunn ha en opplyst forståelse av det som skjer i verden når mediene såpass enkelt kan bli infiltrert av mediesyntesealgoritmer?

Dystert som det kan se ut, kan dette være en gyllen mulighet for de etablerte medienes comeback. Når publikum lærer at man ikke lenger kan stole på det de serveres på nett, er det få andre enn profesjonelt opplærte journalister med tilgang til avanserte undersøkelsesverktøy som kan innta rollen som kvalitetssikrere og faktasjekkere. Skal de gripe sjansen, bør journalister og nyhetsorganisasjoner satse på strategier som opplæring i undersøkende journalistikk, utvikling av tekniske verktøy, samt standardiserte og transparente prosesser.

Avansert faktasjekk: FaceForensics bruker maskinlæring for å avgjøre om en video av et ansikt er ekte. (Foto: Skjermbilde FaceForensics/Youtube).

Nyhetsorganisasjoner og utdanningsinstitusjoner må komme i gang med opplæring i teknikker innen medieundersøkelse (media forensics). Det er avslørende tegn ved endret og syntetisert media som et trent øye kan legge merke til — noe Hany Farids bok om bildeundersøkelser gir et par eksempler på. Statistisk analyse av fargepiksler, intensitet og deres regelmessighet kan vise tegn på bilderedigering eller bildesplicing; refleksjoner og flytpunkter kan vise geometriske avvik; og både sensorstøv og kompresjonsartefakter kan også være avslørende. I videoklipp kan munnen til syntetiserte ansikter noen ganger flimre eller se unaturlig ut; øynene kan ha et drag over seg som hos zombier. Algoritmene er ikke perfekte, men journalister, i likhet med andre etterforskere, må ha trente øyne for å oppdage feilene.

Utviklingen og integrasjonen av datastøttete undersøkelsesverktøy vil være like viktig som opplæring i medieundersøkelse. Selv om syntetisert innhold av og til kan lure det menneskelige øyet, kan det statistiske øyet til en undersøkende algoritme vite at det er forfalsket.

Verktøy for medieverifisering

Et nylig forskningsprosjekt kalt FaceForensics bruker maskinlæring til å se om en video av et ansikt er ekte, med 98,1 prosent nøyaktighet. En annen metode ser etter blodstrømmen i videoklipp av en persons ansikt for å se om pikslene blir regelmessig rødere når hjertet pumper blod.

Det amerikanske forvaltningsorganet National Institute of Standards and Technology (NIST) oppfordrer til mer forskning på området med deres Media Forensics Challenge, og det publiseres faktisk årlig hundrevis av forskningsartikler om digitale undersøkelser.

Det er imidlertid et stykke igjen før denne teknologien er billig nok til allmenn bruk og dermed praktisk i journalistikken. Selv om det finnes noen få integrerte verktøy, som InVid som bidrar til medieverifisering, er de fleste datastøttete undersøkelsesmetoder fremdeles prototyper i forskning og langt fra tilgjengelig i den daglige journalistiske arbeidshverdagen. Her trengs det mer utprøving i praksis.

Det er dessuten viktig at andre enn bare nyhetsorganisasjoner holder et øye med falskt videomateriale. Noen av de andre berørte har egne forskningsmidler, for ikke å glemme dype lommer: Informasjonsplattformer som ofte ender opp med å være vert for syntetisert media kan bidra til denne nødvendige utprøvingen. Hvis Facebook og YouTube for eksempel integrerte FaceForensics-algoritmen, ville de kunne flagge og tydelig merke videoer mistenkt for å være falske. Det ville være nok et signal til brukerne og mediene om å være oppmerksom på videoens autentisitet, og det ville kunne være en måte for teknologiplattformer å vise vilje til å handle til samfunnets beste, i stedet for kun å gå etter kortsiktig økonomisk vinning.

For å bygge opp denne sårt trengte tilliten, ville plattformene også måtte være åpne om hva denne slags “autentisering” innebar. Hvis denne prosessen var integrert i for eksempel YouTubes filter for begrenset innhold, ville sluttbrukerne kunne kontrollere hvorvidt flaggete videoer skal automatisk skjules eller ei. Og hvis teknologiske selskaper gjorde algoritmer for medieverifisering gratis tilgjengelig via API-er, kunne datajournalister integrere verifiseringssignaler i arbeidsflyten slik de selv ønsket, mye av det samme som gjøres i dag for trivielle oppgaver som geokoding av gateadresser i breddegrader og lengdegrader.

Kontekstens betydning for autentisitet

Men teknikker innen medieundersøkelse kan likevel kun hjelpe oss et stykke på vei. De kan være vanskelige å bruke, kreve mye opplæring for å kunne tolke, er ofte heller ikke absolutte, og — som enhver form for informasjonssikkerhet — vil trenge konstant og vedvarende teknisk støtte og oppsyn.

En annen gren innen undersøkelsesmetoder ser på mediekontekst for å avgjøre autentisitet: Hvis et bilde lett kan syntetiseres, vil metadata om tidspunkt, sted, sosial setting eller annen kontekst bli desto viktigere for en reell verifisering. Hvis et mistenkelig interessant bilde er lastet opp av en konto opprettet dagen før og har det som ser ut til å være en horde av bot-følgere, er dette nok en faktor å ta med i beregningen. Å tolke kontekst for å støtte verifisering er en ny form for kompetanse innen medieforståelse der journalister, nok en gang, vil trenge opplæring, ekspertise og verktøy som bidrar til å få noe ut av den store skyen av kontekst.

På samme måte som verifiseringsprosedyrer for sosiale medier er systematisert og tatt i bruk av organisasjoner som Storyful og Bellingcat — som følger rigide prosedyrer for å triangulere, bekrefte og underbygge innhold og dets opphavssted -, må journalister utvide og kode arbeidsflyten for å vurdere hvorvidt et bilde, en video eller tekst er resultatet fra en eller annen mediesyntesealgoritme. Nyhetsorganisasjoner burde gå hardere inn for transparente metoder. Robuste og standardiserte prosesser for verifisering og utrensking av syntetisert media må utvikles og publiseres åpent. Deretter må nyhetsorganisasjoner offentlig forplikte seg til å følge disse standardene. Det handler om tillit. Folk vil kanskje strømme til de mediene de vet følger nøyaktige og omfattende prosedyrer.

Hvis vi ikke kan stole på det vi ser på nett, kan vi kanskje ha tillit til at et mediehus følger en rigid prosess for å sikre at det de publiserer er autentisk. Syntetisert media kan da være akkurat det som fører publikum tilbake i armene til de etablerte nyhetsorganisasjonene.

Google News-algoritmens kriterier for å rangere og gruppere nyhetsartikler er publiseringshyppighet, kilde, aktualitet, sted, relevans og mangfold. Millioner av ganger om dagen bruker Google News-algoritmen disse kriteriene til å ta redaksjonelle avgjørelser.

Likevel, i den systematiske bruken av beslutningskriterier kan algoritmen skape skjevheter som ikke synes opplagte, gitt programmeringen av den. Det kan være lett å gi etter for feilslutningen om at fordi datamaskinalgoritmer er systematiske, så må de på et vis være mer “objektive”. Men det er faktisk slike systematiske skjevheter som er de mest lumske, siden de ofte går ubemerket hen.

Selv roboter kan være partiske.

Enhver beslutningsprosess, enten menneskelig eller algoritmisk, om hva som skal tas med, ekskluderes eller vektlegges — prosesser Google News har mange av — har potensial til å skape skjevheter. Det interessante med algoritmer er at beslutningskriteriene som er tilgjengelige for algoritmen kan synes harmløse, men samtidig føre til resultater som oppleves som partiske eller med slagside.

Et eksempel: Hvis den ikke programmeres spesielt for det, vil ikke Google News-algoritmen ta parti når den plukker representative artikler om en lokal valgkamp — tjenesten er grunnleggende upartisk. Men et av kriteriene for å velge ut artikler er “publiseringsfrekvens”. Det kan virke nøytralt — men hvis en av kandidatene i valgkampen gjennomgående får litt mer mediedekning (altså høyere “publiseringsfrekvens”), kan det kriteriet få Google News’ utvalg til å virke partisk.

Algoritmer kan mangle semantisk grunnlag til å kunne forstå mer avanserte begreper som stereotypier eller rasisme. Hvis de enkle og målbare kriteriene algoritmene bruker til å ekskludere informasjon fra synlighet på en eller annen måte korrelerer med for eksempel kløfter mellom folkegrupper, kan de se ut som at de har en slagside mot en folkegruppe.

Enkle beslutningskriterier som leder til komplekse avgjørelser om å inkludere og ekskludere er en måte som partiskhet og skjevhet, ofte uforvarende, kan vise seg i algoritmer. Andre mekanismer som kan skape skjevheter i nyhetsdekningen kan illustreres med en særlig viktig informasjonsprosess — oppsummeringen.

Oppsummering av virkeligheten

På en måte dreier nyhetsrapportering seg egentlig om å oppsummere virkeligheten. Du kan innvende: “Det dreier seg også om å fortelle en historie!” — og det vil du ha rett i, siden lite er kjedeligere enn en tørr oppsummering. Men før historien kan fortelles må reporteren ta beslutninger om hvilke hendelser som skal tas med, hva slags bakgrunnsinformasjon som trygt kan utelates, og hva som bør vektlegges som virkelig viktig. Alt dette har potensial til å farge historien. Reportere observerer verden og avdekker mye informasjon, for så å gjøre et håndterbart utvalg som er tilpasset tiden og oppmerksomheten publikum har til rådighet. Dette er å oppsummere.

Oppsummering er viktig fordi tid og oppmerksomhet er to av råvarene som definerer vår epoke. Mange av oss ønsker eller trenger ikke kjenne til intrikate detaljer i hver nyhetssak; ofte nøyer vi oss gjerne med et kjapt overblikk over en hendelse. Dette behovet for å optimere oppmerksomhet og redde oss fra informasjonsflommen driver fram nyskaping innen behandling og oppsummering av informasjon, i redaksjonelle vurderinger så vel som i nye datamaskinalgoritmer.

Gründerbedriften Circa i San Francisco arbeider med en app for redaksjonelle vurderinger som oppsummerer hendelser som serier av “punkter” eller faktabiter. Redaktører samler inn “fakta fra et mangfold av kilder” og gjør dem om til “konsise, lettleste “punkter” i Circa”, slik appens hjelpesider beskriver konseptet. Nå legger Circa selv mindre vekt på oppsummering og mer på historiefortelling. De knytter de konsise “punktene” sammen i en sekvens som bygger en historie. Tilnærmingen deres er drevet av redaktører og er selvfølgelig utsatt for alle de ulike måtene som skjevhet og partiskhet kan oppstå i en redigeringsprosess, inkludert både individuelle og organisatoriske preferanser.

Men hva om Circa begynte å bruke algoritmer som istedenfor å basere seg på redaktører, tok automatiske avgjørelser om hvilke punkter de skulle ta med eller utelate? Da kunne de begynne å likne mer på London-baserte Summly, som har en ny lese-app med “algoritme-genererte sammenfatninger fra hundrevis av kilder”. Summly velger de “viktigste” setningene fra en artikkel og presenterer disse som oppsummering. Men hvordan kan denne algoritmen begynne å lage skjevheter i historiene den produserer, for eksempel gjennom definisjonen av “viktig”? Er det for eksempel tenkelig at algoritmen i en sak om den israelsk-palestinske konflikten kunne velge ut setninger på en disproporsjonal måte slik at den ene sidens syn vektlegges tyngre enn den andres?

Kanskje vil vi aldri få vite hvordan Summlys algoritmer kan skape skjevheter i oppsummeringene den lager; den er en proprietær og lukket teknologi. Det understreker behovet for åpenhet om algoritmer. Ved å studere mer åpne forsøk som forskningsbaserte prosjekter kan vi lære mye om hvordan algoritmer for oppsummering virker og kan skape skjevheter.

Jeg snakket med Jeff Nichols ved IBM Research, som har bygget et system (pdf) for å oppsummere sportsarrangementer basert kun på Twitter-meldinger (tweets) folk skriver om dem. Sportsinteresserte Nichols begynte å plotte inn mengden av tweets om kampene under VM i fotball i 2010. Han så at mengden økte på visse tidspunkter, og brukte sin ad hoc-metode til å finne de mest spennende øyeblikkene i en kamp slik at han kunne spole fram til dem på sin videoopptaker. Mengden tweets øker naturlig ved spennende hendelser, særlig scoringer.

Deretter begynte Nichols og hans team å spørre vanskeligere spørsmål om hva slags oppsummeringer de faktisk kunne lage på bakgrunn av Twitter-materialet. De endte opp med å lage et system som kunne behandle alle tweets om en kamp, finne toppene i tweet-aktivitet, velge ut representative nøkkel-meldinger fra disse hendelsene, og spleise dem sammen til korte oppsummeringer. Når lesbarhet og grammatikalsk nivå ble sammenlignet, viste det seg at tekstene laget med algoritmen var av tilsvarende kvalitet som manuelt produserte oppsummeringer basert på det samme Twitter-materialet.

Manuell eller maskinell oppsummering — hvilken er best?

IBM-systemet viste likevel at en spesiell type skjevhet kan snike seg inn i algoritmer:

Enhver skjevhet i dataene som algoritmen fores med blir med på lasset helt fram til det ferdige resultatet. Algoritmen er partisk til fordel for “de som skriker høyest”, ifølge Nichols, siden den relativt enkle algoritmen finner relevante tweets ved å lete etter frekvensen av nøkkelord på engelsk. Implikasjonene er ganske klare: Hvis Slovenia scorer et kontroversielt mål mot USA, kan algoritmen rapportere at “USA ble ranet”, hvis det er den dominerende reaksjonen i engelskspråklige tweets. Men antakelig vil ikke slovenere som tvitrer om hendelsen være enig. De vil sannsynligvis melde noe sånt som “Fint mål — der fikk dere den, USA!” (på slovensk, selvfølgelig). Nichols er interessert i å tilpasse algoritmen for å ta hensyn til ulike perspektiver og generere bevisst partiske oppsummeringer fra ulike synsvinkler (kan bli en vinner i amerikanske kabel-tv-nyheter!).

Når de skal ta avgjørelser om hva som skal inkluderes i eller ekskluderes fra en oppsummering, må algoritmer vanligvis gå gjennom et skritt der informasjon prioriteres. Ting med lavere prioritet blir ekskludert. IBM-systemet er for eksempel rettet inn mot høydepunkter i idrettsbegivenheter. Dette fungerer hvis målet er å finne de mest spennende delene av en kamp, som får mye oppmerksomhet. Men det er andre interessante historier som bobler like under terskelen for “høydepunkter”. Hva med midtstopperen som spilte solid i forsvar, men aldri gjorde en enkeltprestasjon som ga mange nok tweets til å bli oppdaget av algoritmen? Denne delen av kampen, eller historien, ville bli utelatt.

IBM-algoritmen ikke bare prioriterer informasjon, men må også gjøre utvalg basert på ulike kriterier. Noen av disse valgene kan også kodes inn slik at programmererne hjelper algoritmen med å gjøre valg (heuristikk). For eksempel har IBM-systemets programmerere forhåndsbestemt at algoritmen skal foretrekke lengre framfor kortere tweets til oppsummeringene, siden de kortere meldingene pleier å være mindre lesbare setningsfragmenter. Det er helt klart en avgjørelse som kan forsvares, men Nichols innser at det også kan skape en skjevhet: “Å utelate kommentarer fra folk som har en tendens til ikke å skrive fullstendige setninger kan kanskje ekskludere en lavere utdannet del av befolkningen”. Kriterier valgt av programmerere for utvalg og prioritering kan korrelere med andre variabler (som utdanningsnivå) som kan være viktige når partiskhet og skjevheter i mediedekning skal vurderes.

Optimering, rangering, aggregering

Oppsummeringen er bare én type informasjonsbehandling som kan systematiseres i en algoritme. Din daglige nyhetsmeny har antakelig blitt påvirket av mange ulike algoritmer allerede før du har begynt å konsumere nyhetene. Algoritmer for personalisering som dem som brukes av Zite, en populær applikasjon for å lese nyheter, tilpasser systematisk innhold til dine interesser, på bekostning av å eksponere deg for et større mangfold av saker. Social Flow, en gründerbedrift i New York, bruker algoritmer for optimering for å finne ut det nøyaktige tidspunktet for når det er best å dele nyheter i sosiale nettverk slik at de får maksimalt gjennomslag hos målgruppen.

Optimeringsalgoritmer kan også bli brukt (pdf) til å bestemme layouten av en nyhetsside. Men å optimere layout basert på ett kriterium, som antall sidevisninger, kan ha utilsiktede konsekvenser, som at skandaler og kjendisnyheter alltid havner øverst på siden. Også her kan valget av hvilke aspekter man vil optimere og hva de er korrelert med, ha betydning.

Algoritmer for rangering er annen type som er mye brukt i nyhetssammenheng. Tenk på listene over “toppsaker” på de fleste nettaviser, eller hvordan kommentarer blir rangert, eller til og med på hvordan Twitter rangerer trender. Særlig Twitter-trender har kommet i søkelyset etter at hendelser som folk trodde ville dukke opp på listen over trender, som #occupywallstreet eller #wikileaks, ikke viste seg. I likhet med Summly er ikke Twitter åpne om algoritmen de bruker til å identifisere trender. Det gjør det vanskelig å vurdere hvilke systematiske skjevheter som er innebygd i algoritmen og om heuristikk eller menneskelige valg innlemmet i den også kan spille en rolle.

Google bruker også rangeringsalgoritmer til å sortere søkeresultatene dine. I dette tilfelle er rangeringsalgoritmene utsatt for den samme typen skjevhet til fordel for “de som skriker høyest” som vi hørte om fra Nichols. Internett er fullt av firmaer spesialisert på søkemotoroptimalisering som prøver å lure Googles algoritme slik at visse typer innhold vil vises høyt oppe i søkeresultatene selv om det kanskje ikke fortjener å være der. Dette gjør de delvis ved å knytte visse nøkkelord til nettstedet de ønsker å dytte oppover på listen over søkeresultater, og ved å lage hyperlenker fra mange andre nettsteder til dette nettstedet. Andre prøver å manipulere søkerangeringer. Professor Takis Metaxis ved Wellesley College og hans kollega Eni Mustafaraj har skrevet om “googlebombing”. Her skaper man koblinger mellom politiske aktører, som George W. Bush, og negative søkeord, som “håpløs fiasko”, slik at personen dukker opp når noen søker på denne frasen. Dette er et perfekt eksempel på hvordan skjevheter i data som en algoritme fores med kan føre til skjevheter i resultatet. Og når dataene algoritmen fores med er offentlige, ligger algoritmen åpen for manipulasjon.

Ikke alle typer skjevheter og partiskhet i algoritmer må være skadelig. Hvis algoritmer kunne skape en motvekt til individuell og tankemessig partiskhet vi alle bærer i oss, kunne det ha en positiv effekt på informasjonen vi blir eksponert for. Ved Korea Advanced Institute of Science and Technology (KAIST) har Souneil Park og hans samarbeidspartnere eksperimentert med algoritmer for innsamling av nyheter som fores inn i en nyhetspresentasjon kalt NewsCube (pdf). Denne leder brukeren til å forholde seg til et større mangfold av perspektiver. Glem å overlate ting til tilfeldighetene — forskere jobber med hvordan du kan bli eksponert for nyheter på en nyttig måte. Richard Thaler og Cass Sunstein kaller i sin bok Nudge denne formen for innflytelse for “libertariansk paternalisme” — å påvirke erfaringer for å korrigere for kognitive mangler i menneskers resonneringsevne. Ikke bare kan algoritmer skape skjevheter i innholdet vi konsumerer — en dag kan de kanskje gjøre det på en måte som gjør oss smartere og mindre utsatt for våre egne tankemessige brister. En algoritme kunne kanskje til og med sakte dytte ekstremister mot midten ved å eksponere dem for stadig mer moderate versjoner av deres egne ideer.

Algoritmer finnes over alt i nyhetene som omgir oss, enten det er i oppsummeringer, personalisering, optimering, rangering, koblinger, klassifisering, aggregering eller en annen algoritmisk informasjonsprosess. De er allestedsnærværende, og det gjør det verdt å reflektere over hvordan disse prosessene kan bidra til systematisk manipulasjon av informasjonen vi konsumerer, enten det er gjennom heuristikk, dataene de fores med, eller kriteriene som brukes til å hjelpe dem med å ta beslutninger om å inkludere, ekskludere og vektlegge.

Algoritmer vil alltid måtte ta ikke-tilfeldige avgjørelser om inkludering, ekskludering og vektlegging i mediene våre for å hjelpe oss å løse vårt problem med knapp tid og oppmerksomhet. Vi kan ikke på magisk vis gjøre algoritmer “objektive” ved å forstå hvordan de forårsaker skjevheter i mediene. Men vi kan lære oss å bli mer kritiske når vi bruker databaserte medier. Særlig datajournalister burde gjøre det til en vane å tenke grundig over hva bivirkningene av algoritmene de lager kan være og hva som kan korrelere med kriteriene de bruker for å ta avgjørelser. I neste omgang bør vi være åpne om disse bivirkningene på en måte som hjelper publikum til å bedømme kvaliteten på det vi gjør.

Artikkelen ble først publisert av Nieman Journalism Lab. Oversatt av Olav Anders Øvrebø.

Men nå som vi har tilgang til alle disse dataene, hva skal vi gjøre med dem?

En original tilnærming er å introdusere elementer fra dataspill i presentasjonen av data. Jeg har særlig vært opptatt av å utforske design av datadrevet informasjonsgrafikk som inkluderer velkjente aspekter ved spill, slik som mål, regler, belønning, konkurranse og avansement. Spillaktiviter og mål knyttes sammen med interaktive handlinger som legger til rette for visuell analyse av data. Dette skal oppmuntre til engasjement og læring. Et eksempel kan være at spillere må sammenligne en variabels verdier visuelt for å oppnå høy score i et spill. Gjør de det, kan de få muligheten til å forholde seg til dataene på en meningsfull og analytisk måte.

I samarbeid med kolleger ved Rutgers University laget jeg nylig et spill kalt Salubrious Nation (“en sunn nasjon”), hvor vi utforsker denne ideen om spillbare data. Salubrious Nation tar amerikanske folkehelsedata, om f.eks. røyking, overvekt og diabetes, og lager et kartbasert spill med dem. Spillets mål er å gjette hvordan det står til med folkehelsen (f.eks. andelen røykere) i en tilfeldig valgt kommune (county). Spilleren kan skaffe seg et bedre kunnskapsgrunnlag ved å sjekke andre korrelerte demografiske data som andel fattige, eller ved å se på hvordan grafikken skifter farge når en beveger indikatoren (slideren) før svaret avgis. Spilleren får poeng basert på hvor nær gjetningen er virkeligheten. Hvert nivå tar opp ulike folkehelsetemaer, og til slutt kan spilleren sammenligne sitt resultat med hva andre som har fullført spillet har oppnådd. Nedenfor er et skjermbilde, og du kan selve prøve spillet.

Sunn eller usunn nasjon? Klikk på bildet og spill selv.

Vi har gjort en nettbasert studie av Salubrious Nation der noen titall personer deltok. Målet var å forstå hvordan slik spillaktig eller spill-lignende presentasjon av informasjon påvirker utforsking av data, innsikt og læring — og underholdningsaspektet ved det hele. Våre funn viser at sammenlignet med en standard informasjonsgrafisk presentasjon av de samme dataene, klarte den spillaktige versjonen å påvirke spillerens oppmerksomhet på interessante måter. Eksempelvis fordeler spillernes interaksjon med kommuner seg mer jevnt utover landet, siden spillet er lagt opp slik at kommuner velges ut tilfeldig. Dessuten beveget spillerne indikatoren mer i den spillaktige presentasjonen. Antakelig fordi dette både var nødvendig for å avgi et svar såvel som et hjelpemiddel for å begrunne gjetningen — siden regionale mønstre kommer til syne når man leker seg med indikatoren.

Folk er mer tilbøyelige til å få med seg ting de allerede er enige i. Vårt resultat antyder en mulighet til å få spillere til å interessere seg for aspekter ved dataene som de ellers ikke ville vært tilbøyelige til å se på. Selv om den spillaktige presentasjonen ikke var mer underholdende eller engasjerende enn vanlig informasjonsgrafikk, demonstrerer Salubrious Nation likevel at målene som er del av spillets logikk kan motivere interaksjon og påvirke både hvordan spillerne utforsker dataene og hva slags innsikt de får med seg.

Salubrious Nation er et første forsøk på utforming av spillbare data og spillaktig informasjonsgrafikk, og det gjenstår store muligheter for å utforske slike designgrep. Kommende konsepter kan inkludere ulike interaksjonsmønstre (f.eks. spiller mot spiller), spillressurser (som liv, valuta, power-ups) og mål eller mekanikk (innsamling, bygging). Videre er det enda flere muligheter for spillaktige presentasjoner av data, avhengig av datatype (som nettverk, trestruktur, tidsrom, osv.) og ulik visuell framstilling som ikke er kartbasert (node-link, tidslinje, osv). Enkelte typer spillmekanikk kan være generelle og lar seg lettere tilpasse til ulike datatyper, mens andre er mer spesifikke. Vi trenger mer forskning på dette for bedre å forstå i hvilken grad de ulike metodene lar seg generalisere.

Innovasjonspotensialet er stort. Spillifiseringen av data trenger ikke å begrenses til bare presentasjon, men kan anvendes på alle deler av nyhetsprosessen — som innhenting av informasjon og distribusjon. Tenk deg spillaktige mobile applikasjoner som motiverer brukerne til å samhandle med andre mens de samler informasjon. Dette kunne støtte aktiviteter som amatørforskning, eller gi nyhetsredaksjoner bedre verktøy til å hente inn et mangfold av informasjon.

En kan virkelig se for seg et spekter av konsepter innenfor området spillbare data. Noen vil se ut som informasjonsgrafikk, andre mer som enkle videospill, og andre igjen som noe vi ikke engang har tenkt på ennå. Jeg håper at andre vil bli med på å utforske dette feltet, slik at flommen av samfunnsdata som gjøres tilgjengelig på nett kan gi mer innsikt til brukerne og bli mer engasjerende og morsomt for dem å interagere med.

Forskningsartikkel
Flere detaljer om Salubrious Nation og resultatene av studien finnes i en foreløpig versjon (pre-print) av et forskningspaper (pdf) som vil bli publisert i forbindelse med “Conference on Human Factors in Computing Systems” i Vancouver i år.

By June of 2009 the nation’s Chief Information Officer, Vivek Kundra, had overseen the launch of data.gov with the goal of increasing public access to machine readable datasets produced by the federal government. Other government sites such as usaspending.gov and recovery.gov have since been launched to provide even more focused data on how the U.S. spends its taxpayers’ dollars.

A promise of increased participation

The promise of data.gov and of many of these other civic data collections is in allowing citizens to participate in the scrutiny of their government and of society at large, opening vast stores of data for examination by anyone with the interest and patience to do so. Open source civic data analysis, if you will.

The array of data available on data.gov is still sparse in some areas but has steadily grown to include things ranging from residential energy consumption, to patent applications, to national water quality data among others.

And the data transparency movement isn’t just federal anymore: State and local municipalities such as California and New York City are following suit with pledges to make more civic data available.

The benefits of the open data movement are also starting to be recognized throughout Europe. The U.K. has called on Sir Tim Berners-Lee, the inventor of the world wide web, to lead a similar government data transparency effort there, which should soon result in a data.gov analogue. And indications of movements are beginning to stir in Germany (link in German).

Beyond Data Scraping

In the U.S. various government data resources have been available in some form or another online for years now. Programmers could scrape these online data sources by writing custom parsers to scan webpages and create their own databases. And many journalist-programmers working in today’s modern newsrooms still do. But it’s messy, it doesn’t scale or extend well, it’s brittle, and ultimately the data that results may not interoperate well with other data.

Having government buy-in to the publication of organized and structured data lowers the barriers substantially for developers and others to get involved with analyzing that data. It also means that structured formats, such as those that conform to semantic Web standards can interoperate more easily and be utilized to build ever more complex applications on top of the data.

Data.gov ≠ Insight.gov

So now that the U.S. government is publishing all kinds of data online, society will be better, right? Well – maybe. Let’s not forget that data has a long way to go before it becomes the information and knowledge that can ultimately impact back on policy.

Some non-governmental organizations are pushing data to become information by incentivizing contests with big prizes. For instance, the Apps for America 2 contest, coordinated by Sunlight Labs, awarded a total of $25,000 to the top application submissions which made data.gov data more transparent and accessible for citizens.

These efforts at coordinating developers and stimulating application development around government data are vital, no doubt. The applications which result typically involve polished interfaces and visuals which make it much easier for people to search, browse, and mashup the data.

Take for example the Apps for America 2 winner, DataMasher, which lets users create national heat maps by crossing two datasets (either adding, subtracting, dividing, or multiplying values). These operations, however, can’t show correlation, and at best they can only show outliers. As one anonymous commenter put it:

I don’t get it. It shows violent crime times poverty. So these are either poor, or violent, or both? I don’t think multiplying the two factors is very enlightening.

What we end up with is that many of the possible combinations of datasets lead to downright pointless maps which add little if any information to a discourse about those datasets.

Data.gov and indeed many of the applications built around it somehow fall short of the mark in terms of helping people share and build on the insights of others – to produce information. It’s not simply that we need interfaces to data, we also need ways to collaboratively make sense of that data.

The Minnesota Employment Explorer was an early foray into helping people collaboratively make sense of government data. It not only visualizes employment information but also allows people to ask questions and build on the insights of others looking at the visuals in order to make sense of the data. In the long run it’s these kinds of sensemaking tools that will really unlock to potential of the datasets published by the government.

What’s Next?

With a long tradition of making sense of the complex, there’s a unique opportunity for the institution of journalism to play a leadership role here. Journalists can leverage their experience and expertise with storytelling to provide structured and comprehensive explorations of datasets as well as context for the interpretation of data via these applications. Moreover, journalists can focus the efforts and attention of interested citizens to channel the sensemaking process.

I’ll suggest four explicit ways forward here:

(1) that data-based applications be built with an understanding of trying to promote information and insight rather than simply be database widgets,
(2) that journalists should be leaders (but still collaborators with the public) in this sensemaking enterprise,
(3) that these applications incorporate the ability to aggregate insights around whatever visual interface is being presented, and
(4) that data.gov or other governmental data portals should collect and show trackback links to all applications pulling from its various datasets.

And finally, after we all figure out how to make sense of all this great new data, lies the question of whether government is even “listening” to these applications.  Is the federal government prepared to accept or adopt the insight of its constituents’ data analysis into policy?