Rørsla består av bibliotekarar, forskarar, it-folk og andre interesserte, og sidan november i fjor har dei frenetisk lasta ned og sikkerheitslagra datasett og annan informasjon frå nettsidene til føderale forskings- og forvaltingsorgan. Høgast prioritet har klima- og miljødata.

– Eigd av folket

– Det dreier seg om store datamengder som er produserte av institusjonar som ligg under styresmaktene, men som er eigd av folket. Dei finst berre digitalt, og det er opp til styresmaktene å sikre at dei er tilgjengelege for deg og meg. I realiteten er informasjonen prisgitt det gjeldande politiske klimaet, seier Janz.

Då Donald Trump vann presidentvalet i USA sist november, var det mange som brått vart urolege for dei store mengdene forskingsdata og annan informasjon knytt til klima og miljø, som låg spreidd på mange offentlege nettstader. Det var ikkje slik at ein frykta at informasjonen brått ville bli sletta. Slikt finst det lover mot. Men ein av dei få tinga Trump snakka systematisk om gjennom heile valkampen, var at han ville vengestekke det amerikanske miljødirektoratet EPA, og løyve mindre pengar til klimaforsking (denne lovnaden har han innfridd).

Foto: Stephen Melkisethian cbnd

Fra stor protestmarsj mot Trumps forskningspolitikk i Washington DC 22. april 2017.

DataRefuge. DataRefuge sette straks i gang med såkalla databerging, der interesserte møttest for å peike ut viktige datasett og laste dei ned på sikre stader. Ei rekkje organisasjonar og institusjonar slutta seg til, nokre nystarta for føremålet, og mange databergingar gjekk av stabelen både i USA og i Canada i dei første hektiske månadane.

Det vart raskt klart at det å ta vare på informasjon som berre finst på nett, ikkje er enkelt. For det første finst det inga oversikt over kva data som finst der ute. Dessutan er informasjonen ofte ikkje spesielt godt organisert. Det er der bibliotekarane kjem inn.

– Særleg dei store forskingsbiblioteka, som oss, har lenge vore opptekne av desse problemstillingane. Etter kvart danna vi nettverket Libraries+, der vi prøver å finne løysingar for å handtere problemet i stor skala, og ikkje berre det som gjeld miljødata, men alle fagområde, fortel Laurie Allen, hovudbibliotekar med ansvar for digital forskingsstøtte, også ved Universitetet i Pennsylvania.

Var ikkje på radaren

Mange av reglane som gjeld det å ta vare på og tilgjengeleggjere offentleg informasjon, er laga for trykte medium og fungerer ikkje så godt i den digitale tidsalderen. Den nye politiske situasjonen avslørte mange mentale blindsonar.

– Vi trudde vi allereie gjorde mykje rett. Det blir til dømes arbeidd mykje med open tilgang til forsking, altså å få informasjonen ut på nett i det heile. Og ved forskingsbiblioteka har vi gjort mykje for å leggje til rette for våre eigne forskarar. Men dette enorme landskapet av offentleg informasjon som allereie ligg på nett, og som veldig mange menneske nyttar dagleg – det var ikkje på radaren, sjølv om problemet sjølvsagt har vore der heile tida. Presidentvalet vart ein augeopnar som gjorde folk merksame på problemet, seier Allen.

– Og kor store datamengder snakkar vi om?

– Ingen veit. Vi veit at det er snakk om mange petabyte. Kva heiter den tingen som kjem etter petabyte – exabyte? Eg vil tru det er nokre slike. Eitt av dei viktige spørsmåla er korleis vi avgjer kva som skal takast vare på. Prøver vi å spare på alt som nokon gong er blitt publisert, så løyser vi jo ikkje noko problem, tvert imot, seier Allen.

Må sikre truverdet

Eit anna problem er korleis ein kan vite at den informasjonen ein tek vare på, er identisk med originalen. I motsetnad til trykt informasjon, kan digital informasjon endrast med eit tastetrykk. Straks Trump overtok som president, vart til dømes nettsidene til EPA endra i påvente av at den nye politiske leiinga skulle avgjere kva informasjon dei ville presentere. Eit augeblikksbilete av nettsidene slik dei framsto før endringa, vart gjort tilgjengeleg på dei nye nettsidene, men i ettertid har det vist seg at ikkje all informasjonen på dei gamle nettsidene er inkludert i dette augeblikksbiletet, men er forsvunne. Slikt er vanskeleg å avsløre om ein ikkje har ein påliteleg original å samanlikne med.

President Donald Trump annonserer at han vil trekke USA ut av Paris-avtalen. Rosehagen ved Det hvite hus 1. juni 2017. (Foto: Det hvite hus/Joyce N. Boghosian)

– Kampen for open tilgang til forskingsdata har heile tida hatt som mål at alle skal kunne bruke datasetta til det dei vil. Men i så fall må ein jo også vere sikker på at dei er pålitelege. Det var forskarane som påpeikte dette problemet og sa at data må kunne siterast. Noko anna er at data kan vere veldig mykje forskjellig. Mange ser for seg vitskaplege data som lister med tal i eit stabilt format som lett kan delast, men eigentleg snakkar vi om all type informasjon på skjerm. Det kan like gjerne vere ei nettside som fortel skulelærarar om økologi, peikar Laurie Allen på.

Omgrepet «gerilja-arkivering» oppsto og vart raskt teke i bruk i samband med dei første organiserte databergingane etter valet. Men Kimberly Eke, avdelingsdirektør for lærings- og forskingsstøtte og den tredje rundt bordet, fortel at dei ser på seg sjølve først og fremst som bibliotekarar, ikkje som politiske aktivistar.

– Dette er rett og slett ting vi lenge har visst at vi må finne ut av, og no er vi i ein spesiell politisk situasjon der mange er interesserte i å involvere seg.

Aktivisme i arkivet

Når omstenda ligg til rette for det, kan det å ta vare på informasjon bli ei politisk opprørshandling.

For nokre år sidan var det mange som vart djupt rørde over å høyre om korleis bibliotekarar og lokale innbyggjarar i Timbuktu i Mali greidde å smugle ut store mengder uerstattelege mellomaldermanuskript og dermed hindre dei frå å bli øydelagte av islamistar. Takka vere innsatsen deira, kan dokumenta no bli digitaliserte og bevarte for ettertida.

Å lage arkiv og samle dokumentasjon har truleg alltid vore ein del av sosial og politisk aktivisme. Det omfattande arkivet etter den jødiske filosofen Edmund Husserl, som i dag finst i Leuven i Belgia, ville neppe ha eksistert om ikkje fransiskanarmunken Herman Van Breda hadde lukkast i å smugle det ut av Nazi-Tyskland i 1939. På same tid kunne ei stor mengde tyskspråklege sosialistiske tidsskrift, som vart øydelagde i Tyskland under andre verdskrigen, etterpå finnast att på «Det røde bibliotek» på Rjukan. Dei vart møysommeleg samla av Henrik J. Hjartøy, arbeidarpartimann og biblioteksjef frå 1917 til 1936, og finst i dag berre éin annan stad i verda, i nasjonalbiblioteket i Paris.

Utfordra majoritetskulturen

Andre halvdel av 1900-talet såg ei rekkje initiativ der til dømes kvinnerørsler, arbeidarrørsler og organisasjonar for homofile og lesbiske etablerte eigne arkiv som kunne fortelje om andre sider ved historia enn dei som vart fortalde i den dominerande kulturen. Slike arkiv kunne ha fleire føremål: Forstå historia betre, ta eigarskap til minne og identitet, eller avdekke maktmisbruk og urettvise. Uavhengigheit frå institusjonsarkiva var naudsynt i desse tilfella. Marginaliserte grupper kunne sjeldan lite på at institusjonane til majoritetssamfunnet vil ta tilfredsstillande vare på deira historie.

I seinare år har mange institusjonsarkiv fått meir inkluderande retningsliner, og det har igjen resultert i, til dømes, ulike dokumentasjonsprosjekt som har sprunge ut av «Black lives matter»-rørsla. Der går arkivarar, organisasjonar og vanlege borgarar saman om å dokumentere politivald mot svarte i USA.

Eit anna døme er «Skeivt arkiv», Noregs største samling dokument frå personar og organisasjonar relatert til «skeiv» historie, som no held hus ved Universitetsbiblioteket i Bergen.

Gerilja-arkiveringa i dagens USA skil seg frå mykje annan aktivist-arkivering ved at aktivistane ikkje er ute etter å fortelje nye historiar, men å bevare den etablerte. I lys av «postfaktasamfunnet» kan det å insistere på at vitskapleg informasjon er offentleg eigedom, like fullt oppfattast som politisk aktivisme.

– Liten grunn til uro i Noreg

Her til lands er offentleg digital informasjon meir truga av manglande systematikk, enn av politisk motivert historieforfalsking, meiner Herbjørn Andresen, førsteamanuensis ved Institutt for arkiv‑, bibliotek- og informasjonsfag ved Høgskolen i Oslo og Akershus..

– Den typen uro vi ser i USA, over at til dømes Environmental Protection Agency brått fjernar ein masse informasjon frå nettsidene sine, den er det førebels lite grunnlag for i Noreg, seier Andresen.

Han fortel at når det gjeld dokumentasjon av slikt som saksbehandling og korrespondanse, er det stort sett stødige system på plass i forvaltinga, og informasjonen er tilgjengeleg i den grad ein kan få dispensasjon frå reglane om personvern. Det vil ikkje seie at arkiveringa er feilfri, men det eksisterer planar og rutiner for å ta vare på informasjonen.

Systematikken manglar

– Nettsider er ei anna sak. Nasjonalbiblioteket «haustar» informasjon frå norske nettdomene, men vansken er å vite kva som vil vise seg å vere viktig i ettertid, seier Andresen.

Han nemner nettadressa pandemi.no som døme. Den vart oppretta av Helsedirektoratet i 2009 for å gje informasjon om svineinfluensaepidemien og massevaksineringa som styresmaktene sette i gang.

– I dag sender adressa deg til nettstaden til Folkehelseinstituttet. Men innhaldet på den opphavlege nettsida vart teke vare på for ettertida, på initiativ frå Riksarkivaren som såg på det som eit interessant historisk dokument. Ein systematisk gjennomgang av kva som blir publisert av offentlege verksemder, derimot, det manglar, seier han.

Prioriterer det nasjonalt viktige

Gretel Mari Braaten Westman er teamleiar for nettarkivet ved Nasjonalbiblioteket, som «haustar» informasjon frå norske nettstader. Ho seier at nettsider som tilhøyrer det offentlege heile tida har vore høgt prioritert.

– Vi har nokre seleksjonskriterium for kva vi hauster, til dømes hendingar av nasjonal viktigheit, slik som val, eller terroråtaket i 2011. Også kultur- og samfunnsliv skal dokumenterast, så vi haustar til dømes alt av nettaviser.

I januar 2016 kom lova om pliktavlevering til Nasjonalbiblioteket i ny utgåve. Den gjev Nasjonalbiblioteket rett til å samle inn informasjon som er allmennt tilgjengeleg på norske domene, utan å be om førehandsgodkjenning.

– Korleis kan de vite at de får med dykk det vesentlege?

– Vi er heldige i Noreg som har Brønnøysundregisteret, som er offentleg tilgjengeleg. Ein kan sortere verksemder på sektor og fange opp, til dømes, alt innanfor statleg sektor. Vi får også tips. Ved ei kommunesamanslåing nyleg, fekk vi tips om at nettsidene til dei to kommunane som skulle slåast i hop, ville bli erstatta av ei ny felles nettside frå ein viss dato. Dermed fekk vi tid til å ta vare på dei gamle. Slike endringar er det sjølvsagt veldig interessant for oss å vite om.

I dag er det folkeavstemming om Storbritannia skal forlate EU eller bli værende, og også denne gangen viser målingene dødt løp. Samtidig viser tippeselskapet Betfairs odds i skrivende stund 77 prosents sannsynlighet for at britene blir værende i EU. Kan vi stole på meningsmålingene denne gangen?

Det kanskje mest slående med de unøyaktige målingene i parlamentsvalget i fjor var at de alle var omtrent like unøyaktige: De målte det konservative partiet om lag seks prosentpoeng lavere enn det de faktisk fikk på valgdagen. Presisjonen på unøyaktighetene var høy, med andre ord. De publiserte målingene lå alle ganske nært hverandre, men ingen lå nært valgresultatet. Hvordan kunne det ha seg?

En mulig forklaring er at velgerne har ombestemt seg fra den ene dagen til den andre. Slikt kan skje, selv om det er uvanlig med store skifter på så korte tidsrom. Rapporten vurderer et slikt scenario, men finner ikke holdepunkter for at det er det som har hendt i dette tilfellet. En av bidragsyterne til rapporten var lederen for surveyavdelingen i Google UK, Mario Callegaro. Da han presenterte rapporten på Stanford University i slutten av januar pekte han i stedet på det som på engelsk kalles herding: For å unngå å publisere målinger som avviker veldig fra andre målinger, justeres målingene etter hva de andre målingene viser. Og hvis man justerer mot en måling som er feil, vil den nye målingen også være feil. Slik kan målefeil reprodusere seg selv og leve videre i nye målinger.

Foto: Portal gda cbna

Should I stay or should i go?

Det er ikke uvanlig å etterbehandle rådataene man samler inn i en meningsmåling. Alle som driver i den bransjen vet at det er svært vanskelig å få svar fra et utvalg respondenter som reflekterer velgermassen perfekt. Unge menn og eldre kvinner er gjennomgående underrepresentert, og generelt er de som svarer i slike undersøkelser mer interessert i politikk enn den jevne borger. En annen problemstilling er at det er forskjell på hva man sier man skal gjøre og hva man faktisk gjør. Det er lett å si at man skal bruke stemmeretten sin, og det er lett å si at denne gangen bytter man parti, men det er noe annet om man faktisk gjør det når det kommer til stykket. For å kompensere for denne typen skeivheter justeres svarene i undersøkelsen, slik at respondentene i størst mulig grad likner på den velgermassen de representerer. Det er ikke noe nytt at man vekter undersøkelsen etter befolkningssammensetningen og etter tidligere valgresultater, og selv om det er et nødvendig onde å etterbehandle undersøkelsene på denne måten har bransjen levd greit med disse utfordringene og levert pålitelige målinger. Rapporten hevder imidlertid at dagens undersøkelser er mindre representative enn de historisk har vært, og at det derfor knyttes større usikkerhet til rådataene nå enn det gjorde før. Det som også er nytt er tegn på at målingene i tillegg skuler til andre byråers publiserte målinger, kanskje i mangel på tillit til egne resultater.

Meningsmålingene i det britiske parlamentsvalget var på sett og vis offer for allmenningens tragedie: Hvert enkelt meningsmålingsbyrå la seg opptil de andre målingene for å unngå å bomme mer enn de andre, noe som i sin tur gjorde at meningsmålingene samlet sett bommet mer.

I seg selv er partimålinger ikke noen lukrativ virksomhet, men meningsmålingsbyråene bruker dem som et utstillingsvindu til potensielle kommersielle kunder i andre sektorer. Det er viktig å ikke stikke seg ut i en negativ retning, da det kan påvirke deres renomme. Det kan derfor være rasjonelt for hvert enkelt meningsmålingsbyrå å legge seg opptil det de andre målingene viser. Samtidig har en slik praksis uønskede konsekvenser for bransjen som helhet, ved at ingen våger å publisere avvikende målinger som kanskje egentlig har fanget opp et stemningsskifte blant velgerne.

Den ideelle løsningen slik jeg ser det er åpenhet omkring dataene og vektingsprosedyrene: Legg ut råmaterialet offentlig, slik at alle med interesse for det har anledning å gjøre sine egne beregninger, og eventuelt etterprøve resultater. I det lange løp tror jeg det vil tjene meningsmåling som metode og bransjen som benytter seg av metoden. Her i Norge gjør gjengen bak Poll of Polls et viktig stykke arbeid med å dokumentere og analysere norske partimålinger, og deres (frivillige) arbeid er med å styrke fokuset på kvalitet i meningsmålingene. De har imidlertid ikke tilgang til bakgrunnstallene som byråene samler inn på vegne av sine oppdragsgivere. Det er ingen holdepunkter for at norske byråer driver med herding, men som de selv skriver ville tilgang til dette materialet ha kunnet bidra til en kunnskapsbasert debatt om velgeres vandringer.

Nå er det ikke slik at herding er hele forklaringen. Når alt kommer til alt blir man i en slik rapport nødt til å gjøre kvalifiserte gjetninger basert på den informasjonen man har. Et par andre kjente statsvitere som ikke er del av den offisielle havarikommisjonen antyder i dette blogginnlegget at hovedproblemet med målingene i 2015 er at folk lyger og sier at de skal stemme, mens de så likevel unnlater å gjøre det. For dem handler det først og fremst om at man må kjenne respondentene sine godt nok, slik at man kan justere rådataene bedre og gjøre respondentene mer representative. I denne sammenhengen er det verdt å nevne at Norsk medborgerpanel (som jeg selv er tilknyttet) i forrige uke opprettet en doktorgradsstilling som skal fokusere på representativitet, utvelgelse av respondenter, vekting, og hvilke incitamenter som fungerer for å få folk til å ønske å svare på samfunnsvitenskapelige undersøkelser. Medborgerpanelet er et samfunnsvitenskapelig satsingsområde ved Universitetet i Bergen som nylig fikk en stor tildeling fra Bergen forskningsstiftelse. Stipendiatstillingen er et ledd i denne satsingen, og vi ser fram til arbeidet som skal gjøres i Norge og i samarbeid med internasjonale surveymiljøer på dette feltet.

“Havarikommisjonens” rapport finnes her.

En tidligere versjon av denne posten er publisert på Bergens Tidendes innsiktsblogg.

I 2009 skreiv vi i voxpublica om ssb.no’s nye websider og tanker om API, det hadde (muligens uoffisielt) kodenavn “nyessbno”. Da tiden endelig kom for et riktig API, kom data.ssb.no som hadde (og fremdeles har) et utvalg av SSBs mest populære tabeller.

Det var helt klart et skritt i riktig retning, men API-et er ganske begrenset, for eksempel for en nysgjerrige gravende journalist er dette smale utvalget formodentlig et rimelig uinteressant sted å grave.

Det som holder på å skje nå er mye viktigere: nå kommer 5000 tabeller (“alle 5000 statistikkbanktabellene”, ifølge invitasjonen til å beta-teste tjenesten). Formodentlig løpende oppdatert ettersom ny data kommer inn. Hvis dette blir praksis gjør SSB det vi håpte de skulle i forrige runde: gjøre seg relevante for digitale hoder som trenger maskinlesbare tall for viderebruk.

Dette betyr et mye bredere tilbud, et mye mer spennende tilbud og forhåpentligvis et tilbud som kan gjøre data fra ssb.no mer brukt i pressen, på kafeer, taxier og rundt middagsbordene.

Dette kan for noen kanskje se ut som en teknisk detalj (nytt API) for statistikk-nerder. Det er helt riktig, og indirekte en total misforståelse. For de som ikke leser tall med glede, leser nemlig bilder like lett som alle andre. Synet vårt er perfeksjonert gjennom evolusjon til å raskt oppfatte farer og goder så vel som trender og endring — perfekt for å tolke datavisualiseringer. Og mer data fra ssb.no i fornuftig dataformat er en servering på sølvfat for den som vil presentere tall i bilder.

Eksempler:

API-et er i beta, og ble åpnet den 22 desember 2015, så det er ikke all verdens av diversitet i eksempler å peke til ennå, men Xavier Badosa (utvikler av JSON-stat.org) har flere eksempler fra første versjon av API-et. Det er f.eks. slike ting vi kan forvente oss å se mer av:

Inflasjonskalkulator

Animert populasjospyramide, “eldrebølgen”.

Koropletkart over Norge farget etter kommunens innbyggertall

Småbarn i Norge over tid

At SSB har data åpner også for sammenlikning med data fra andre land. Her norsk og dansk inflasjon sammenlignet.

Konsumprisindeksen for Norge og Danmark i samme graf.

Da Norge ikke er med i EU og vi stort sett ikke er med i målet for eurostat blir dette ekstra viktig. Her er arbeidsledighetstallene til OECD.

Badosa har flere eksempler på bl.ocks.org — alle på det “gamle” API-et, men det nye ser ut til å følge over samme lest, som virker som en fornuftig modell. API-et er i beta, så det er ikke urimelig å finne ting som ikke virker, er feil, ikke er så stabilt eller oppdatert som et ferdig vil være, men at vi får innblikk i dette mens det fortsatt er under utforming, er en fordel for alle.

Her er APIet

Det er ikke lenket fra ssb.nos vanlige nettsider enda, men her er lenkene til det gamle og det nye (antakelig med midlertidig URL) API-et.

• Det gamle (her under ny URL)
• Console til det nye ‑hvor du kan søke deg fram til riktige tabeller og spørringer
• Navigerbart API
• Brukerveiledning

PS: I min iver og i tumultene av et nytt semester copy/pasta jeg eksempelkode fra pyjstat og konkluderte at jeg måtte sette meg ned med bedre tid, for dette virker ikke. Greia var at det nye API-et forventer POST-kall med parametre fra console’n. Her er python-kode som virker (takk til SSB for raskt svar):

Hvis du kjenner til flere eksempler om hvordan det nye API-et blir brukt, eller har laget noe selv, eller har noen ideer til hvordan dette kan eller bør brukes: legg igjen en kommentar under — vi trenger at disse dataene kommer til syne og til nytte.

Det er altså fritt fram for å bruke bilder fra samlingen til å illustrere artikler som denne, lage slideshows og gallerier, bruke bildene til å selge produkter, og benytte dem som del av eller utgangspunkt for nye verk – for å nevne noe. Når rettighetshaver gir et verk lisensen CC-navngivelse, er det en irreversibel beslutning. Du kan bruke bildet så lenge du respekterer lisensbetingelsene.

Foto: Frits Solvangcb

Anne Marit Jacobsen i Nationaltheaterets oppsetning av Georg Büchners “Leonce og Lena”, 1972.

Åpner opp vår nære fortid

Frikjøpsmodellen Sparebankstiftelsen DNB har valgt gjør noe med et stort kulturelt problem: Kulturarven i vår nære fortid er nærmest usynlig på nettet. Den lange vernetiden i åndsverkloven gjør at et verk ikke faller i det fri (kan brukes fritt) før 70 år etter opphavspersonens død.

Vi har en merkelig skjev tilstand nå hvor den digitale offentligheten og semi-private sfærer som Facebook flommer over av fotografier tatt de siste årene. Dessuten har digitaliseringsprosjekter sørget for at mange historiske fotosamlinger er gjort tilgjengelig.

Foto: Frits Solvangcb

Kvinner går tur med barn på byggeplass, Stovner senter, Oslo, 1975.

Dette fører til at tidsrommet mellom den fjerne fotofortiden og den nære fortiden – for eksempel etterkrigstiden – er nærmest ikke-eksisterende på nett.

Bilder fra denne perioden kan ofte bare brukes mot betaling, hvis man da er så heldig å finne ut av hvem som sitter på rettighetene. Én konsekvens av dette er for eksempel at bildene ikke kan vises på Wikipedia. I praksis er bildene utilgjengelige og ukjente for de aller fleste.

Blir ikke kjent av seg selv

Jeg håper andre aktører – stiftelser, virksomheter, privatpersoner, kulturinstitusjoner – tar etter Sparebankstiftelsen DNB og gjør samlinger fra den nære fortiden tilgjengelig. Men dette er bare et første skritt.

Foto: Knudsens fotosentercb

Bygging av oljerigg i Gandsfjorden (årstall ikke oppgitt).

En erkjennelse fra de siste årenes arbeid med å åpne opp innhold og datakilder for viderebruk, er at tilrettelegging er nødvendig. De potensielle brukerne må opplyses om mulighetene og gjetes fram til samlingene. Bildene vil ikke bli spredd og viderebrukt uten videre. Her er en (sikkert ufullstendig) to do-liste:

• Forklar lisensbetingelsene: Creative Commons har eksistert siden 2003, men er fortsatt ukjent for de aller fleste.
• Lag oppskrifter og verktøy: Vis hvordan korrekt kreditering av et foto skal se ut. Suppler med verktøy som forenkler jobben (her har f.eks. Vox Publica bidratt med en egen programutvidelse for WordPress).
• Gjør bildene synlige for søkemotorer: Alle bildene som er registrert på digitaltmuseum.no bør også være mulig å finne via Google og andre søkemotorers bildesøk (stikkprøver tyder på at dette er gjort).
• Vis fram mulighetene: Lag eksempler på slideshows, gallerier, bildebøker og andre måter å bruke bildene på.
• Hjelp leksikonmiljøene: Bilder fra samlingen vil berike Wikipedia og Store Norske Leksikon. Gi økonomisk støtte til illustrasjonsprosjekter.
• Gi utviklerne spesialservice: Arranger hackdager og konkurranser, sørg for gode API-er. Et eksempel på viderebruk er Vox Publicas temasider, der vi matcher innholdet vårt med bilder fra Digitalt Museum og innhold fra andre kilder.

De ekstra ambisiøse kan la seg inspirere av Rijksmuseum i Amsterdam. Ved gjenåpningen av museet etter mange års oppussing i 2013, presenterte det et nytt nettsted der verket ble satt i sentrum. Et helt nytt prosjekt, Rijksstudio, lar publikum sette sammen sine egne samlinger. De mest aktive “remikser” verkene ved å bruke elementer av dem i nye verk, og det arrangeres en årlig Rijksstudio Award (se årets vinnere).

Rijksmuseum har altså kombinert en konsekvent satsing på åpent innhold og åpne data med aktive grep for å distribuere verkene og engasjere publikum.

Det ble konkurrert i tre kategorier: Beste visualisering, beste nytt-tjeneste/app og beste tjeneste/app med geografisk informasjon. De tre vinnerne er: BioPin.it, Gi tein og Ølkart.

På Difis digitaliseringskonferanse 17. juni ble BioPin.it og Gi tein plukket ut til å gå videre til den nordiske hacke-konkurransen på teknologikonferansen Slush i november 2015.

Beste nytte: BioPin.it

Lagets egen beskrivelse: Dette er et lærerikt og engasjerende spill som går ut på å registrere arter du ser og som du tar bilde av. Du får poeng etter hvor sjelden arten er, og du kan få ekstrapoeng dersom du er først til å registrere en art, er den som har observert arten lengst nord, om du har fått mange ‘likes’ for et bilde, osv. Spillet har en sosial komponent ved at du kan konkurrere med venner, komme på topp 10-liste, dele på Facebook.

Prisvinner #hack4no 2015: BioPin.it

Observasjoner som meldes inn i spillet skal rapporteres videre til Artsdatabanken og er således med på å berike nasjonale og internasjonale databaser.

Spillet vil ha lav brukerterskel og skal kunne brukes av både unge og gamle, i skoleklasser, speidergrupper, og andre. Det vil øke kunnskapen om og vekke interesse for natur og arter og vil skape trang til å utforske. Vi ser for oss at dette blir en ny hobby på samme måte som for eksempel geocaching.

Data: Artsdatabanken, Kartverket, Wikipedia.
Illustrasjon: BioPin.it

Juryens begrunnelse: BioPin.it får oss på en leken måte ut av sofaen og ut i skog og mark gjennom å geocache på absolutt alt som fins i naturen. Den gir også tilbake til samfunnet, i den forstand at den leverer tilbake til Artsdatabanken kunnskap om vårt evig endrede miljø.

Laget: Albin Larsson, Alice Polenghi, Davide Rapotez, Peter Bremer og Bjørn Hjelle.

Les Bjørn Helles bloggpost om løsningen på Kultur- og naturreises nettside.

Beste visualisering: Gi tein

Prisvinner #hack4no 2015: Gi tein

Lagets egen beskrivelse: Tjenesten retter seg mot problemet med spøkelsesteiner i sjøen. Gjennom en app med et stort preg av gamification vil vi engasjere dykkere, dykkerklubber og miljøvernorganisasjoner. Gamification belønner søk, opphenting og engasjement fra målgruppen. I bakgrunnen bygges det opp et register som effektiviserer søk og arbeid for fremtiden.

Sjøen deles inn i soner med ulike formål og verdier (både gjennom virtuelle poeng og belønning i form av betaling). En bruker kan registrere utførte søk og opphenting innenfor sonene.

En oppdragsgiver (f.eks. Fiskeridirektoratet) kan registrere et spesifikt oppdrag i en eller flere ønskede soner. Gjennom crowdsourcing kan bidragsgivere registrere økonomiske bidrag i en eller flere soner, som oppmuntrer til søk i det aktuelle området.

Ved videreføring av prosjektet vil et samarbeid med Fiskeridirektoratet være aktuelt. Samkjøring av register for tapt fiskeredskap kan integreres i løsningen, og eventuelle panteløsninger for innlevering av funnet teine.

Data: For presentasjonen under #hack4no er det benyttet åpne kartdata lastet ned fra Kartverket. For endelig app vil bruken av data fra Kartverket være omfattende.

Interaktivt eksempel: Gi tein

Juryens begrunnlse: “Gi tegn” har et vakkert grensesnitt, og det er gjort enkelt å registrere der man er og rydder. I tillegg gir man tilbake til staten i den forstand at man gir tilbake den informasjonen man får inn gjennom en god form for crowdsourcing. Juryen tror løsningen har et veldig stort potensial.

Laget: Lars Selstad, Ina Viktoria Kristiansen og Kay Frode Kristiansen

Les Ina Viktoria Kristiansens bloggpost om løsningen.

Beste med geografisk info: Ølkart

Lagets egen beskrivelse: Visualisering og søk i norske bryggerier, barer og polutsalg. Treffer godt på håndverksøl-bølgen.

Data/teknisk: Webside/app med lett python-backend, PostGIS base og mye javascript. Benytter seg av screenscraping av diverse sider, OpenStreetMap-data, samt api-er fra svv for ruteberegning og adressesøk fra Kartverket, i tillegg til kommunegrenser og befolkningsdata (snart) til statistikk.

Data:
Bryggeridata er hentet fra github.com/atlefren/norwegian-breweries
Pol-lokasjonene er hentet fra Vinmonopolets nettsider
Pub-oversikten kommer fra OpenStreetMap
Bakgrunnskart og adressesøk fra Kartverket
Ruteberegning fra Statens Vegvesen
Visning: #Ølkart

Juryens begrunnelse: Dette er en løsning som også kan skaleres og brukes på mye mer enn øl. Vi likte den veldig godt – den viser mange kilder i kombinasjon med geografisk informasjon.

Laget: Atle Frenvik Sveen

Les Atle Frenvik Sveens bloggpost om løsningen.

Mer om #hack4no

Beskrivelse av alle bidragene i konkurransen
Om konkurransen og om premiene

Video av vinnerkåringen:

Offentlige data er ideen om at data som er innhentet med skattebetalernes midler skal frigjøres — åpnes — slik at offentligheten har lettest mulig tilgang til dem. For at data skal kunne kalles “åpne”, må de være fritt tilgjengelige og kunne gjenbrukes uten restriksjoner. For en kjapp innføring i åpne data anbefales denne videoen, som begrunner hvorfor offentlige datakilder bør åpnes.

Hackermaraton hos Kulturrådet

Med dette som bakgrunn ble jeg som webansvarlig i Vox Publica sent for å delta på Kultur- og naturreises hackathon #hack4no 7–8. februar i Kulturrådets lokaler. Kultur- og naturreise er et samarbeid mellom Kartverket, Kulturrådet, Miljødirektoratet, Riksantikvaren og Riksarkivet. Under denne hackermaratonen ble over 175 hackere, designere og datatilbydere samlet for å idémyldre fram og utvikle nye apper som benytter seg av åpne data. Det hele ble åpnet av statssekretærene Knut Olav Åmås og Paul Chaffey fra henholdsvis Kulturdepartementet og Kommunal- og moderniseringsdepartementet, noe Paul Chaffey har skrevet om i bloggen sin. Se også Computerworlds oppsummering av åpningen.

En mockup av hvordan appen vil se ut.

Etter åpningsforedragene var det satt av tid til idémyldring, og forslagene som kom ut av dette ble presentert for alle deltakerne. Det kom mange gode forslag, men det ble tidlig klart for meg at jeg ønsket å velge å bidra på prosjektet Second Take.

Posisjonsbestemme historiske bilder

Formålet med denne appen er å presentere brukeren for historiske bilder fra området brukeren befinner seg i. Brukeren kan så velge et av bildene og ta et nytt bilde av samme motiv med telefonens kamera. Det gamle bildet legges over søkervinduet for å gjøre det lettere å samsvare bildene. Etter at bildet er tatt skal brukeren kunne dele et bilde sammensatt av det nye og det gamle på sosiale medier.

Foto: Håvar Skaugen cb

Skjermdump fra prototypen av Second Take. Motiver fra Bergen vises.

Det som fikk mine hackerfingre til å krible var i hovedsak to forhold: I mitt arbeid med våre nye temasider hadde jeg blitt kjent med Norvegiana-API-et og hva det kan tilby av historiske bilder. I tillegg har appen også et formål som en crowdsourcing av posisjonsfesting av gamle bilder. Idet brukeren tar et nytt bilde av et gammelt motiv, vil hans/hennes posisjon kunne bli brukt til å posisjonsbestemme hvor det gamle bildet er tatt.

Gruppen som utviklet appen under #hack4no ble satt sammen der og da og består av foruten meg Audun Skaugen, Rune Myrland, Åsmund Matzow, Håkon Bjerkan og Dan Michael Heggø. Blant oss har vi både utviklere, designere, interaksjonsdesignere og idémennesker. Arbeidet under #hack4no førte til et sett med skisser for hvordan appen skal se ut samt en webapp som viser at bruken av API-et og ideen om å legge det historiske bildet over kamerasøkeren fungerer i praksis.

Foto: Håvar Skaugen cb

Skjermdump fra prototypen av appen der kamerafunksjonen testes opp mot et bilde fra Google Street View.

Og vinneren ble…

#hack4no resulterte i 14 innsendte bidrag, og alle deltakerne stemte for å kåre en vinner blant disse. Det var mange veldig gode bidrag, og blant disse er mine favoritter Hjortefot, Histagram og SNL ± Wikipedia.

Jeg er meget stolt av at Second Take ble kåret som vinnerbidraget og ser frem til å delta på Future Everything-konferansen i Manchester for å presentere appen vår. Nå gjenstår det bare å utvikle en fungerende prototyp til Android…

Vox Publica er med på #hack4no, og vi benytter anledningen til å vise fram den foreløpige versjonen av et prosjekt vi har jobbet med en stund: Nye temasider der materiale fra eksterne data- og innholdskilder knyttes automatisk til våre eksisterende temasider (som igjen er laget med manuell tagging av innlegg fra nettmagasinet).

Vi har åpnet betasidene våre, og der kan du kan se eksempler på temasider som NRK og Camilla Collett. Nå er vi spente på tilbakemeldinger. Design og presentasjon er langt fra ferdig — hva kan vi gjøre bedre/annerledes?

Datakildene vi bruker er: Digitalt Museum/Norvegiana, Store norske leksikon, Wikipedia, Virksomme ord.

Wikipedia-artikler viser vi allerede nå i tilknytning til temasidene i nettmagasinet (eksempel: Kina). Her har vi beskrevet hvordan vi utviklet en plugin for WordPress for å få til dette.

Innholdet blir hentet via søke-API-ene til de respektive tilbyderne. Navnet på temaet for hver side blir brukt som søkestreng, og API-ene returnerer resultatene i XML- eller JSON-format. De relevante delene av søkeresultatet blir hentet ut og formatert. I de tilfellene hvor API-ene ikke returnerer noen relevante resultater vises ikke dette.

Et eksempel som får full pott er temasiden til Camilla Collett. Denne inneholder en beskrivelse av temaet fra Wikipedia, våre egne artikler, bilder fra Digitalt Museum, taler fra Virksomme ord og artikler fra Store norske leksikon:

Temasiden for Camilla Collett

Tanken bak temasidene er å tilby leserne mer og relevant informasjon i tilknytning til artiklene Vox Publica har publisert (til nå 1400 tekster siden starten i 2006).

I nettjournalistisk sammenheng er koblinger mellom eget innhold og tilgjengelig data og innhold fra eksterne kilder til nå dårlig utnyttet. Vi håper vårt bidrag kan være nyttig også for andre, og vi tror utvikling av temasider vil bli mer aktuelt framover. Mye av den samme tankegangen kan for eksempel finnes igjen i et mye omtalt, nylig annonsert amerikansk oppstartsprosjekt.

Reinhart og Rogoff la i 2010 fram en studie av forholdet mellom statsgjeld og økonomisk vekst, “Growth in a Time of Debt”. De fant en sammenheng: Når et lands gjeld overskrider 90 prosent av BNP, stopper økonomien å vokse. Resultatet fikk mye mer oppmerksomhet enn vanlig er for forskningsarbeider. Politikerne som forsøkte å få grep på statsgjeldskrisen i Europa hadde endelig et autoritativt tall å klamre seg til. 90 prosent — en vanntett faglig begrunnelse for sparepolitikken, fra to av verdens fremste økonomer!

Sommeren og høsten 2012 strever Thomas Herndon med Reinhart og Rogoffs analyse. Han har lastet ned dataene, et regneark forfatterne fortjenstfullt nok har gjort tilgjengelig. Herndon vil skrive om artikkelen i en seminaroppgave, men klarer ikke å reprodusere 90 prosent-terskelen. I februar i år skriver han en e‑post til Reinhart og Rogoff og ber om å få se utregningene deres også. Han får materialet, og oppdager kjapt flere enkle feil. Han regner og regner. 90 prosent-terskelen forsvinner. Resten er, som det heter, historie.

Sherlock-skulptur i Meiringen, Sveits (foto: David Jones, CC:by)

Hva dette har med Sherlock Holmes å gjøre? Flere steder i Conan Doyles historier advarer mesterdetektiven mot å trekke slutninger før alle data er vurdert. I “A Study in Scarlet”, for eksempel. Dr. Watson, jeg-fortelleren, er misfornøyd med framdriften i etterforskningen. Holmes prater i vei om fioliner:

“You don’t seem to give much thought to the matter in hand,” I said at last, interrupting Holmes’ musical disquisition.
“No data yet,” he answered. “It is a capital mistake to theorize before you have all the evidence. It biases the judgment.”

Sannheten om Reinhart og Rogoffs regnefeil kom for en dag først da alle dataene var på plass i Herndons datamaskin. I mellomtiden hadde det foregått mye “teoretisering uten alt bevismateriale”. Det er all grunn til å tro at det er mange andre forskningsresultater som burde lidt samme skjebne som 90 prosent-tesen. Reinhart og Rogoff hadde jo til og med gjort data tilgjengelig, om enn ikke komplett. Hva så med data som man ikke en gang får tak i fordi de ligger på forskerens PC eller i en skuff?

Forskermiljøer strever ennå med data-åpning. Løsningen er snublende nær — publisering av data må gjøres til en betingelse for finansiering av et forskningsprosjekt. I tillegg trengs det fornuftige regler for håndtering og en god infrastruktur for oppbevaring av dataene. Tenk også på samfunnet utenfor forskerverdenen: Tilgang til data bak forskningen bør ikke være forbeholdt forskere (med de nødvendige forbehold for å sikre personvernet dersom dataene inneholder personopplysninger).

En oppmuntring til slutt: Den som offentliggjør data, får også større gjennomslag i forskersamfunnet, det vil si flere siteringer. Det viser en studie (på fagfeltet genetikk) som sammenligner forskningsartikler der data er gjort tilgjengelig med tilsvarende artikler uten åpent datamateriale.

Råstoffet utviklere trenger for å lage nyttige applikasjoner er selvfølgelig data. Arrangørene lover at nye datasett blir gjort tilgjengelig i forbindelse med konkurransen, og det er helt nødvendig. Farten i åpningen av offentlig sektors data har vært lavere enn mange av oss hadde håp om for noen år siden.

Data bør også tilrettelegges, skal konkurransen lykkes. Datakildene bør være lette å finne fram til og finnes i formater utviklere foretrekker (API-er der det er relevant). Mitt inntrykk er i hvert fall at mange utviklere helst vil bruke tid på det kreative arbeidet med å lage apps og interaktive visualiseringer, ikke på å grave fram datagrunnlaget.

Så hvordan finne datakildene? Her er noen lenker og tips:

• Data.norge.no: Datakildeportal og datahotell drevet av Difi, der offentlige virksomheter oppfordres til å registrere og legge ut sine data. I det siste har det dukket opp interessante data der om bl.a. samferdsel.
• Datakilder.no (CKAN): Uavhengig datakildeportal tilrettelagt av Open Knowledge Foundation. Drøyt 200 datasett er registrert der.
• Oppsøk dataeier: Hvis du vet hvilken offentlig etat/virksomhet som forvalter dataene du er interessert i, sjekk nettstedet deres. Det kan godt være at datakilder er tilgjengelig der uten at de er registrert i noen av datakildeportalene. SSB er kanskje det beste eksemplet.
• Krev innsyn: Hvis du vet om data som ikke er tilgjengelig, men burde være det, ta kontakt med dataeier og krev innsyn. Det kan være lurt å finne medsammensvorne for å presse dataeier litt ekstra. Twitter: #offdata og #Apps4Norge.

Det går altså an å gjøre noe selv. Et eksempel: Energi og klima er en sektor der det finnes mange interessante datakilder og store muligheter for utviklere. Som ledd i jobben jeg gjør for nettmagasinet Energi og Klima har jeg begynt på en samling av viktige datakilder på feltet. Denne vil jeg utvide i tiden som kommer. Tips gjerne om datakilder som burde være med i en slik samling.

Prosjekt «åpne data ved UiB» er nylig startet opp, og det er foreløpig ganske begrenset hvilke data som er lagt ut. Her er noen eksempler på data som etter hvert kan bli gjort tilgjengelig:

• Kalender — oversikt over åpne foredrag og hendelser i regi av UiB (koblet mot kartdata for campus)
• Nye publikasjoner fra de vitenskapelige tilsatte
• Timeplan, forelesninger for studentene (koblet mot kartdata for campus)
• Alle emner som det foreleses i ved UiB

Vi følger med på Difis prosjekt data.norge.no og de retningslinjer og lisenser som Difi har utarbeidet for åpne data.

Utvikling av «apper» for bærbare enheter (smarttelefoner og nettbrett) har tatt av og vi ser store muligheter ved å la både studenter, ansatte og andre utenfor UiB utvikle applikasjoner på UiBs «åpne data». UiB vil nå i første omgang legge vekt på å etablere en infrastruktur for «åpne data» som er sikker og som vil skalere. Vi vil legge vekt på at data som gjøres tilgjengelig er korrekte. Vi må selv også utvikle egen kompetanse på hva åpne data betyr.

Prosjekt «åpne data ved UiB» er ett nytt prosjekt og det vil ta tid for oss å utvikle. Det er mange «eiere av data» ved UiB, og gjennom dialog med disse vil vi over tid legge ut nye data.