I 2009 skreiv vi i voxpublica om ssb.no’s nye websider og tanker om API, det hadde (muligens uoffisielt) kodenavn “nyessbno”. Da tiden endelig kom for et riktig API, kom data.ssb.no som hadde (og fremdeles har) et utvalg av SSBs mest populære tabeller.

Det var helt klart et skritt i riktig retning, men API-et er ganske begrenset, for eksempel for en nysgjerrige gravende journalist er dette smale utvalget formodentlig et rimelig uinteressant sted å grave.

Det som holder på å skje nå er mye viktigere: nå kommer 5000 tabeller (“alle 5000 statistikkbanktabellene”, ifølge invitasjonen til å beta-teste tjenesten). Formodentlig løpende oppdatert ettersom ny data kommer inn. Hvis dette blir praksis gjør SSB det vi håpte de skulle i forrige runde: gjøre seg relevante for digitale hoder som trenger maskinlesbare tall for viderebruk.

Dette betyr et mye bredere tilbud, et mye mer spennende tilbud og forhåpentligvis et tilbud som kan gjøre data fra ssb.no mer brukt i pressen, på kafeer, taxier og rundt middagsbordene.

Dette kan for noen kanskje se ut som en teknisk detalj (nytt API) for statistikk-nerder. Det er helt riktig, og indirekte en total misforståelse. For de som ikke leser tall med glede, leser nemlig bilder like lett som alle andre. Synet vårt er perfeksjonert gjennom evolusjon til å raskt oppfatte farer og goder så vel som trender og endring — perfekt for å tolke datavisualiseringer. Og mer data fra ssb.no i fornuftig dataformat er en servering på sølvfat for den som vil presentere tall i bilder.

Eksempler:

API-et er i beta, og ble åpnet den 22 desember 2015, så det er ikke all verdens av diversitet i eksempler å peke til ennå, men Xavier Badosa (utvikler av JSON-stat.org) har flere eksempler fra første versjon av API-et. Det er f.eks. slike ting vi kan forvente oss å se mer av:

Inflasjonskalkulator

Animert populasjospyramide, “eldrebølgen”.

Koropletkart over Norge farget etter kommunens innbyggertall

Småbarn i Norge over tid

At SSB har data åpner også for sammenlikning med data fra andre land. Her norsk og dansk inflasjon sammenlignet.

Konsumprisindeksen for Norge og Danmark i samme graf.

Da Norge ikke er med i EU og vi stort sett ikke er med i målet for eurostat blir dette ekstra viktig. Her er arbeidsledighetstallene til OECD.

Badosa har flere eksempler på bl.ocks.org — alle på det “gamle” API-et, men det nye ser ut til å følge over samme lest, som virker som en fornuftig modell. API-et er i beta, så det er ikke urimelig å finne ting som ikke virker, er feil, ikke er så stabilt eller oppdatert som et ferdig vil være, men at vi får innblikk i dette mens det fortsatt er under utforming, er en fordel for alle.

Her er APIet

Det er ikke lenket fra ssb.nos vanlige nettsider enda, men her er lenkene til det gamle og det nye (antakelig med midlertidig URL) API-et.

• Det gamle (her under ny URL)
• Console til det nye ‑hvor du kan søke deg fram til riktige tabeller og spørringer
• Navigerbart API
• Brukerveiledning

PS: I min iver og i tumultene av et nytt semester copy/pasta jeg eksempelkode fra pyjstat og konkluderte at jeg måtte sette meg ned med bedre tid, for dette virker ikke. Greia var at det nye API-et forventer POST-kall med parametre fra console’n. Her er python-kode som virker (takk til SSB for raskt svar):

Hvis du kjenner til flere eksempler om hvordan det nye API-et blir brukt, eller har laget noe selv, eller har noen ideer til hvordan dette kan eller bør brukes: legg igjen en kommentar under — vi trenger at disse dataene kommer til syne og til nytte.

Vi har nå over 1000 temasider. Et godt sted å starte er temaportalen, hvor vi har valgt ut noen av de viktigste.

Temasidekonseptet utvikles videre, og nå har vi føyd til tre nye og viktige eksterne kilder.

• NRKs radioarkiv: Over 40000 klipp fra NRKs store radioarkiv er nå åpent tilgjengelig via Nasjonalbibliotekets nettsted. Les egen sak om denne kilden.
• Bibsys: Treff fra katalogene til alle norske universitets- og høyskolebiblioteker.
• Bokhylla.no: Direkte tilgang (for norske IP-adresser) til digitaliserte bøker i fulltekst via Nasjonalbibliotekets prosjekt Bokhylla.no.

Kildene vi bruker må ha et åpent programmeringsgrensesnitt (API), siden koblingen med temasidene (som er vanlige tag-sider i WordPress) skjer automatisk. Vi ønsker mest mulig relevante treff, men dette er naturligvis avhengig av hvordan de eksterne kildene er strukturert.

Eksempler på sider med mange interessante treff fra ulike kilder: Stortinget, valgkamp, kildevern.

Vi tar gjerne imot tips og innspill om hvordan vi kan utvikle temasidene videre.

Dokumentasjon

I tillegg til Wikipedia, SNL og Digitalt Museum henter vi også inn innhold fra Virksomme Ord, databasen over norske politiske taler. Virksomme ord har også et API, men dokumentasjonen for dette har ikke vært offentlig tilgjengelig. Via vår utgiver, Institutt for informasjons- og medievitenskap, har vi likevel fått tilgang til dokumentasjonen. Etter å ha fått testet ut API-et på våre sider, har jeg samlet sammen og renskrevet denne dokumentasjonen og publisert resultatet: Virksomme ord API — Dokumentasjon.

Nye muligheter

Vi har ved hjelp av API-et fått laget temasider som automatisk viser relevante taler, men dette er bare en av mange muligheter. Vil du for eksempel lage en ordsky for taler fra de forskjellige partiene? Finn liste over partiene her retorikk.mellomlag.ListePartier, finn alle personene for hvert parti ved hjelp av retorikk.mellomlag.PartiInfo?id=9 og finn alle talene ved å søke på taler per person: retorikk.mellomlag.Asok?taler=siv%20jensen. Innholdet i talene nås via retorikk.mellomlag.TaleInfo?id=2721. Alt dette lar seg enkelt implementere i et dataprogram.

Dette var bare et eksempel på hva et API kan la deg gjøre, og nå som dokumentasjonen er offentlig kan vi håpe på at flere benytter seg av det på overraskende og innovative måter.

Vox Publica er med på #hack4no, og vi benytter anledningen til å vise fram den foreløpige versjonen av et prosjekt vi har jobbet med en stund: Nye temasider der materiale fra eksterne data- og innholdskilder knyttes automatisk til våre eksisterende temasider (som igjen er laget med manuell tagging av innlegg fra nettmagasinet).

Vi har åpnet betasidene våre, og der kan du kan se eksempler på temasider som NRK og Camilla Collett. Nå er vi spente på tilbakemeldinger. Design og presentasjon er langt fra ferdig — hva kan vi gjøre bedre/annerledes?

Datakildene vi bruker er: Digitalt Museum/Norvegiana, Store norske leksikon, Wikipedia, Virksomme ord.

Wikipedia-artikler viser vi allerede nå i tilknytning til temasidene i nettmagasinet (eksempel: Kina). Her har vi beskrevet hvordan vi utviklet en plugin for WordPress for å få til dette.

Innholdet blir hentet via søke-API-ene til de respektive tilbyderne. Navnet på temaet for hver side blir brukt som søkestreng, og API-ene returnerer resultatene i XML- eller JSON-format. De relevante delene av søkeresultatet blir hentet ut og formatert. I de tilfellene hvor API-ene ikke returnerer noen relevante resultater vises ikke dette.

Et eksempel som får full pott er temasiden til Camilla Collett. Denne inneholder en beskrivelse av temaet fra Wikipedia, våre egne artikler, bilder fra Digitalt Museum, taler fra Virksomme ord og artikler fra Store norske leksikon:

Temasiden for Camilla Collett

Tanken bak temasidene er å tilby leserne mer og relevant informasjon i tilknytning til artiklene Vox Publica har publisert (til nå 1400 tekster siden starten i 2006).

I nettjournalistisk sammenheng er koblinger mellom eget innhold og tilgjengelig data og innhold fra eksterne kilder til nå dårlig utnyttet. Vi håper vårt bidrag kan være nyttig også for andre, og vi tror utvikling av temasider vil bli mer aktuelt framover. Mye av den samme tankegangen kan for eksempel finnes igjen i et mye omtalt, nylig annonsert amerikansk oppstartsprosjekt.

Utdrag av koden til utvidelsen Wikipedia for tag pages

Siste skudd på dette treet er utvidelsen Wikipedia for tag pages. Som webansvarlig i Vox Publica jobber jeg mye med å utvide funksjonaliteten til nettmagasinet. Mye av denne funksjonaliteten er spesialkodet for VP, men noen ganger kommer man over ideer som er så generelle at flere kan få nytte av dem. Dette var tilfellet da jeg hadde lyst til å implementere utdrag av relevante wikipediaartikler på temasidene våre.

Temasidene opprettes når redaksjonen forsyner artiklene med stikkord. Ved å koble tema med relevant Wikipedia-artikkel håper vi å gjøre temasidene nyttigere for alle som bruker Vox Publica til å finne fram til informasjon. Eksempler: Se temasiden om valgkamp eller om Camilla Collett.

Denne Wikipedia-koblingen er garantert noe flere enn Vox Publica kan ha nytte av, så jeg har publisert koden som en utvidelse på wordpress.org/plugins.

Wikipedia-utvidelsen i aksjon på temasiden til “democratization”.

Utvidelsen tar i bruk Wikipedias programmeringsgrensesnitt (API) for å finne artiklene og har støtte for flere språk. For å vise artiklene fra det språket som passer til temaet sammenligner utvidelsen det gjeldende temaet med tittelen på artiklene Wikipedia-API’et tilbyr. Det språket som har en artikkel med tittel som skiller seg minst fra navnet på temaet får artikkelen sin vist.

Et API slik som jeg benytter meg av mot Wikipedia er et grensesnitt mot innholdet på nettsiden som er tilrettelagt for datamaskiner. Man kan tenke på det som en egen nettside som er spesiallaget for datamaskiner. Dette gjør det mye enklere å lage kode som kan hente ned denne informasjonen.

Det er selvsagt flere kilder som kunne vært interessant for oss å knytte til temasidene på samme måte. Under utviklingen av denne utvidelsen så jeg etter en mulighet for å hente ned informasjon fra snl.no også, men her finnes det ikke noe API. Kanskje Store Norske Leksikon kan gjøre noe med det?

The Guardian har nylig lansert et slikt med sin åpne plattform. Både teknologisk og økonomisk er dette et spennende prosjekt som kan vise vei både for medier og andre virksomheter som vurderer å dele sine data med andre.

Om du er opptatt av brukervennlighet, lesbarhet eller å senke barrierene for å lese nyheter, ta en titt på Today’s Guardian på guardian.gyford.com og les tankene bak hos skaperen; Phil Gyford.

Versjon av Guardian laget med avisens API.

Dette er en av potensielt mange utgaver av The Guardian som eksterne utviklere kan lage med deres Open Platform API.

Om dette er en teknisk modell noen av de norske aktørene faktisk vil gjennomføre, gjenstår å se. NRKbeta har diskutert saken ved flere anledninger.

Men hva betyr dette?

Vel, det er en hel del ting som er usikkert, som det økonomiske aspektet ved å tilby et API. Det er avveininger som vil være ulike fra aktør til aktør, som premissene for bruk av API-et. Du kan lese om dette og om intensjon, bakgrunn og idé på Guardians FAQ.

Videre er det et spørsmål om DX1, API-ets omfang, hva kan vi få ut av det og hvor nyttig innholdet er. Dette leder til det mest innlysende: The Guardian får potensielt spredd materialet sitt, inkludert reklame, til nye brukere. Hvem som helst kan lage nye tjenester av innholdet2. The Guardian for iPad, iPhone, Android, PlayStation og Xbox — hvem som helt kan lage slike tilpasninger om de ønsker. Sær-sammensettinger av nyhetene (jeg hater sportssidene) lar seg gjøre etter hvilke som helt preferanser, på tema, stikkord, tid osv. Som en base for analyse er det også et betydelig potensial her. Denne listen kan vokse.

Dette betyr altså flere ting, men en ting er viktigere enn andre: dette er en utprøving av en distribusjonsform, forankret i en økonomisk idé3 for en mer smidig og fleksibel håndtering av nyhetsartikler. Det er en teknologisk drevet prosess som passer godt med moderne informasjonssystemarkitektur (løst sammensatte enheter, tjenester) og som bør følges med en viss interesse. Det er et praktisk grep fra en presset bransje. Utfallet og utviklingen av slike grep og prosesser tror jeg vil forme en avgjørende faktor i rangeringen av vestlig presse de kommende årene. Noen skal ut, andre skal inn. Kun de beste får plass.

1. DX = developer experience, ideen om brukeropplevelser, UX — User eXperience, snudd på hode. Rett og slett: er det trivelig å jobbe mot dette APIet.
2. Hva som er lov og ikke er beskrevet i FAQ’n.
3. Teknologiutviklingen i mediebransjen har tidvis vært ensporet på antall lesere, og glemt økonomien i det hele. For detaljer, se Pablo Boczkowskis, Digitizing the News: Innovation in Online Newspapers (The MIT Press, 2005).