I 2009 skreiv vi i voxpublica om ssb.no’s nye websider og tanker om API, det hadde (muligens uoffisielt) kodenavn “nyessbno”. Da tiden endelig kom for et riktig API, kom data.ssb.no som hadde (og fremdeles har) et utvalg av SSBs mest populære tabeller.

Det var helt klart et skritt i riktig retning, men API-et er ganske begrenset, for eksempel for en nysgjerrige gravende journalist er dette smale utvalget formodentlig et rimelig uinteressant sted å grave.

Det som holder på å skje nå er mye viktigere: nå kommer 5000 tabeller (“alle 5000 statistikkbanktabellene”, ifølge invitasjonen til å beta-teste tjenesten). Formodentlig løpende oppdatert ettersom ny data kommer inn. Hvis dette blir praksis gjør SSB det vi håpte de skulle i forrige runde: gjøre seg relevante for digitale hoder som trenger maskinlesbare tall for viderebruk.

Dette betyr et mye bredere tilbud, et mye mer spennende tilbud og forhåpentligvis et tilbud som kan gjøre data fra ssb.no mer brukt i pressen, på kafeer, taxier og rundt middagsbordene.

Dette kan for noen kanskje se ut som en teknisk detalj (nytt API) for statistikk-nerder. Det er helt riktig, og indirekte en total misforståelse. For de som ikke leser tall med glede, leser nemlig bilder like lett som alle andre. Synet vårt er perfeksjonert gjennom evolusjon til å raskt oppfatte farer og goder så vel som trender og endring — perfekt for å tolke datavisualiseringer. Og mer data fra ssb.no i fornuftig dataformat er en servering på sølvfat for den som vil presentere tall i bilder.

Eksempler:

API-et er i beta, og ble åpnet den 22 desember 2015, så det er ikke all verdens av diversitet i eksempler å peke til ennå, men Xavier Badosa (utvikler av JSON-stat.org) har flere eksempler fra første versjon av API-et. Det er f.eks. slike ting vi kan forvente oss å se mer av:

Inflasjonskalkulator

Animert populasjospyramide, “eldrebølgen”.

Koropletkart over Norge farget etter kommunens innbyggertall

Småbarn i Norge over tid

At SSB har data åpner også for sammenlikning med data fra andre land. Her norsk og dansk inflasjon sammenlignet.

Konsumprisindeksen for Norge og Danmark i samme graf.

Da Norge ikke er med i EU og vi stort sett ikke er med i målet for eurostat blir dette ekstra viktig. Her er arbeidsledighetstallene til OECD.

Badosa har flere eksempler på bl.ocks.org — alle på det “gamle” API-et, men det nye ser ut til å følge over samme lest, som virker som en fornuftig modell. API-et er i beta, så det er ikke urimelig å finne ting som ikke virker, er feil, ikke er så stabilt eller oppdatert som et ferdig vil være, men at vi får innblikk i dette mens det fortsatt er under utforming, er en fordel for alle.

Her er APIet

Det er ikke lenket fra ssb.nos vanlige nettsider enda, men her er lenkene til det gamle og det nye (antakelig med midlertidig URL) API-et.

• Det gamle (her under ny URL)
• Console til det nye ‑hvor du kan søke deg fram til riktige tabeller og spørringer
• Navigerbart API
• Brukerveiledning

PS: I min iver og i tumultene av et nytt semester copy/pasta jeg eksempelkode fra pyjstat og konkluderte at jeg måtte sette meg ned med bedre tid, for dette virker ikke. Greia var at det nye API-et forventer POST-kall med parametre fra console’n. Her er python-kode som virker (takk til SSB for raskt svar):

Hvis du kjenner til flere eksempler om hvordan det nye API-et blir brukt, eller har laget noe selv, eller har noen ideer til hvordan dette kan eller bør brukes: legg igjen en kommentar under — vi trenger at disse dataene kommer til syne og til nytte.

Byrået supplerer datakildene med oppdaterte vurderinger av framgangen på nøkkelområder. Data fra Norge er inkludert i mange av indikatorene.

Som en bonus til utviklerne der ute har EEA gjort et API — programmeringsgrensesnitt — tilgjengelig, for effektiv tilgang til dataene. Data kan gjenbrukes i henhold til en åpen lisens, Creative Commons navngivelse. Kommersiell bruk er altså eksplisitt tillatt.

Blogginnlegget er publisert i samarbeid med nettmagasinet Energi og Klima.

Klimadata er også et stort satsingsområde. I en egen kunnskapsportal om klimaendringer samler Verdensbanken mange av de viktigste datakildene på feltet. Dataene kan visualiseres i kart og grafikk, og de er også tilgjengelig for nedlasting og viderebruk i tråd med prinsippene for åpne data. Verdensbanken ønsker å gjøre portalen til et komplett samling av data, verktøy og kunnskap om klima. Blant kommende tilbud er visualisering i høy oppløsning av klimaendringer og ‑konsekvenser, basert på en rekke ulike klimamodeller.

For utviklere og datajournalister tilbyr Verdensbanken API-er. De arrangerer også konkurranser med rause premier. Akkurat nå pågår Apps for Climate, der innleveringsfristen er 16. mars. Førstepremien er på 15.000 dollar.

I fjor var utvikling temaet for en apps-konkurranse. Blant vinnerne av Apps for development var visualiseringsverktøy, spillbaserte interaktive løsninger og en mobilapplikasjon med helseopplysninger beregnet på gravide.

Blogginnlegget er publisert i samarbeid med nettmagasinet Energi og Klima.

Basert på et datamateriale fra Heritage Foundation har Karl Sluis laget en fin interaktiv visualisering av det globale nærværet av amerikanske soldater i perioden 1950–2005. Visualiseringen fungerer best på visualizing.org, så klikk deg dit. Jeg likte bruken av piltaster for å bevege seg fra år til år, det gjør det lett å studere utviklingen i ro og mak. Merk omfanget av soldater i Europa under hele den kalde krigen.

Fordi dataene ikke er oppdatert etter 2005, får man ikke med den nylige uttrekningen av tropper fra Irak.

Datasettet kan lastes ned fra Heritage Foundations sider.

På regjeringens valgportal er det publisert noen nøkkeldata om valget til kommunestyrer og fylkesting. Positivt er det at datakilder er lagt ut til nedlasting i regnearkformat:

• Kommunevalget: Dette regnearket inneholder kommunenummer, kommunenavn, partikode, partinavn, kandidatnummer og navn, kandidatens fødselsår, kjønn, evt. stemmetillegg (se forklaring), og om kandidaten også stilte i 2007.
• Fylkestingsvalget: Her inneholder regnearket samme type data, med fylkeskommunens navn og nummer istedenfor kommunen.

Statistisk sentralbyrå har også data om kandidatene, og har sammenstilt ulike variabler (se temaside om valg). Mange er opptatt av ungdoms engasjement i politikken etter massakren på Utøya. Ser man på fordelingen av listekandidater til kommunestyrevalget i den yngste aldersgruppen 18–29 år, viser det seg faktisk at det er flest kandidater blant 19-åringene. Mannlige 19-åringer er den største enkeltgruppen. Last ned datasett (xls).

Mange flere datasett om valg og kandidater kan hentes ut fra SSBs statistikkbank.

Det finnes flere gode kilder til data om jordskjelv, og de oppdateres fortløpende. Her finner du data fra bl.a. US Geological Survey:

• Detaljer om dagens skjelv: Egen side med detaljer om skjelvet utenfor Japan i dag.
• De siste skjelvene: Liste over de siste skjelvene på over 4,5 verden over og over 2,5 i USA. Med tidspunkt, kartkoordinater og dybde.
• Nedlastbart: Data i CSV-format over jordskjelv siste time, dag eller uke. Også andre formater. Se oversiktsside. De samme dataene kan du abonnere på i RSS-format.
• Flere jordskjelvdata: Instituttet IRIS tilbyr også jordskjelvdata i ulike formater.
• Skjelv i vår region: NORSAR har listen over skjelv i Norden og nordområdene. Også informasjon hos Norsk nasjonalt seismisk nettverk.

Mange ulike kartvisninger er tilgjengelig. Kartet nedenfor visualiserer rystelsene dagens skjelv skapte:

Rystelser etter jordskjelvet i Japan (ill: usgs.gov)

IRIS har også et eget jordskjelv-verdenskart som oppdateres fortløpende.

Jeg har registrert datakildene i portalen datakilder.no. OBS: Alle kan legge inn datakilder på dette nettstedet.

Ingen av de nevnte redaksjonene har imidlertid gjort tallmaterialet tilgjengelig eller laget visualiseringer, selv om NAV nå publiserer tallene også i regnearkformat. Her kan du laste ned dataene i det redigerbare xls-formatet:

• Hovedtall for arbeidsmarkedet februar 2011

Dette er et ganske innholdsrikt materiale. For eksempel kan man se ledighetsutviklingen fordelt på kjønn, yrke, alder og fylke. Det er også tall for utviklingen i antall ledige stillinger fordelt på flere variabler.

Blant tendensene er at ledigheten går mye ned blant menn, blant annet fordi sektorene bygg og anlegg og industri er i ferd med å ansette folk igjen etter at de fikk seg en kraftig trøkk under finanskrisen. Samtidig øker ledigheten i kvinnedominerte yrker i offentlig sektor, som NAV skriver.

Hvilke tendenser ville du trukket fram? Hvordan ville du visualisert og presentert NAV-dataene?

Jeg har lagt inn datasettet på datakilder.no. OBS: Alle kan legge inn datakilder på dette nettstedet.

OPPDATERING: Harald Groven har laget en visualisering av et annet NAV-datasett (se kommentaren). Det viser ledige jobber per kommune relativt til folketall. Nedenfor er et bildeutsnitt, men det anbefales sterkt å åpne filen i Google Earth!

Utsnitt av visualisering, ill. Harald Groven.

• Statens utgifter
• Statens inntekter
• Bevilgningshistorikk

Disse datasettene er det fristende for mange å viderebruke i ulike sammenhenger, men pdf-formatet er et hinder. Finansdepartementet, som har gitt SSØ i oppdrag å publisere månedstallene, forklarer valget slik:

— Dette er et kompromiss for å få ting fort ut. Vår intensjon er at det på sikt skal komme i formater som gjør det mulig å gjenbruke for andre, sier seniorrådgiver Tor Martin Bærum i Finansdepartementet.

På SSØs nettsted er det også lenker til nyttig forklaring av de ulike begrepene.

OPPDATERING 2. desember: SSØs informasjonssjef Herdis Øye har nå svart på noen spørsmål jeg sendte via e‑post:

Fakta først: Hvorfor publiserer SSØ i pdf-format?
SSØ: “En pdf-løsning ble valgt fordi den er forholdsvis enkel å produsere, samtidig som den sikrer at tallene presenteres på en enkel og forståelig måte.”

Er det planer om å tilby redigerbare formater?
“SSØ arbeider med et utredningsarbeid for videreutvikling av regnskapsfunksjonen i staten. I dette arbeidet vil vi også se på videreutvikling av publisering, men det er ikke planer om endringer på kort sikt.”

Er det planer om å publisere andre typer data?
“Innenfor utviklingsarbeidet, ref. punkt 2, skal SSØ også utrede muligheter for å aggregere regnskapsinformasjon fra virksomhetsregnskapene. Dette arbeidet er nå i en startfase, og det er derfor ikke mulig å si noe om hva som blir resultatet av dette.”

Se også Finansdepartementets pressemelding.

• Datasettene er nå registrert på datakildeportalen no.ckan.net. Alle kan bidra til denne oversikten ved å legge ut informasjon om datakilder der.

OPPDATERING 18. april 2012:
SSØ har skiftet navn til Direktoratet for økonomistyring. De fleste av de opprinnelige lenkene i denne saken fungerte ikke lenger. De er derfor endret/oppdatert.

Nyhetsartikler og tv-saker om eurolandenes økonomiske problemer er naturlig nok spekket med tall og data som det kan være vanskelig nok å holde styr på for ekspertene. Da er det fint for oss andre å kunne studere nøkkeltall i ro og mak.

Googles Public Data Explorer er et prosjekt hvor dataeiere samarbeider med Google om å visualisere viktige datasett. Grafen under viser utviklingen i budsjettunder- og overskudd for “kriselandene” Hellas, Irland, Portugal og Spania 1995–2009, sammenlignet med EU som helhet og Norge (som prosent av bruttonasjonalprodukt). Beveg markøren over linjene for å se tall for enkeltår.

Gå inn på oversiktssiden for å se visualiseringer også av utviklingen i statsgjeld i samme periode. Du kan selvsagt velge ut andre land enn jeg har gjort her.

Dataene bak grafikken er foreløpig ikke direkte tilgjengelig fra denne Google-siden, men dette er noe det jobbes med. Imidlertid er disse dataene tilgjengelig i mange formater direkte fra kilden, som her er Eurostat:

• Velg format og last ned data om under- og overskudd på statsbudsjettene i europeiske land.
• Velg format og last ned data om statsgjeld for europeiske land.
• Se flere datasett om økonomi hos Eurostat.

(Ideen til saken hentet hos Blog about Stats).

Men utviklingsrapporten er atskillig mer spennende enn dekningen skulle tilsi. FNs utviklingsprogram (UNDP) har gjort en ypperlig jobb med presentasjon og formidling av indikatorer og data (synd at de norske mediene med få unntak ikke lenker til nettstedet). Ikke bare finner brukeren alle lister og indikatorer grundig beskrevet. Du kan også sette sammen din egen utviklingsindeks og gi de ulike indikatorene en annen vekt enn det som ligger til grunn i UNDPs versjon. Dette er et suverent pedagogisk verktøy. Det gir en helt annen, umiddelbar forståelse av hvordan indeksen er skrudd sammen når man selv kan endre de underliggende indikatorene.

UNDP samler data fra svært mange områder til sin rapport, men det er et begrenset utvalg indikatorer for helse, utdanning og inntekt som ligger til grunn for indeksen der Norge topper. Jeg valgte å legge til indikatoren for bærekraftig utvikling, og krysset av for to av datasettene — CO2-utslipp per innbygger og økologiske følger av forbruksmønster. Jeg ga CO2-utslippene størst vekt:

Velg og vrak i datasettene.

Dette skjøv ikke Norge ned fra topp-plassen, men inkluderingen av miljødata flyttet Tyskland opp fra 10. til 2. plass. USA falt fra 4. til 30. plass! (En svakhet er at det ikke finnes data for alle land i alle datasettene. Ved valg av enkelte indikatorer blir dermed listen for kort til at det gir særlig mening. På min liste var det igjen 117 land).

Men det stopper ikke der. UNDP gir deg også muligheten til å laste opp dine egne datasett, slik at du kan legge til disse, vekte dem mot UNDP-dataene og lage en enda mer tilpasset indeks. Her er det store muligheter for både medier, organisasjoner og aktivister til å lage indekser og rangeringer på områder de er spesielt interessert i.

UNDP gjør mer som varmer datajournalistens hjerte: Dataene kan lastes ned i regnearkformat. De har også et verktøy for å sette sammen datasett som du så kan eksportere (denne tjenesten er nede i skrivende stund).

• Last ned datatabellene fra Human Development Report 2010 (xls)
• Last ned datasett med trender fra Human Development Index 1980–2010 (xls)

• Datasettet er nå registrert på datakildeportalen no.ckan.net. Alle kan bidra til denne oversikten ved å legge ut informasjon om datakilder der.

PS: Guardians Datablog har en god sak om rapporten, der de peker på at UNDP i år har inkludert en alternativ indeks justert for ulikhet.