Taulukko tietokantana

Ulkomaan luontoretkillä on tullut tavaksi pitää listaa nähdyistä eläinlajeista. Taulukkoon nimi englanniksi ja latinaksi (jos tiedossa), paikka ja mahdollinen kommentti. En ole mikään listafriikki, mutta kirjaaminen helpottaa lajien ja tapahtumien muistamista.

Listoihin saattaa olla mielenkiintoa muillakin, joten olen muokannut niistä HTML-version verkkoon (sivun lopussa). Työnantaja on ollut joustava ja sallinut kohtuullisen määrän privaattia aineistoa webbipalvelimellaan. Se päivä on kuitenkin lähellä, että materiaali on syytä siirtää muualle. Webhotelli on mietinnässä muistakin syistä, mutta väliaikaisratkaisuna Google Docs on houkutteleva vaihtoehto.

Tony Hirst kertoo mainion havainnollisessa blogissaan, miten julkiseen Google-taulukkoon voi tehdä kyselyjä Google Visualisation API -kyselykielellä aivan kuin taulukko olisi verkossa oleva tietokanta. Kieli muistuttaa SQL-kyselykieltä. Tulosjoukon saa JSON-, CSV- tai HTML-muodossa.

Alkuperäiset taulukot ovat läppärillä Excel-tiedostoina. Toin Perun matkan lakanan Import-toiminnolla Googlelle, ja aloin leikkiä hakukielellä:

- kaikki lajit, jotka näin Manu Wildlife Centerissä (MWC)
. Ei aakkostusta, ja taulukon sarakkeille A-D ymmärrettävämpi label

- kultapyrstöt (oropendola) aakkosjärjestyksessä

- kaikki rivit ensimmäistä lukuunottamatta, koska sen ensimmäisessä solussa ovat yhtenä pötkönä paikkalyhenteiden selitykset

So far so good, mutta vielä riittää duunia. Ensimmäisellä rivillä oleva tieto pitää saada käyttöön, samoin linkit latinalaisesta nimestä Wikipediaan.

Tvleffat-putki päivittyi

Muutama vuosi sitten tein tulevien TV-elokuvien syötteen telkku.com -palvelun perusteella. Kun äsken tweettasin illan Beat the Devil -leffasta, kävin pitkästä aikaa katsomassa, miltä putken alkupää näyttää. Ja kas, sieltähän löytyy nyt myös joistakin elokuvista linkki www.imdb.com-sivuille. Kopautin putkea, ja nyt linkki valuu mukana. Jos sinulla on sattumalta jatkotilaus putkesta, päivitä se syötelukijassasi.

Vuokratontti

Hankin viime vuonna tontin Second Life -virtuaalimaailmasta, EduFinland-saaristosta. Samaan tapaan kuin moni muutkin vuokralainen, minäkin testaan siellä yhtä sun toista ja mietin siinä sivussa, mihin oikeaan käyttöön tontista olisi. Tähän liittyen kirjoitin jopa riskianalyysin. Vaikka hassuahan se tavallaan on, tuo oikean etsiminen. Tonttihan ei ole todellinen vaan virtuaalinen.

Riskianalyysi pitää joka tapauksessa päivittää. Linden Lab näet julkaisi helmikuun lopulla uuden (beta) asiakasohjelman, Second Life Viewer 2, ja se onkin toista maata. Paitsi että käyttöliittymä muistuttaa entistä enemmän selainta, niin nyt myös mille tahansa objektille voi tuoda dynaamista web-sisältöä. Asiakasohjelmassa raksuttaa WebKit-moottori.

Osallistuin viikolla erääseen testiin, jossa ryhmä avattaria mm. muokkasi yhdessä Etherpad-dokumenttia. Todellisen ja virtuaalisen sekoittuminen reaaliajassa oli hämmentävä kokemus. No, Etherpadia ei kohta enää ole - joten nyt on parasta kerätä tavarat - mutta tämä oli vasta alkua.

Vielä kerran Radioputkesta: VTIMEZONE kunnolla mukaan

Yahoon putkesta tuleva vajavainen iCal alkoi nyppiä. Haen tämän outputin nyt Linux-ympäristöön, rakennan siellä standardinmukaisen tiedoston, siirrän sen webbipalvelimelle, ja tilaan sen sieltä Google-kalenterilla.

Skriptiä varten tein kaksi samana pysyvää aputiedostoa alku ja vtimezone, jotka yhdistetään muuttuvaan tietoon jokaisella ajokerralla.

alku:


BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//ts.fi/iCal/EN


vtimezone:


BEGIN:VTIMEZONE
TZID:Europe/Helsinki
BEGIN:STANDARD
DTSTART:19811001T040000
RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10
TZNAME:Europe/Helsinki
TZOFFSETFROM:+0300
TZOFFSETTO:+0200
END:STANDARD
BEGIN:DAYLIGHT
DTSTART:19810301T030000
RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3
TZNAME:Europe/Helsinki
TZOFFSETFROM:+0200
TZOFFSETTO:+0300
END:DAYLIGHT
END:VTIMEZONE


Tämä shell-skripti on ajastettuna kerran vuorokaudessa.


#!/bin/bash

# Yahoo!Pipesin tuottaman iCal-muotoisen tiedoston URL
url='http://pipes.yahoo.com/pipes/pipe.run?_id=6602675e62d5d95c7333285517e6a471&_render=ical&urlinput1=http%3A%2F%2Fspreadsheets.google.com%2Fpub%3Fkey%3Dtd1iey6KTeeTgGlE6U3_PPg%26output%3Dcsv'

# Haetaan data, ja tallennetaan se tiedostoksi
curl $url -o tolisten.ics

# Otetaan alussa olevat metatiedot talteen
grep X-WR tolisten.ics >XWR

# Yhdistetään alku, metatiedot ja aikavyöhyketiedot
cat alku XWR vtimezone >beforeevents

# Otetaan tapahtumatiedot erilleen
sed -n '/BEGIN:VEVENT/,$p' tolisten.ics >events

# Tyhjät rivit pois, ja korvataan DTSTART- ja DTEND-rivit
perl -pe 's/^\n//;s/DTSTART:/DTSTART;TZID=Europe\/Helsinki:/g;s/DTEND:/DTEND;TZID=Europe\/Helsinki:/g' events >tzidevents

# Yhdistetään alkuosa tapahtumatietoihin
cat beforeevents tzidevents >all.ics

# Siirretään valmis tiedosto webbipalvelimelle
mv all.ics ~/public_html/yle.ics

# Lopuksi vielä tiedoston lukuoikeudet kuntoon
chmod go+rx ~/public_html/yle.ics


iCal-standardi edellyttäisi lisäksi jokaiselle tapahtumalle uniikin ID:n. Google-kalenteri ei sitä välttämättä tarvitse, mutta ehkä sen voisi vielä tuohon viritellä.

Radioputkia, laajan matematiikan kurssi

Edellisessä postauksessa jäin tilanteeseen, jossa ohjelman viimeinen kuuntelupäivä sijoittuu edessä häämöttävään talvikauteen, ja se pitäisi hanskata jotenkin. Helppo korjaus on se, että putki haaroitetaan: toisessa vähennetään kolme, toisessa kaksi tuntia. Yhdistämisen jälkeen tehdään yhteinen loppusiivous. 

Radioputkia

Kuuntelen säännöllisesti muutamaa Yleisradion ohjelmaa YLE Areenasta. Lue: yritän muistaa kuunnella. Aina ei onnistu.


Ohjelmien RSS-syötteessä on tieto siitä, milloin kukin ohjelmajakso poistuu palvelusta. Tämä tieto Google-kalenteriin, muistutus sähköpostissa vaikka kuusi tuntia ennen ohjelman häipymistä - kelpaisi minulle. Pilvipalveluna? Mikäs siinä. Kyse ei ole kriittisestä jutusta.

Yahoo!Pipes tarjoaa iCal-ulostuloputken, jonka voi tilata Google-kalenteriin. Ei hassumpaa. Entä missä pitää listaa seurattavista ohjelmista? Itse putkeen sitä ei kannata pultata, koska silloin ylläpito menee hankalaksi. Onneksi Yahoo!Pipes-putkeen voi tuupata dataa ulkopuolelta CSV-muodossa. Google Docsin taulukkolaskentaohjelma taas osaa julkaista lakanan CSV:nä. Prosessi alkaa hahmottua. Töihin!


Osoite-sarakkeessa on Areenan A-Ö -listauksesta löytyvä ohjelman kuuntelusivun URL. B-sarake on vain sitä varten, että muistaa mistä ohjelmasta on kyse; URL kun ei sitä kerro.

Lakana pitää julkaista: Share > Publish as web page > Get a link to the published data (CSV). Täppä sille, että julkaistaan aina kun dokumenttia on muutettu. URLista kopio, putkelle syötteeksi, ja ajo. More options -valikosta löytyy Get as iCal. Tästä linkistä kopio.

Googlen kalenteri ei suostu nielaisemaan linkkiä tällaisenaan. Avuksi tulee jokin verkosta löytyvä URL-lyhennepalvelu kuten bit.ly, tiny.url tai vastaava. Lyhyt-URL talteen, ja Google Calendar auki. Other calendars > Add > Add by URL. Kopio sinne.

Nyt on jo lähes valmista. Google ilmoittaa, että se aikoo indeksoida kalenterin, mitä se sitten ikinä tarkoittaakaan tässä yhteydessä. Voi kestää tovin, ennen kuin ohjelmatiedot tulevat näkyviin. Jos tuntuu kestävän, kokeile virkistystä Refresh-linkistä.

Uuden kalenterin Notifications -kohtaan vielä Event reminder: By default, remind me via email 6 hours before each event. Ja sitten ei kun odottamaan, että automaatio hoitaa loput. Yahoo! kysyy Googlelta, mitä seurataan. YLE päivittää ohjelmasyötteen. Yahoo! käy hakemassa sen. Google lisää uudet tiedot kalenteriin - noin kerran vuorokaudessa - ja pistää postia, kun aika ok.

Päältä katsoen homma näyttää toimivan kuin rasvattu. Ylimääräistä rasvaa siellä onkin.


Isoin ongelma on aika. Toinen, pienempi, on merkistö.

Putkessa on rumaa liimaa: kellonajoista vähennetään kolme tuntia, jotta ajat menevät oikein silloin kun kalenteri on Suomen aikavyöhykkeellä ja on kesä. Vain näin olemme Googlen kanssa päässeet yhteisymmärrykseen siitä, mitä kello oikein on.

Montakohan tuntia pähkäilin tämän kanssa? Monta. Kuinka ollakaan, kävi ilmi, että tämä on tuttu juttu. Syy on ainakin osaksi Yahoo!n, sillä iCal-tiedosto on Googlen mielestä vajaa. Siitä puuttuu VTIMEZONE-komponentti, joka kertoo faktat minun aikavyöhykkeeni kesä- ja talviajasta: milloin muutos tapahtuu, ja mihin suuntaan kelloja silloin siirretään suhteessa Greenwichin aikaan (GMT). Jokaisessa kalenteritapahtumassa voisi silloin viitata tähän aikavyöhykemäärittelyyn TZID-avaimella, automaatio raksuttaisi ja kaikki olisivat tyytyväisiä.

Allaoleva iCal-tiedosto on Google Calendarin mielestä ok. Testasin sen tallentamalla tiedoston webbipalvelimelle ja tilaamalla sen sieltä. Tapahtuma-ajat menivät nätisti paikoilleen, vaikka välissä vaihtuu kesä talveksi. Great! Valitettavasti vaan Yahoo!Pipesilla ei pysty tuota VTIMEZONE-komponenttia lisäämään, koska se ei liity tapahtumaan eli putkiterminologian mukaan RSS-syötteen yksittäiseen alkioon.

BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//ts.fi/iCal/EN
BEGIN:VTIMEZONE
TZID:Europe/Helsinki
BEGIN:STANDARD
DTSTART:19811001T040000
RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=10
TZNAME:Europe/Helsinki
TZOFFSETFROM:+0300
TZOFFSETTO:+0200
END:STANDARD
BEGIN:DAYLIGHT
DTSTART:19810301T030000
RRULE:FREQ=YEARLY;BYDAY=-1SU;BYMONTH=3
TZNAME:Europe/Helsinki
TZOFFSETFROM:+0200
TZOFFSETTO:+0300
END:DAYLIGHT
END:VTIMEZONE
BEGIN:VEVENT
UID:ts.fi-1
DTSTART;TZID=Europe/Helsinki:20100411T081500
DTEND;TZID=Europe/Helsinki:20100411T081500
SUMMARY:Tapahtuma1
END:VEVENT
BEGIN:VEVENT
UID:ts.fi-2
DTSTART;TZID=Europe/Helsinki:20101103T074500
DTEND;TZID=Europe/Helsinki:20101103T074500
SUMMARY:Tapahtuma2
END:VEVENT
END:VCALENDAR

Oli miten oli. Jos yrittää sinnitellä Google-kalenteriputken kanssa, niin ennen kuin normaaliaika taas lähestyy, putkeen on vähintään saatava valid-elementin haistelu. Siellä sanotaan selkeästi, onko aikaero kaksi vai kolme tuntia GMT:hen.

iCalin oletusmerkistö on UTF-8. Yahoo!Pipesin tuotos on sitä, mutta ainakin Windows XP+Firefox 3.6.3 -näkökulmasta jotain on pielessä lähetyspäässä (?), sillä skandinaaviset kirjaimet eivät näy oikein. En ole tutkinut asiaa sen syvällisemmin. Poistin suosiolla pisteet ja aksentit jo putkessa.

Paikalliselta koneelta löytyy Windows Outlook 2003 ja sen kalenteri. Tässä versiossa ei ole dynaamista kalenterin tilausmahdollisuutta (uudemmissa Windowseissa on), mutta perus-import syö siististi tästä toisesta putkesta tulevan iCal-tiedoston. Edes kellonaikoja ei tarvinnut sitä varten ruveta säätämään. Riittää, että valid-elementistä poimi end-arvon jatkoa varten.


Skandiongelma on kyllä täälläkin, joten nöyrästi vain pilkut piiloon!