Blogiarkistot

Rahoille vastinetta

Useissa kehittämishankkeissa, joskus myös IT-hankkeissa, lasketaan tarkasti ROI (Return-On-Investment) tai kustannussäästöanalyyseja. Sinänsä laskelmien teko ei ole vaikeaa: lasketaan kustannukset yhteen ja verrataan sitä saatuun hyötyyn. Ongelmaksi vain tulee, että nopealla harjoittelulla ei laskelmista tule positiivisia. Nopeassa laskelmassa otetaan tietysti huomioon vain välittömät kustannukset ja hyödyt. Yleensä laskelmien teko alkaa siitä, että kysytään paljonko tuon tuoton tai suhteen pitäisi olla. Kun tiedetään mitä halutaan tulokseksi, voidaan helposti aliarvioida välillisiä kustannuksia ja yliarvioida välillisiä hyötyjä. ”Asiakas kokemuksen parantuminen” ja ”Palvelujen laatu” ovat helppoja mittareita, joilla voi perustella lähes tulkoon minkä tahansa kehittämishankkeen.

Päädyin tuohon pohdiskeluun kun luin professori Art Lembon blogikirjoituksen Big Data analyysien suorittamisesta erilaisissa paikkatietojärjestelmissä. Professori Lembo päätyi siihen, että PostGIS on nopein (ja edullisin) tapa suorittaa paikkatietojen suurteholaskentoja:

BigDataAnalysis_noBorder

Source: Art Lembo / https://artlembo.com

Eri ohjelmistojen tehokkuusvertailuja ei yleensä hirveästi nähdä julkisuudessa. Niitä kyllä tehdään, mutta tuloksia ei julkaista. Tämän estää tehokkaasti erityisesti (ja vain) suljettujen ohjelmistojen lisenssointiehdot.

Tehokkuustestistä ilmenee hyvin, että ESRIn ArcGIS Server Big Data GeoAnalytics with Big Data File Share (AGSBDGADBDFS ?) on lähes yhtä nopea kuin PostGIS. Manifoldia en tiedä kenenkään käyttävän Suomessa, mutta se ei tietysti tarkoita mitään.

Mielenkiintoiseksi vertailun voi johtaa kun ruvetaan vertailemaan kustannuksia. PostGISn lisenssikustannukset ovat 0 euroa. Manifoldin hinta lienee 595 USD. ESRIn hinnasto ei ole julkinen, mutta arvioin on että tuon käytetyn ohjelmistopaketin hinta on Suomessa noin 90 000 EUR (+ALV). Hinta koostuu lisensseistä (68 875,55 EUR) ja ensimmäisen vuoden ”vapaaehtoisesta” tuki- ja ylläpitomaksusta (20 349,60 EUR).

Ei me voida mitään avointa lähdekoodia ottaa käyttöön, kun me ei osata

Kommentti on aivan perusteltu. Mutta kuopasta pois pääseminen pitää aloittaa siitä, että lopettaa kaivamisen. Mitä nyt sitten maksaisi PostGIS:n käyttöönotto Big Data analyysiä varten? Lähdetään siitä, että organisaatiossa on muutamia paikkatietoalan ammattilaisia, jotka haluavat oppia uutta. Päädyin seuraavaan karkeaan kustannuslaskelmaan:

FOSS4G käyttöönoton kustannukset

FOSS4G käyttöönoton kustannukset (ilman ALVia, vapaasti tilattavissa info@gispo.fi)

Laskelmaa voi vapaasti kritisoida (”ei kyllä mene kuin 2 tuntia PostGISn asentamiseen”), mutta antaa edes jonkinlaisen kustannusarvion avoimen lähdekoodin paikkatieto-ohjelmistojen käyttöönotosta. Luonnollisesti osaamisen voi hankkia ilmaiseksi netistä itseopiskeluna, konsultointipalvelut voi tehdä itse ja tukipalvelut eivät ole pakollisia (tosin moni on pitänyt hyödyllisenä).

Mainokset

Paikkatietomarkkinoiden satoa

Alkuviikolla pidettiin Paikkatietomarkkinat. Viiden vuoden tauon jälkeen olin tiskin toisella puolella. Ei se maailma kovin erilainen ole näyteilleasettajan puolelta. Mitä nyt on hirveä kiire ennen, aikana ja jälkeen. Asiaa ei tietysti helpottanut 4 esiintymistä erilaisissa foorumeissa. Lupasin, että kalvot tulevat ladattavaksi nettin. Myös joitain tarkempia ohjeita keräilen tässä kokoon, lähiaikoina on siis tulossa useampia kirjoitelmia eri aiheista.

Ensimmäinen esitykseni koski projektia, jossa selvitimme Espoon kaupungille liito-oravien mahdollisia liitopolkuja. Tavoitteena oli paikkatietoanalyysien avulla selvittää mistä kohdin liito-oravat mahdollisesti ylittävät Espoon pääväyliä (Kehät I, II, III, Turunväylä ja Länsiväylä). Kalvot löytyvät ensimmäisen kuvan takaa (pdf, 6 Mt)

LIITO-ORAVIEN LIITOPOLUT KAUPUNKISUUNNITTELUN TUKENA

Seuraavassa kuvassa on visualisoitu liitopolkuja Länsiväylän yli Niittykummun kohdalla.

PtrVol_PTM2015_ylitys

Aina paikkatietoanalyysin tulokset eivät vastaa todellisuutta. Oheisessa esimerkissä on Turvesolmun kohdalta laskennan tulokset. Lähtöaineistona käytetty LIDAR-aineisto oli vuodelta 2013,. Kuvan taustalla olevasta ortoilmakuvasta voi nähdä, että alueella ei ole enää puustoa. Tuskinpa myöskään liitopolkuja.

PtrVol_PTM2015_turvesolmu

Toiminnanvapautta avoimella lähdekoodilla

Suljetun lähdekoodin ohjelmistot kaventavat merkittävästi niiden käyttäjien toimintavapautta. Avoimen lähdekoodin ohjelmistojen perusperiaate on, että ohjelmisto voi käyttää vapaasti mihin tahansa tarkoitukseen. Toiminnanvapauden menettäminen voi tapahtua monella tavalla. Seuraavassa on muutama esimerkki, jotka ovat todellisia. Esimerkkejä on hieman muokattu asianosaisten suojelemiseksi sekä kirjoittajan oikeusturvan takia.

Viranomainen oli käyttänyt vuosia, itse asiassa vuosikymmeniä, suljetun lähdekoodin ohjelmistoja. Erään sopimuskauden päättymisen yhteydessä ohjelmistojen suomalainen edustaja kertoi (hieman vaivaantuneesti), että ohjelmistojen käyttöoikeuspolitiikkaan oli tullut muutos. Asiakkaalla oli mahdollisuus siirtyä joko lisenssimalliin A tai B. Mallissa A vuosittaiset kustannukset 1,5 kertaistuisivat. Mallissa B kustannukset kolminkertaistuisivat. Kolmantena vaihtoehtona oli lopettaa ohjelmistojen käyttö välittömästi sopimuskauden loppuessa. Ymmärrettävästi asiakkaalla ei ollut muuta mahdollisuutta kuin räyhätä ja sitoutua korkeampiin maksuihin. Mitään lisätoiminnallisuuksia tai palveluja ei kustannuksien nousuun sisältynyt.

Suomessa on suurin osa vanhoista analogisista sähkömittareista vaihdettu etäluettaviin sähkömittareihin. Eräässä sähköyhtiössä sähkömittareiden lukemat tallennetaan suljetun lähdekoodin relaatiotietokantaan. Tietojärjestelmän uudistuksen yhteydessä tietokannan lisenssin omistaja ilmoitti, että jokainen etäluettava sähkömittarin katsotaan olevan relaatiotietokannan käyttäjä. Käyttäjämääriin perustuvan tuki- ja ylläpitomaksun nousu oli luonnollisesti järkyttävän suuri. Ei uutta toiminnallisuutta tai palvelua, energiayhtiö joutui taipumaan kalliimpiin vuosimaksuihin.

Voitte hyvin kuvitella että edellä mainituissa tapauksissa tietohallintojohtaja on ollut puun ja kuoren välissä. Operatiivisten tietojärjestelmien perusohjelmistojen korvaaminen ei onnistu helposti tai nopeasti. Ylin johto ei varmasti ole erityisesti kiitellyt, kun kiinteät kulut ovat kasvaneet yhtäkkiä, pyytämättä ja yllättäen.

Ensimmäinen ajatus tietysti voisi olla, että vaihdamme ohjelmistotuotteen toiseen. Mutta miten saada vakuutus, että uuden ohjelmistotuotteen lisenssi- ja hintapolitiikka pysyy vakaana? Ei mitenkään. Kuinka voin vaikuttaa ohjelmiston kehityskaareen? Toivomalla. Voinko vapaasti kilpailuttaa tai hankkia ohjelmistojen kehitys-, tuki-, koulutus tai ylläpitopalvelut? Entä jos keskeisen tietojärjestelmän ohjelmistokomponenttien kehittäminen lopetetaan?

Avoimen lähdekoodin ohjelmistojen avulla voit varmistaa oman toimintavapautesi. Resursseja (rahaa ja työvoimaa) kuluu todennäköisesti yhtä paljon. Toimintavapauden pitäminen itsellä mahdollistaa sen, että tietotekniikkaa käytetään organisaation toiminnan tehostamiseksi. Tietojärjestelmä on hyvä renki, mutta huono isäntä. Pahimmassa tapauksessa renki pyörittää taloa (ja emäntää). Isännälle jää vain maksajan rooli.

Avoimen lähdekoodin ratkaisuihin tutustuminen kannattaa aloittaa välittömästi. Siirtyminen uuteen toimintakulttuuriin kestää vuosia. Mitä pikemmin aloitat valmistautumisen sitä nopeammin olet perillä. Aloita näistä:

  1. Avoimen lähdekoodin paikkatieto-ohjelmistoihin tutustumisen voit aloittaa katsomalla Paul Ramsey:n esityksen FOSS4G-konferenssista (alle puoli tuntia) – The Manager’s Guide to PostGIS
  2. Harkitse osallistumista PostGIS-koulutukseen helmikuussa 2015. Tai lähetä asiantuntijan koulutukseen.
  3. Tutustu COSS ry:n Avoin kunta -aloitteeseen.

Paikkatieto-ohjelmisto muistitikulle

Monet avoimen lähdekoodin paikkatieto-ohjelmistot on helppo ladata verkosta ja asentaa koneelle. Mitään erillistä lähdekoodin kääntämistä ei tarvitse tehdä (ellei välttämättä halua) ja asennusohjelmat ovat hyvin helppoja käyttää.

Ongelmia tulee kun jostain syystä käytössä ei ole pääkäyttäjän oikeuksia: tällöin tulee nöyrtyä ottamaan yhteyttä tietohallintoon, kirjoittaa tiketti tms. Mutta on toinenkin mahdollisuus: Portable GIS.

Portable GIS sisältää QGIS paikkatieto-ohjelmiston, PostgreSQL -tietokannan (luonnollisesti PostGIS -laajennoksella), GDAL/OGR -ohjelmistot ja paljon muuta. Uusin version (4.0) on ilmestynyt tammikuussa 2014.

PortableGISPortable GIS:n käyttöönotto on helppoa, tarvitset vain tyhjän USB-muistitikun (2 Gt riittää), verkkoyhteyden ja Windows-tietokoneen. Lataa Portable GIS -asennuspaketti (Younited-palvelusta, 562 Mt, tarkista myös MD5 Checksum). Kun käynnistät ladatun exe-tiedoston, niin asennus tapahtuu valitsemallesi USB-muistitikulle.

Nyt voit laittaa USB muistitikun Windows-koneeseen ja käyttää QGIS-ohjelmisto missä tahansa. Portable GIS on myös mainio tapa testata ohjelmistoja ilman asennuksia. Toinen tapa testata avoimen lähdekoodin paikkatieto-ohjelmistoja on ladata OSGeo Live -ohjelmistopaketti.

Portable GIS sopii mainiosti satunnaiseen, Windows-käyttöön. OSGeo Live-paketit paremmin erilaisten avoimen lähdekoodin paikkatieto-ohjelmistojen kokeiluun Linux-ympäristössä. Jos siis tunnet olevasi eksyksissä Linux-maailmassa, etkä halua välttämättä opiskella uutta, niin Portable GIS on sinun välineesi. Muille suosittelen OSGeo Live:n lataamista ja kokeilua.

FOSS4G 2013 – osa II

FOSS4G 2013 – osa I

PostGIS

Lidar analysisPostGIS:n pääkehittäjä, Paul Ramsey, on karismaattinen puhuja. Riippumatta mistä aiheesta Paul puhuu, puhe on aina kuuntelemisen arvoista. Paul on kehittänyt Natural Resources Canada:n toimeksiantona PointCloud -laajennoksen PostegreSQL-tietokantaan. Ensimmäinen sovelluskohde, joka tulee mieleen on luonnollisesti laserkeilausaineiston (LIDAR) aineiston tallentaminen ja analysointi. PoistCloud on erillinen laajennososa, eikä siis osa PostGIS-laajennosta. Näiden laajennosten välillä on tietysti hyvä yhteensopivuus.

PointCloud ei ole rajoittunut vain 3-ulotteisten pistepilvien tallentamiseen ja analysointiin tietokannassa. PoistCloud on kehitty n-ulotteisten pisteaineistojen tarpeisiin. Muina lähtöaineistona voivat olla kaikuluotaustiedot (SONAR), tutkahavainnot (RADAR), Geiger-mittarit, yms. Oikeastaan koordinaattien käyttö ulottovuuksista on vain yksi PointCloudin sovellusesimerkeistä.

Leaflet

Leafletin pääkehittäjä, Vladimir Agafonkin, on osa-aikainen rock-muusikko ja osa-aikainen koodaajaa. Taiteellista musiikkituotanto voi ladata Vladimirin yhtyeen, Obiymy Doschu, sivuilta. Omien sanojensa mukaan Vladimir on aika laiska koodaaja. Ensimmäisen työtehtävä oli toteuttaa Cloudmade:lla oma karttakäyttöliittymä OpenLayersin päälle. Hänen mielestä OL:ssä oli ihan liikaa ominaisuuksia ja sitä kautta myös monimutkaisuutta. Teki (luvatta) demon ilman OpenLayersiä, ylitti kaikkien odotukset, joten sai sitten jatkaa Leafletin edeltäjän kehittämistä.

Alkuun projekti oli suljetun lähdekoodin ohjelmointiprojekti, mutta kun yksi käyttäjä reverse engineerasi (hyvä suomenkielinen termi 😉 lähdekoodin, korjasi ikävän bugin ja palautti korjauksen Vladimille, oli luonnollista julkaista lähdekoodin avoimella lisenssillä. Leaflet oli syntynyt.

Leafletin seuraavissa versioissa Vladimir aikoo karsia ominaisuuksia ja yksinkertaistaa rajapintoja. Erilaisten laajennosten avulla Leafletin saa lisäominaisuuksia. Vladimir on erityisen tyytyväinen, että hänen ei tarvitse tehdä kaikkea (lazy geek).

Vladimirin musiikilista lahjakkuudesta saatiin ”nauttia” FOSS4G:n avauksessa, kun Ivan ja Gregory olivat kasvattaneet joukkoaan. Tämmöistä et koe misään muualla kuin FOSS4G:ssä tai SOTM:ssa 😉

Wappuaaton ratoksi 4/n

Näe kuinka helposti Quantum GIS -ohjelmistossa  voi hyödyntää PostGIS -paikkatietokannan näkymiä (view). Ei tarvitse osata koodata ymmärtääkseen tämän ominaisuuden mahdollisuudet. Lisää voit oppia ALPO 2013 -seminaarissa.

Rajapinnat tehokäyttöön – jatkot

Inspire-verkosto järjesti viime torstaina (7.3.2013) Rajapinnat tehokäyttöön -seminaarin. Olin näyttämässä demoja rajapintojen julkaisijoille (Geoserver & PostGIS) sekä hyödyntäjille (rajapintojen käyttö avoimen lähdekoodin ohjelmassa).

Seminaariin oli ilmoittautunut lähes 120 henkilöä ja paikallekin oli tullut reilu 100 henkilöä. Ilmeisesti tiedolle on tarvetta. Esitysmateriaalit ovat tulossa jakeluun. Omat esitykseni olivat demoja, joten paljoa ei jäänyt jaettavaksi. Videointia ei tällä kertaa ollut järjestetty. Joten jos haluat uusintaesityksen, niin sitten pitää vaan pyytää kauniisti.

Esitysten aikana ja kahvitauolla tuli muutamia kysymyksiä, joihin on tässä vähän vielä tarkennettuja vastauksia. Lisääkin voi kysellä.

Geoserver ja PostGIS

Demoissa käytin Amazonin ”pilvipalveluita”, olin etukäteen valmistellut yhden Windows-palvelimen (Windows Server 2008 R2). Olen nuo AWS:n palvelut todennut kustannustehokkaiksi.

PostGIS logo

PostGISin asennuksessa käytän useasti Windows-ympäristössä EnterpriseDB:n valmiita asennuspaketteja. PostgreSQL:n asennuspakettiin on sisällytetty valmiiksi myös PostGIS:n vaatimat osat. Linux-ympäristöissä tulee useimmiten käännettyä PostGIS suoraan lähdekoodista: ohje Ubuntulle.

GeoServer Logo

Geoserverin kotisivuilta löytyy asennuspaketti ja -ohjeet Windows-ympäristöön. Yksi huomattava asia on, että vaikka käyttäisit 64-bittistä käyttöjärjestelmää, niin asenna 32-bittinen JRE JAVA:sta. Ongelmat vähenevät, IMHO.

Demosin myös GeoExplorer -webkäyttöliittymää. Tuon osion lähdekoodin koodin voi ladata OpenGeo:n  Github-projektista. Jos kaipaat valmiiksi käännettyä lisäosiota, niin laita mailia.

Sitten vastauksia muutamiin kysymyksiin, jotka tilaisuudessa esitettiin:

  • Tukeeko Geoserver myös Oracle -tietokantaa?
    Ei ja kyllä. Peruspaketti GeoServeristä ei sisällä tukea Oraclen tietokannoilla. Asentamalla laajennoksen saa tuen Oraclen tietokannoille (ml. Spatial ja Locator lisäosat). Oraclen GeoRaster tuki löytyy myös laajennoksen avulla.
  • Suurten rasteriaineistojen käyttö hidastaa / kaataa Geoserverin. Mikä avuksi?
    Lähtökohtaisesti Geoserver ei ole kovin hyvä käsittelemään massiivisia määriä rasteriaineistoja. Java-sovelluksena se kuluttaa aika paljon RAMia, joten rasteriaineistojen käsittelyssä voi olla ongelmia. Lähtökohtaisesti suosittelen seuraavia vaihtoehtoja:

    • Geoserver käyttää Java Advanced Imaging APIa (JAI) rasterikuvien käsittelyyn. Perusasennuksessa käytetään pure JAVA -versiota, joten tehoa voi saada käyttämällä natiivia versiota JAI:sta
    • Käytetään rasteriaineistojen käsittelyyn jotain muuta ohjelmaa, esimerkiksi MapServer ja MapProxy ovat hyviä vaihtoehtoja.
    • Muitakin vaihtoehtoja on, mutta tarkemmat vastaukset vaatisivat tarkempia tietoja haasteista. Log-tiedostojen luku on myös suositeltavaa.
  • Voiko Teklan tietokannasta julkaista karttapalvelun?
    Ei ja voi. Suoraan lukua Teklan tietokannasta ei ole toteutettu Geoserveriin. Teknisesti se ei ole kovin ihmeellinen laajennos, mutta koska tietokannan rajapintojen määrityksiä ei ole saatavilla, niin työ jäänee tekemättä.
    Toisaalta useat Teklan asiakkaat ovat julkaisseet WMS ja WFS-rajapintapalveluita. Näitä rajapintoja voi hyödyntää Geoserverissä hyvin monella eri tavalla.

Rajapintojen hyödyntäminen

Tässä luentosarjassa oli käsitelty jo monesti sekä Quantum GISiä että monia muita avoimen lähdekoodin paikkatieto-ohjelmistoja. Omassa esityksessä näytin kuinka OpenStreetMap aineistoa digitoidaan JOSM ohjelmistolla sekä kuinka siinä voidaan hyödyntää Inspire-direktiivin mukaisia rajapintapalveluita.

Muutamia kysymyksiä:

JOSM snapshot from Jyväskylä

Jäikö jotain hampaankoloon? Laita alle kommenttia tai kysymyksiä sähköpostilla, jos julkisuus pelottaa.

Hyvää PostGIS Day’tä

Tänään vietetään kansainvälistä PostGIS Day’tä. Suomessa ehkä tuntemattompi, mutta maailmalla sadat, jopa tuhannet henkilöt juhlistavat PostGIS päivää.

PostGIS on maailman suosituin avoimen lähdekoodin paikkatietokanta. Käytännössä PostGIS on PostgreSQL tietokannan laajennos, joka mahdollistaa paikkatietojen tallentamisen ja käytön relaatiotietokannassa. Kehittäjien lähtökohtana on ollut toteuttaa mahdollisimman hyvin OGC:n standardeja koskien paikkatietojen käyttöä relaatiotietokanssa (tarkemmin Simple Features Specification for SQL -suositusta). Viime kesänä julkistetun version 2.0 avulla voi tallentaa sekä rasteri- että vektoripaikkatietoaineistoja tehokkaasti avoimen lähdekoodin ohjelmistojen käyttöön. Myös monissa suljetun lähdekoodin ohjelmistoissa on tuki PostGIS:lle.

Itselleni on jäänyt epäselväksi juhlistetaanko tänään paikkatietojärjestelmien jälkeisestä aikaa vai onko kyseessä vain toipuminen eilisestä? Kiitokset Maanmittauslaitokselle 200v juhlista!

Kaikesta huolimatta, päätin itse juhlistaa tekemällä tarjouspaketteja kaikille paikkatietoalan ammattilaisille. Nyt voit hankkia Maanmittauslaitoksen maastotietokannan PostGIS-tietokannassa käytettäväksi. Samalla voit tukea OpenLayersin version 3 kehitystyötä. Tarjoukset ovat voimassa rajoitetun ajan, tilaa nyt!

%d bloggers like this: