Voihan versio!

By The Conmunity - Pop Culture Geek from Los Angeles, CA, USA (WonderCon 2011 - Clone Troopers) [CC BY 2.0 (http://creativecommons.org/licenses/by/2.0)], via Wikimedia Commons

Versioinnin toteutus liittyen eri tyyppisiin tutkimusaineistoihin on ollut muutaman viimeisen sprintin vakiopuheenaihe. Monet keskustelun avaukset ovat päätyneet nopeasti umpikujaan yhteisesti sovittujen käsitteiden puuttumisen takia. Pelkästä versioinnista puhuminen, ilman tarkentavaa määrettä, on hankaloittanut keskustelua, koska Metax käsittelee tutkimusaineistoihin liittyviä versioita sekä metatieto- että datatasolla. Metaxin tavoitteena on ylläpitää molempiin liittyviä versiohistorioita datan ja datan kuvauksen provenienssin säilyttämiseksi. Toisaalta, koska varsinainen aineisto sijaitsee aina Metaxin ulkopuolisessa järjestelmässä kuten esimerkiksi IDAssa, kyse on pikemminkin datalinkityksistä. Aineistoon liittyvät tiedostot voivat myös sisältää metatietoa aineistosta, joten osa metatiedostakin on Metaxin ulottumattomissa.

Staattisen aineiston versioinnin lähtökohtana on, että jos tutkimusaineistoon liittyvät tiedostot muuttuvat millään tavalla, aineistosta on tehtävä uusi versio, joka saa uuden URN-muotoisen tunnisteen. Kumulatiivisiin aineistoihin voidaan sen sijaan lisätä uusia tiedostoja ilman, että tutkimusaineiston tunniste muuttuu. Kumulaativisten tutkimusaineistojen luominen on aluksi mahdollista ainoastaan sellaisille aineistoille, joiden tiedostot on tallennettu IDAan. IDA tarjoaa Metaxille luotettavan tiedon yksittäisten tiedostojen identiteetistä, minkä avulla Metax voi päätellä ovatko tutkimusaineistoon liittyvät tiedostot muuttuneet. Muissa järjestelmissä olevien tiedostojen kohdalla vastaavanlainen toiminnallisuus voisi liittyä esimerkiksi aineistoon liittyvien tiedostojen checksum-tietojen vertailuun, mutta tätä ei ole vielä toteutettu.

Tiedoston lisääminen tarkoittaa tässä yhteydessä linkin luomista tutkimusaineiston ja tiedoston välillä tietokantatasolla, mikä mahdollistaa lisättyjen tiedostojen selailun Etsimessä, mutta kyseiset tiedostot eivät kuitenkaan näy osana tutkimusaineiston metatietoja. Toteutuksen ansiosta paljon tiedostoja sisältävät aineistot eivät kasvata metatietodokumenttia, jos tiedostoja ei ole erikseen kuvailtu. Tiedoston kuvailu tarkoittaa metadatan lisäämistä lisättyyn tiedoston tai hakemiston metatietoihin Metaxin Research dataset -katalogiin. Metatieto voi olla esimerkiksi tiedoston tyyppi (dokumentaatio, konfiguraatio jne.) tai tarkempi nimike. Tiedostojen kuvailut tallennetaan osaksi tutkimusaineiston metadataa, mikä puolestaan tuottaa uuden metadataversion.

Tutkimisaineistojen versioiden väliset linkityksen tulisi olla myös osa metatietoja. Esimerkiksi DataCite sisältää relaatiot “isNewVersionOf” ja “isPreviousVersionOf”, joita voidaan käyttää tutkimusaineistojen linkittämiseen toisiinsa. Kun käyttäjä luo uuden version olemassa olevasta aineistosta, Metax lisää uuden tutkimusaineiston metatietoihin automaattisesti linkin aikaisempaan versioon. Koska versiolinkki on osa Qvaimessa vapaasti muokattavissa olevia relaatiotietoja, on mahdollista, että käyttäjä syystä tai toisesta poistaa linkin tai muokkaa sen sisältämään virheellisiä tietoja. Tästä syystä Metax ylläpitää tietokantatasolla tietoja myös tutkimusaineistojen versioiden välisistä linkeistä samaan tapaan kuin metatietoversioista, joita käyttäjä ei pysty muokkaamaan. Etsin käyttää tätä muuttumatonta versiota versiotiedostosta(!) hakuindeksin ylläpitoon ja versioiden näyttämiseen käyttöliittymässä.

Fairdata-kokonaisuuteen liittyvät komponentit aineistojen tallentamiseen (IDA), kuvailuun (Qvain) ja hakuun (Etsin) liittyvät toisiinsa Metaxin kautta, jonka tavoitteena on tarjota palveluille skaalautuva, varmatoiminen ja turvallinen ratkaisu datan integroimiseen. Versioilla ja versioilla on vaikutuksia sekä aineiston kuvailuun Qvaimen päässä että niiden näyttämiseen osana Etsimen käyttöliittymää. Qvaimen käyttäjä saattaa esimerkiksi haluta vertailla saman tutkimusaineiston metadatan versioita selvittääkseen kuvaukseen liittyviä ongelmia. Etsimen käyttäjä on puolestaan todennäköisesti kiinnostunut enemmän tutkimusaineistojen eri versioista.

IDAn migraatiot käynnistyvät

IDA:n uudistumiseen liittyvät datamigraatiot ovat nyt alkaneet. Datamigraatioiden aikana käyttäjien palveluun lataamat tiedostot kopioidaan vanhasta IDAsta uuteen ympäristöön. Nyt meneillään olevan datasiirtovaiheen jälkeen alkavat varsinaiset projektikohtaiset migraatiot, joiden aikana tehdään datasiirtojen tarkistus ja mm. tiedostojen järjestelmätietojen siirto, niin että kaikki tarvittava tieto tuodaan vanhasta ympäristöstä uuteen. MetaX astuu kuvaan vasta kun tiedostoja migraation jälkeen jäädytetään uudessa ympäristössä, jolloin niistä siirtyy tietoja metatietovarantoon file API:n kautta.

Uudessa IDA:ssa on nimittäin kaksi eri säilytysaluetta: valmistelualue (staging) ja jäädytetty alue (frozen). Valmistelualueella projektin jäsenet voivat lisätä, uudelleennimetä, ylikirjoittaa ja poistaa dataa sekä muokata hakemistorakenteita. Valmistelualueella hakemistojen ja tiedostojen metatietoja ei tallenneta metatietovarantoon eli ne eivät myöskään näy tutkimusaineistojen kuvailutyökalussa. Uudistuneessa IDAssa ei itsessään tulla enää liittämään tiedostoihin käyttäjän luomaa metadataa, vaan IDA-tiedostoja tullaan kuvailemaan aineistoiksi tulossa olevalla kuvailutyökalulla, jolla tehty aineistometadata tallentuu Metaxiin. Valmistelualueen tiedostoista ei tehdä replikaa, joten datan tallennus valmistelualueelle ei suojaa dataa häviämiseltä mikäli palveluun tulee vakava vikatilanne. RAIDin ansiosta kuitenkaan yksittäinen levyrikko palvelussa ei aiheuta datan häviämistä.

Uudistunut IDA tulee loppukäyttäjien saataville kevään kuluessa. Kuva Pekka Tolvanen CC BY-NC-SA 2.0

Kun käyttäjä jäädyttää uudessa IDAssa dataa, data siirtyy IDAn valmistelualueelta jäädytetylle alueelle. Jäädytetyllä alueella tiedostoilla on UUID:t, tarkistussummat ja niiden metatiedot tallennetaan metatietovarantoon. Jäädytetyn alueen tiedostoista tehdään myös replika toiselle medialle jäädytyksen yhteydessä.

Uudistuneen IDAn käyttöönotto on tarkoitus tehdä niin, että ensimmäiset vanhasta IDAsta migroidut projektit ottavat palvelun käyttöön suunnilleen samoihin aikoihin kun palvelu tulee myös uusien IDA-käyttäjien saataville. Projektit migroidaan uuteen palveluun osissa, eli kaikille vanhoille käyttäjille uusi IDA ei tule samana ajanhetkenä käyttöön. IDA:n verkkosivuille tullaan lisäämään tarkennusta aikatauluun migraation edetessä. Ajankohta-arvio uudistuneen IDA-palvelun käyttöönotolle on maalis-huhtikuu 2018.

Uuden ympäristön loppukäyttäjille tarjolla oleva verkkotallennustila on rakennettu NextCloud-ohjelmiston päälle. On tärkeä kuitenkin huomioida, että IDA:ssa on poistettu käytöstä monia NextCloudin toiminnallisuuksia ja rakennettu uusia. Siksi on hyvä tutustua tarkasti uuden IDA:n käyttöoppaaseen, joka tullaan pian lisäämään IDAn verkkosivuille. Myöskään loppukäyttäjille ei ole järkevää mainostaa IDA NextCloudina, sillä tiedostojen säilytykseen liittyvien toiminnallisuuksien vuoksi esim. NextCloudin native/mobiili clientia ei tueta, eikä myöskään monia muita rajapintaan liittyviä asioita.

Palvelun käyttö vaatii jatkossakin CSC-tunnuksen ja kuulumisen CSC-projektiin. Erillistä IDA-salasanaa ei jatkossa enää ole, vaan autentikaatio tehdään joko Hakalla tai suoraan CSC-tunnuksella.