Qvaimen aikatauluista

Tutkimusaineiston metatiedot eli kuvailutiedot tekevät tutkimusaineistosta näkyvää: metatiedon avulla aineisto löytyy, siihen voidaan viitata ja siitä saa helposti yleiskuvan. Metatieto sisältää myös tietoa siitä, miten ja millä ehdoilla aineistoa voi käyttää uudestaan. Fairdata -palvelukokonaisuuteen kuuluva Qvain-palvelu on nimenomaan tutkimusaineistojen kuvailua varten kehitetty palvelu.


Qvain otetaan käyttöön pilotointien jälkeen heinäkuun alussa 2019, minkä jälkeen kehitystä jatketaan kehityssuunnitelmien mukaisesti käyttäjäpalaute huomioiden. Qvaimella luodut tutkimusaineistot tulevat näkyviin hakupalvelu Etsimen uuteen versioon. Uusi Etsin otetaan täyteen käyttöön samaan aikaan Qvaimen kanssa, ja Etsimen vanhan version käyttö loppuu. Vanhassa Etsimessä olleet aineistot tulevat automaattisesti näkyviin uuteen Etsimeen Qvaimen käyttöönoton yhteydessä.


Tutkimusaineistojen kuvailu on Qvaimen käyttöönoton jälkeen mahdollista vaihtoehtoisesti kolmella eri tapaa. Qvaimesta tullaan julkaisemaan samaan aikaan 2 eri versiota: Qvain ja Qvain Light. Lisäksi aineistojen kuvailu tulee olemaan mahdollista myös metatietovaranto Metaxin rajapinnan kautta:
Qvain Light: Yksinkertainen työkalu, jolla aineisto kuvaillaan yhden lomakkeen avulla. Vaikka kenttiä on vähemmän kuin Qvaimessa, Qvain Lightilla tehdyt aineistokuvaukset täyttävät aineiston kuvailulle asetetut minimitietovaatimukset ja näkyvät Etsimessä samalla tapaan kuin Qvaimella tehdyt aineistot. Qvain Lightia on nopea käyttää myös esim. Qvaimella tai Metax-rajapinnalla tuotetun aineiston muokkaukseen. 

Qvain: Moniosainen lomakekokonaisuus, jolla aineiston kuvailu saadaan tehtyä koko tietomallia hyödyntäen. Hieman työläämpi käyttää kuin Qvain Light, mutta tarjoaa enemmän kuvailumahdollisuuksia. 

Metax rajapinta: Edistyneemmille käyttäjille tarkoitettu työkalu, jolla aineisto kuvaillaan Metaxin tarjoaman rajapinnan rakennetta noudattaen. Kaikki tietomallin kentät ovat käytettävissä. Rajapintaan ei tule muutoksia Qvain-käyttöönoton myötä.


Julkaistut aineistot näkyvät kuvailutavasta riippumatta uudessa Etsimessä, ja ovat tarvittaessa muokattavissa molemmilla kuvailutyökaluversioilla sekä Metaxin rajapinnan kautta.


Kuvailuun voi linkittää Fairdata IDAssa olevia tiedostoja, mutta kuvailusta on mahdollista viitata myös Fairdatan ulkopuolella olevaan aineistoon.

Metax -tiimi mukana ottamassa Qvainta tuotantoon

Kevät on vierähtänyt uuden Fairdata -palveluperheeseen kuuluvan, tutkimusaineistojen kuvailuun tarkoitetun työkalun, Qvaimen, tuotantoonottovalmisteluissa.

Qvain tallentaa kuvailut Metaxiin, jonka kautta ne ovat Etsimen löydettävissä. Metax -tiimi on omalta osaltaan ollut mukana tukemassa tuotantovalmisteluja ja -testauksia.

Qvainta pilotoidaan parhaillaan, ja tarkoitus on aloittaa laajamittainen tuotantokäyttö heinäkuun 2019 alussa.
Tervetuloa siis kuvailemaan tutkimusaineistoja 1.7.2019 alkaen osoitteeseen qvain.fairdata.fi :)

ps. Vanhan Etsimen aineistot migroidaan Metaxiin siten, että ne ovat muokattavissa Qvaimella ja tottakai löydettävissä uudella Etsimellä.

Uusi tuoteomistaja Metax -palvelulle 

Hei, olen Erja Kortelainen ja aloitin 11.2.2019 uutena tuoteomistajana Metaxille, Etsimelle ja Qvaimelle. 

Qvain on Fairdata -kokonaisuuteen liittyvä uusin palvelumme. Sen avulla aineiston metatiedot saadaan järkevän käyttöliittymän avulla syötettyä Metaxiin, ja sitä kautta Etsimen löydettäväksi. 
Qvain ei vielä ole tuotannossa, ja nyt keskitynkin kaiken uuden oppimisen ohessa vimmatusti Qvaimen testailuihin ja sen varmistamiseen, että muut Fairdata -palvelut toimivat Qvaimen kanssa yhteen. 

Laittakaa nimi korvan taakse 😊, niin nähdään / kuullaan sopivissa käänteissä!

Fairdata-koulutus ja Metax-työpaja

Viime perjantaina oli ensimmäinen Fairdata-koulutustilaisuus CSC:llä. Kävimme yhdessä läpi palveluita ja testailimme IDAa ja Etsintä.

Lounaan jälkeen meillä oli pieni mutta rautainen Metax-työpaja. jossa aluksi kävimme läpi Metaxin rakennetta ja mahdollisia tietovirtoja/rajapintojen käyttötapauksia. Keskustelu oli tosin hyvin yleisellä tasolla ja pääosin keskityimme sitten käytäntöön, eli Hannun johdolla REST API:n testaamiseen. Totesimme, että olisi hyvä pitää vielä uusi työpaja tietovirroista ja rajapinnan käytöstä, joka sinänsä on suhteellisen selkeää. Eniten vaatii pohdintaa ehkä referenssidatojen käyttö. Koska osa niistä on pakollisia, asia vaatii hieman opiskelua, vaikka metatietojen tuottamisen alkuun pääsee muuten aika helposti.

Referenssidatasta koodistoja

Metaxissa on ollut jonkin aikaa pieni radiohiljaisuus, koska olemme valmistautumassa Fairdata-palvelukokonaisuuden tuotantoonvientiin lähiaikoina. Perjantaina on koulutustilaisuus, jossa muun muassa tutustumme Metaxin uuteen rajapintaan.

Referenssidatat on nyt siirretty kansalliseen koodistopalveluun. Ajatuksena on, että organisaatioista tehtäisiin vuosittaiset uudet versiot.

Muuten pohdimme esimerkiksi pitkäaikaissäilytykseen viemiseen liittyvien prosessien yksityiskohtia.

Olettehan kaikki huomanneet IDA:n uudet hienot esittelyvideot?

Pohdintaa metatietovirroista

Metax sisältää paljon tietoa suomalaisista tutkimusaineistoista. Varannon ytimen muodostavat Fairdata-palveluissa olevat tutkimusaineistojen metatiedot (IDA, pitkäaikaissaatavuuspalvelu) mutta Metax sisältää tulevaisuudessa myös muita järjestelmään manuaalisesti tai rajapinnan kautta luotuja metatietoja. Nämä metatiedot, joihin ei liity välttämättä suoraan datatiedostoja, viedään erilliseen ATT-katalogiin. Lisäksi Metaxiin luodaan jokaiselle haravointilähteelle oma katalogi. Eri katalogit mahdollistavat metatietojen hallinnan ja validoinnin erilaisten edellytysten ja tarpeiden pohjalta.

Metax tarjoaa aineistoille ja niiden kuvailuille URN-tunnisteita ja Etsin kuvailusivun. Pitkäaikaissäilytykseen menevät aineistot saavat DataCite-metatiedot. Fairdata-palveluilla on oma DOI-nimiavaruus, josta voidaan tulevaisuudessa tarjota DOI-tunnisteita myös IDA-säilytyspalvelussa oleville aineistoille. DOI-tunnisteita EI anneta Fairdata-palvelukokonaisuuden ulkopuolella säilytettäville aineistoille, koska niiden eheyttä emme voi mitenkään valvoa.

Metaxiin on tarkoitus kerätä mahdollisimman kattavasti tietoa suomalaisen tutkimuksen aineistoista. Siksi voimme kerätä myös aineistojen julkaisutietoja eri lähteistä, joiden laadun suhteen ei ole tarvitse olla niin tiukkoja vaatimuksia. Tästä Metaxiin mahdollisesti luotavasta Legacy-katalogista voidaan tutkia tunnisteita ja niiden avulla hakea alkuperäisiä metatietoja luotetuista tietoarkistoista. Niiden löytyessä, aineiston tiedot kopioitaisiin Metaxin ATT-katalogiin ja ne näkyisivät Etsimessä.

Tällä hetkellä haravoidaan jo uuteenkin järjestelmään metatietoja Kielipankista, Yhteiskuntatieteellisestä tietoarkistosta ja SYKE:n metatietokatalogista.  Yliopistojen kanssa on aiemmin käyty keskustelua tietojen siirtämisestä ja useat yliopistot ovat lähiaikoinakin olleet taas yhteydessä asian tiimoilta. Aihe on ollut välillä jäissä palvelu-uudistuksesta johtuen. Ammattikorkeakoulujen puolella järjestelmiä ei ole vielä yhtä paljon, mutta tutkimusaineistopalvelu on pystytetty ainakin SeAMKiin. Myös tutkimuslaitoksilla on hyvin paljon erilaisia tutkimusaineistoja, joiden metatietoja hallinnoidaan erilaisissa järjestelmissä. Tällä hetkellä ainoa käynnissä oleva haravointi on SYKE. Tälläkin puolella on kuitenkin hyviä mahdollisuuksia laajentaa tietojen siirtoa, joko haravoinnin tai kirjoitusrajapinnan kautta. Tärkeää on myös vielä miettiä miten saamme tiedot mahdollisimman tehokkaasti näkyviin kansainvälisissä palveluissa, sekä tietoja haettua hyvin maailmalta kotiin alkuperäislähteistä.

Prioisioinnin suhteen olemme miettineet seuraavanlaisia kriteereitä:

• Metatiedot sisältävät URN- tai DOI-tunnisteen 
• Kokonaisuus palvelee suurta määrää tutkijoita 
• Tutkimusaineistoja ja metatietoja on paljon 
• Tiedot ovat hyvälaatuisia ja sisältävät paljon pysyviä tunnisteita

Tutkimusaineistojen kopioituja metatietoja voidaan tarjota myös organisaatioille rajapinnan kautta "legacy"-katalogista käytettäväksi. Vaikka ne eivät ole välttämättä hyvälaatuisia, niiden avulla organisaatiot voisivat rikastaa omaa dataansa ja tutkia julkaisutietoja, eikä kaikkien organisaatioiden tarvitse itse tuoda dataa eri palveluista. 

Fairdata-kokonaisuuden tuotantoonmeno etenee

Fairdata-palvelukokonaisuuden tuotantoonmeno on edennyt. Kesän aikana on tapahtunut seuraavaa:

• Kesäkuu 2018: uusi fairdata.fi -sivusto avatttiin ja palvelujen dokumentaatiota päivitettiin sivuille. Tuotantoon valmiille palvelukomponenteille tehtiin integraatiotestausta.
• Heinäkuu 2018: uudistettu IDA avattiin uusille käyttäjille ja samalla MetaX siirtyi tiedostojen metatietojen osalta tuotantoon. Uusi Etsin avautui ja se näyttää harvestoitujen aineistojen metatietoja. Heinäkuussa valmistuivat myös ensimmäiset migraatiot vanhasta IDAsta uuteen IDAan.
• Elokuu 2018: IDAn data- ja projektimigraatiot jatkuvat. MetaXin tietomalli lukitaan tuotantoonmenoa varten. Valmistaudutaan vanhan Etsimen metatietojen migroimiseen.

Syyskuulle on suunnitelmissa erityisesti Qvaimen testausta, komponenttien integraatiotestausta sekä testaamisessa havaittujen muutostarpeiden toteuttamista. Testausvaiheen jälkeen vanha Etsin suljetaan kuvailun osalta ja sen metatiedot migroidaan MetaXiin ja ne näytetään uudessa Etsimessä. Näillä näkymin IDAn projekti- ja datamigraatiot valmistuvat tai ovat ainakin lähes valmiit syyskuun loppuun mennessä.