tag:blogger.com,1999:blog-43509652943638105662024-03-14T03:12:23.240-07:00MetaX-BlogiJessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.comBlogger20125tag:blogger.com,1999:blog-4350965294363810566.post-38737982409370318372019-06-07T06:18:00.001-07:002019-06-07T06:18:34.238-07:00Qvaimen aikatauluista<br />Tutkimusaineiston metatiedot eli kuvailutiedot tekevät tutkimusaineistosta näkyvää: metatiedon avulla aineisto löytyy, siihen voidaan viitata ja siitä saa helposti yleiskuvan. Metatieto sisältää myös tietoa siitä, miten ja millä ehdoilla aineistoa voi käyttää uudestaan. Fairdata -palvelukokonaisuuteen kuuluva <a href="https://qvain.fairdata.fi/">Qvain</a>-palvelu on nimenomaan tutkimusaineistojen kuvailua varten kehitetty palvelu. <br /><br /><br />Qvain otetaan käyttöön pilotointien jälkeen heinäkuun alussa 2019, minkä jälkeen kehitystä jatketaan kehityssuunnitelmien mukaisesti käyttäjäpalaute huomioiden. Qvaimella luodut tutkimusaineistot tulevat näkyviin hakupalvelu <a href="https://etsin.fairdata.fi/">Etsimen</a> uuteen versioon. Uusi Etsin otetaan täyteen käyttöön samaan aikaan Qvaimen kanssa, ja Etsimen vanhan version käyttö loppuu. Vanhassa Etsimessä olleet aineistot tulevat automaattisesti näkyviin uuteen Etsimeen Qvaimen käyttöönoton yhteydessä.<br /><br /><br />Tutkimusaineistojen kuvailu on Qvaimen käyttöönoton jälkeen mahdollista vaihtoehtoisesti kolmella eri tapaa. Qvaimesta tullaan julkaisemaan samaan aikaan 2 eri versiota: Qvain ja Qvain Light. Lisäksi aineistojen kuvailu tulee olemaan mahdollista myös metatietovaranto Metaxin rajapinnan kautta: <br />Qvain Light: Yksinkertainen työkalu, jolla aineisto kuvaillaan yhden lomakkeen avulla. Vaikka kenttiä on vähemmän kuin Qvaimessa, Qvain Lightilla tehdyt aineistokuvaukset täyttävät aineiston kuvailulle asetetut minimitietovaatimukset ja näkyvät Etsimessä samalla tapaan kuin Qvaimella tehdyt aineistot. Qvain Lightia on nopea käyttää myös esim. Qvaimella tai Metax-rajapinnalla tuotetun aineiston muokkaukseen. <div>
<br />Qvain: Moniosainen lomakekokonaisuus, jolla aineiston kuvailu saadaan tehtyä koko <a href="https://tietomallit.suomi.fi/model/mrd/">tietomallia</a> hyödyntäen. Hieman työläämpi käyttää kuin Qvain Light, mutta tarjoaa enemmän kuvailumahdollisuuksia. </div>
<div>
<br />Metax rajapinta: Edistyneemmille käyttäjille tarkoitettu työkalu, jolla aineisto kuvaillaan Metaxin tarjoaman rajapinnan rakennetta noudattaen. Kaikki tietomallin kentät ovat käytettävissä. Rajapintaan ei tule muutoksia Qvain-käyttöönoton myötä. <br /><br /><br />Julkaistut aineistot näkyvät kuvailutavasta riippumatta uudessa Etsimessä, ja ovat tarvittaessa muokattavissa molemmilla kuvailutyökaluversioilla sekä Metaxin rajapinnan kautta.<br /><br /><br />Kuvailuun voi linkittää Fairdata <a href="https://ida.fairdata.fi/">IDA</a>ssa olevia tiedostoja, mutta kuvailusta on mahdollista viitata myös Fairdatan ulkopuolella olevaan aineistoon.</div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-86687769177202550412019-05-15T23:47:00.000-07:002019-05-15T23:49:46.161-07:00Metax -tiimi mukana ottamassa Qvainta tuotantoonKevät on vierähtänyt uuden Fairdata -palveluperheeseen kuuluvan, tutkimusaineistojen kuvailuun tarkoitetun työkalun, Qvaimen, tuotantoonottovalmisteluissa.<br />
<br />
Qvain tallentaa kuvailut Metaxiin, jonka kautta ne ovat Etsimen löydettävissä. Metax -tiimi on omalta osaltaan ollut mukana tukemassa tuotantovalmisteluja ja -testauksia.<br />
<br />
Qvainta pilotoidaan parhaillaan, ja tarkoitus on aloittaa laajamittainen tuotantokäyttö heinäkuun 2019 alussa.<br />
Tervetuloa siis kuvailemaan tutkimusaineistoja 1.7.2019 alkaen osoitteeseen qvain.fairdata.fi :)<br />
<br />
ps. Vanhan Etsimen aineistot migroidaan Metaxiin siten, että ne ovat muokattavissa Qvaimella ja tottakai löydettävissä uudella Etsimellä.Erja Kortelainenhttp://www.blogger.com/profile/05194774149442402991noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-81184553660880347002019-02-26T22:46:00.000-08:002019-02-26T22:46:21.012-08:00<span style="font-size: large;"><b><span style="font-family: Arial, Helvetica, sans-serif;">Uusi tuoteomistaja Metax -palvelulle </span></b></span><br />
<br />
<span style="font-size: small;"><span style="font-family: Arial, Helvetica, sans-serif;">Hei, olen Erja Kortelainen ja aloitin 11.2.2019 uutena tuoteomistajana Metaxille, Etsimelle ja Qvaimelle. </span></span><br />
<br />
<span style="font-size: small;"><span style="font-family: Arial, Helvetica, sans-serif;">Qvain
on Fairdata -kokonaisuuteen liittyvä uusin palvelumme. Sen avulla
aineiston metatiedot saadaan järkevän käyttöliittymän avulla syötettyä
Metaxiin, ja sitä kautta Etsimen löydettäväksi. </span></span><br />
<span style="font-size: small;"><span style="font-family: Arial, Helvetica, sans-serif;">Qvain
ei vielä ole tuotannossa, ja nyt keskitynkin kaiken uuden oppimisen
ohessa vimmatusti Qvaimen testailuihin ja sen varmistamiseen, että muut
Fairdata -palvelut toimivat Qvaimen kanssa yhteen. </span></span><br />
<br />
<span style="font-size: small;"><span style="font-family: Arial, Helvetica, sans-serif;">Laittakaa nimi korvan taakse 😊, niin nähdään / kuullaan sopivissa käänteissä!</span></span>Erja Kortelainenhttp://www.blogger.com/profile/05194774149442402991noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-20653719683109775922018-10-29T05:10:00.001-07:002018-10-29T05:21:52.240-07:00Fairdata-koulutus ja Metax-työpajaViime perjantaina oli ensimmäinen Fairdata-koulutustilaisuus CSC:llä. Kävimme yhdessä läpi palveluita ja testailimme IDAa ja Etsintä.<br />
<br />
<br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjBBqJtbM62CmG_P-6R6Jx9COfbqIUaVe2RRI5YgmwIRBpS_DoQDU3DpP6e5fVmz2K1URHBDoIcN0qLNRlXutpHRPaRw5DrCBZaPZ_sL7UFdZvdy0dEH0AnUPWjFI1N56Xwdz_11uNgsDO4/s1600/Mentimeter.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" data-original-height="463" data-original-width="856" height="173" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjBBqJtbM62CmG_P-6R6Jx9COfbqIUaVe2RRI5YgmwIRBpS_DoQDU3DpP6e5fVmz2K1URHBDoIcN0qLNRlXutpHRPaRw5DrCBZaPZ_sL7UFdZvdy0dEH0AnUPWjFI1N56Xwdz_11uNgsDO4/s320/Mentimeter.png" width="320" /></a></div>
<br />
<br />
<br />
Lounaan jälkeen meillä oli pieni mutta rautainen Metax-työpaja. jossa aluksi kävimme läpi Metaxin rakennetta ja mahdollisia tietovirtoja/rajapintojen käyttötapauksia. Keskustelu oli tosin hyvin yleisellä tasolla ja pääosin keskityimme sitten käytäntöön, eli Hannun johdolla REST API:n testaamiseen. Totesimme, että olisi hyvä pitää vielä uusi työpaja tietovirroista ja rajapinnan käytöstä, joka sinänsä on suhteellisen selkeää. Eniten vaatii pohdintaa ehkä referenssidatojen käyttö. Koska osa niistä on pakollisia, asia vaatii hieman opiskelua, vaikka metatietojen tuottamisen alkuun pääsee muuten aika helposti.<br />
<div>
<br /></div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-22793824955301973592018-10-23T03:31:00.000-07:002018-10-23T03:31:09.298-07:00Referenssidatasta koodistojaMetaxissa on ollut jonkin aikaa pieni radiohiljaisuus, koska olemme valmistautumassa Fairdata-palvelukokonaisuuden tuotantoonvientiin lähiaikoina. Perjantaina on koulutustilaisuus, jossa muun muassa tutustumme <a href="https://metax-test.csc.fi/docs/">Metaxin uuteen rajapintaan.</a><br />
<br />
Referenssidatat on nyt siirretty kansalliseen <a href="https://koodistot.suomi.fi/registry;registryCode=fairdata">koodistopalveluun.</a> Ajatuksena on, että organisaatioista tehtäisiin vuosittaiset uudet versiot.<br />
<br />
Muuten pohdimme esimerkiksi pitkäaikaissäilytykseen viemiseen liittyvien prosessien yksityiskohtia.<br />
<br />
Olettehan kaikki huomanneet <a href="https://www.fairdata.fi/ida/">IDA:n uudet hienot esittelyvideot?</a>Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-69195178010560546672018-08-31T05:06:00.003-07:002018-08-31T05:06:42.942-07:00Pohdintaa metatietovirroista<div class="separator" style="clear: both; text-align: center;">
<br /></div>
Metax sisältää paljon tietoa suomalaisista tutkimusaineistoista. Varannon ytimen muodostavat Fairdata-palveluissa olevat tutkimusaineistojen metatiedot (IDA, pitkäaikaissaatavuuspalvelu) mutta Metax sisältää tulevaisuudessa myös muita järjestelmään manuaalisesti tai rajapinnan kautta luotuja metatietoja. Nämä metatiedot, joihin ei liity välttämättä suoraan datatiedostoja, viedään erilliseen ATT-katalogiin. Lisäksi Metaxiin luodaan jokaiselle haravointilähteelle oma katalogi. <a href="https://metax-blogi.blogspot.com/2017/12/katalogeista.html">Eri katalogit</a> mahdollistavat metatietojen hallinnan ja validoinnin erilaisten edellytysten ja tarpeiden pohjalta.<br /><br />Metax tarjoaa aineistoille ja niiden kuvailuille URN-tunnisteita ja Etsin kuvailusivun. Pitkäaikaissäilytykseen menevät aineistot saavat DataCite-metatiedot. Fairdata-palveluilla on oma DOI-nimiavaruus, josta voidaan tulevaisuudessa tarjota DOI-tunnisteita myös IDA-säilytyspalvelussa oleville aineistoille. DOI-tunnisteita EI anneta Fairdata-palvelukokonaisuuden ulkopuolella säilytettäville aineistoille, koska niiden eheyttä emme voi mitenkään valvoa.<br /><br />Metaxiin on tarkoitus kerätä mahdollisimman kattavasti tietoa suomalaisen tutkimuksen aineistoista. Siksi voimme kerätä myös aineistojen julkaisutietoja eri lähteistä, joiden laadun suhteen ei ole tarvitse olla niin tiukkoja vaatimuksia. Tästä Metaxiin mahdollisesti luotavasta Legacy-katalogista voidaan tutkia tunnisteita ja niiden avulla hakea alkuperäisiä metatietoja luotetuista tietoarkistoista. Niiden löytyessä, aineiston tiedot kopioitaisiin Metaxin ATT-katalogiin ja ne näkyisivät Etsimessä.<br />
<br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiqqiSRWbnO1I6GUbkfA7T7FYOu7I7MlM2XLulr1fsUPCuo-bA7hkBST0ILICoFlcI-3jRnk52xGdvOnjhDbZmFIbevUgpQO3y5tkh05WZVhaE_9czCfgSIOT16ZdGnh-gKJaS1ZGWT0DGe/s1600/QPR.Isapi.dll-118.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em; text-align: center;"><img border="0" data-original-height="436" data-original-width="536" height="260" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiqqiSRWbnO1I6GUbkfA7T7FYOu7I7MlM2XLulr1fsUPCuo-bA7hkBST0ILICoFlcI-3jRnk52xGdvOnjhDbZmFIbevUgpQO3y5tkh05WZVhaE_9czCfgSIOT16ZdGnh-gKJaS1ZGWT0DGe/s320/QPR.Isapi.dll-118.png" width="320" /></a></div>
<br />
<span style="font-weight: normal;">Tällä hetkellä haravoidaan jo uuteenkin järjestelmään metatietoja Kielipankista, Yhteiskuntatieteellisestä tietoarkistosta ja SYKE:n metatietokatalogista. Yliopistojen kanssa on aiemmin käyty keskustelua tietojen siirtämisestä ja useat yliopistot ovat lähiaikoinakin olleet taas yhteydessä asian tiimoilta. Aihe on ollut välillä jäissä palvelu-uudistuksesta johtuen. Ammattikorkeakoulujen puolella järjestelmiä ei ole vielä yhtä paljon, mutta <a href="https://www.seamk.fi/aineistot/">tutkimusaineistopalvelu on pystytetty ainakin SeAMK</a>iin. Myös tutkimuslaitoksilla on hyvin paljon erilaisia tutkimusaineistoja, joiden metatietoja hallinnoidaan erilaisissa järjestelmissä. Tällä hetkellä ainoa käynnissä oleva haravointi on SYKE. Tälläkin puolella on kuitenkin hyviä mahdollisuuksia laajentaa tietojen siirtoa, joko haravoinnin tai kirjoitusrajapinnan kautta. Tärkeää on myös vielä miettiä miten saamme tiedot mahdollisimman tehokkaasti näkyviin kansainvälisissä palveluissa, sekä tietoja haettua hyvin maailmalta kotiin alkuperäislähteistä.</span><br />
<br /> Prioisioinnin suhteen olemme miettineet seuraavanlaisia kriteereitä:<br /><ul>
<li>Metatiedot sisältävät URN- tai DOI-tunnisteen </li>
<li>Kokonaisuus palvelee suurta määrää tutkijoita </li>
<li>Tutkimusaineistoja ja metatietoja on paljon </li>
<li>Tiedot ovat hyvälaatuisia ja sisältävät paljon pysyviä tunnisteita</li>
</ul>
<div>
<br /></div>
<div>
<br /></div>
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiFGUUMfcU8864ufJaR8Bzjp65wyukv3mEHFtzOw_iz_dP1Leukzgl1FPR1FnDsyzR8dSGeA39ZDDVnZXWdXPxmWFF3NUDelsEiDCNFx_JEF-aisRDOwQAKRjzlrAbI5FEpt5inPDZKIzi_/s1600/QPR.Isapi.dll-120.png" imageanchor="1" style="margin-left: 1em; margin-right: 1em; text-align: center;"><img border="0" data-original-height="415" data-original-width="886" height="149" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiFGUUMfcU8864ufJaR8Bzjp65wyukv3mEHFtzOw_iz_dP1Leukzgl1FPR1FnDsyzR8dSGeA39ZDDVnZXWdXPxmWFF3NUDelsEiDCNFx_JEF-aisRDOwQAKRjzlrAbI5FEpt5inPDZKIzi_/s320/QPR.Isapi.dll-120.png" width="320" /></a></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
<br /></div>
<div class="MsoNormal">
Tutkimusaineistojen
kopioituja metatietoja voidaan tarjota myös organisaatioille rajapinnan kautta "legacy"-katalogista käytettäväksi. Vaikka ne eivät ole välttämättä hyvälaatuisia, niiden avulla
organisaatiot voisivat rikastaa omaa dataansa ja tutkia julkaisutietoja, eikä
kaikkien organisaatioiden tarvitse itse tuoda dataa eri palveluista. </div>
<!--EndFragment--><br />Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-53942716341114656572018-08-23T05:08:00.001-07:002018-08-23T05:08:23.873-07:00Fairdata-kokonaisuuden tuotantoonmeno eteneeFairdata-palvelukokonaisuuden tuotantoonmeno on edennyt. Kesän aikana on tapahtunut seuraavaa: <br />
<ul>
<li>Kesäkuu 2018: uusi <a class="external embeddable" href="http://fairdata.fi/" title="http://fairdata.fi">fairdata.fi</a> -sivusto avatttiin ja palvelujen dokumentaatiota päivitettiin sivuille. Tuotantoon valmiille palvelukomponenteille tehtiin integraatiotestausta.</li>
<li>Heinäkuu 2018: <a href="https://ida.fairdata.fi/">uudistettu IDA</a> avattiin uusille käyttäjille ja samalla MetaX siirtyi tiedostojen metatietojen osalta tuotantoon. <a href="https://etsin.fairdata.fi/">Uusi Etsin</a> avautui ja se näyttää harvestoitujen aineistojen metatietoja. Heinäkuussa valmistuivat myös ensimmäiset migraatiot vanhasta IDAsta uuteen IDAan.</li>
<li>Elokuu 2018: IDAn data- ja projektimigraatiot jatkuvat. MetaXin tietomalli lukitaan tuotantoonmenoa varten. Valmistaudutaan vanhan Etsimen metatietojen migroimiseen.</li>
</ul>
Syyskuulle on suunnitelmissa erityisesti Qvaimen testausta, komponenttien integraatiotestausta sekä testaamisessa havaittujen muutostarpeiden toteuttamista. Testausvaiheen jälkeen vanha Etsin suljetaan kuvailun osalta ja sen metatiedot migroidaan MetaXiin ja ne näytetään uudessa Etsimessä. Näillä näkymin IDAn projekti- ja datamigraatiot valmistuvat tai ovat ainakin lähes valmiit syyskuun loppuun mennessä.<br />
<br />
<br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh6YVP_5ZNn4m6BaV6KDmOb4vK6vYNW44_QvYQyBF9m_A36Bfov_8A_3yzUxiHtadZGelOz13up0bwkYJUosBjGbumMsxGd9uFhLbFb5UzBC25yA8Lh23BzYYIf2MJKzKs9ARUKQ0IKvORX/s1600/IMG_2906.JPG" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" data-original-height="640" data-original-width="480" height="320" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh6YVP_5ZNn4m6BaV6KDmOb4vK6vYNW44_QvYQyBF9m_A36Bfov_8A_3yzUxiHtadZGelOz13up0bwkYJUosBjGbumMsxGd9uFhLbFb5UzBC25yA8Lh23BzYYIf2MJKzKs9ARUKQ0IKvORX/s320/IMG_2906.JPG" width="240" /></a></div>
<br />Suvi Pousihttp://www.blogger.com/profile/17334160393576046059noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-9010296554004225552018-07-10T04:29:00.000-07:002018-07-10T04:39:49.035-07:00ReferenssidataEilisessä sprinttipalaverissa oli Joonas mukana viimeistä kertaa. Tällaista se on tällä alalla, kun mielenkiintoista tekemistä riittää ja tekijöistä on huutava pula. Käytännössä tämä tarkoittaa, että tiimimme hieman kutistuu, mutta onneksi meillä on messissä edelleen Miika, joka on oikeastaan koko Metaxin loistavan mallin isä. Muullakin tiimillä on niin rautainen osaaminen ja, mikä ihaninta, kyky ymmärtää äärimmäisen kompleksista Fairdata-PAS-kokonaisuuta ja suhtautua luovasti ja rohkeasti alati muuttuvaan tilanteeseen. PO:na tässä on suhteellisen helppoa olla osana tällaisen tiimin touhua. Vaikka Joonasta jäämmekin kaipaamaan.<br />
<br />
Olen aiemmin tässä blogissa maininnut referenssidatan tärkeänä osana Metaxin tarjontaa organisaatioille. Se on vielä kaikkea muuta kuin valmista, eikä se koskaan varmaan edes valmiiksi tule, kuten ei mikään tietomalli koskaan tässä muuttuvassa maailmassa. Tavoitteena on lisäksi yhdistää tutkimustietovarannon (TTV) referenssidatoja meidän datoihin, mutta miten työnjako tulevaisuudessa tulee tapahtumaan akselilla yhteentoimiva.suomi.fi, Finto, TTV ja Fairdata on vielä hämärän peitossa. Tavoitteena on tietenkin mahdollisimman yhtenäinen ja yksinkertainen referenssidatojen hallinta ja hyödyntäminen. Toistaiseksi olemme kuitenkin keränneet kaikkia mahdollisia relevantteja listoja ja tunnisteita. Haluamme, että Metaxin data on todella yhteentoimivaa, sillä on korkea prioriteetti.<br />
<br />
Tällä hetkellä meillä on seuraavanlaisia settejä käytössä:<br />
<br />
<br />
<ul>
<li>Asiasanat (Finto, KOKO)</li>
<li>Tieteenala (Finto, OKM-tieteenalat, nämä pitäisi vielä mapata re2orgin listaan kunhan ehdin)</li>
<li>Luonnollinen kieli (Finto, Lexvo)</li>
<li>Sijainti (Finto, YSO-paikat)</li>
<li>Tutkimusifrat (APIsta https://avointiede.fi/ri-rajapinta)</li>
<li>Organisaatio (Olemme koonneet oman json-tiedoston, jossa hyödynnetään samoja koodeja kuin tiedonkeruussa)</li>
<li>MIME type (IANA - tämä on mielestäni suhteellisen turha, mutta on uinut moniin metatietoformaatteihin)</li>
<li>Muiden resurssien luokitus (tämä on meidän oma listamme, osittain DC, halusimme mukaan esim APit)</li>
<li>Tiedostotyyppiluokitus (myötäilee myös DCtermsejä, ääni, teksti, binääri jne)</li>
<li>Resurssin kategorialuokitus, Use category. Tämä on mielestämme tärkeä innovaatio, jolla kerrotaan <i>tiedoston funktio osana tiettyä datasettiä</i>. Esimerkiksi onko kyseessä lisenssitiedosto, readme-tyyppinen dokumentaatio tai itse dataa. </li>
<li>Tarkistussumman algoritmi</li>
<li>Lisenssit </li>
<li>Tekijän rooli (CASRAI contributorRole; Credit Taxonomy)</li>
<li>Muun tekijän rooli (DataCite ContributorType)</li>
<li>Tunnistetyyppi</li>
<li>Saatavuusluokat (niitä on nyt 9, mutta toivomme, että käytössä olisi vain 7, linkittyy teknisesti myös käyttölupaprosessin ja pääsynhallintaan)</li>
<li>Rajoitusperusteluokka (uuden tyyppinen metatieto: Jos rajoittaa saatavuutta on tälle annettava yksi yhdeksästä perusteesta, esim sopimus, etiikka tai joku lainsäädäntö)</li>
<li>Rahoittajat (oma lista)</li>
<li>Relaatiotyypit (näitä on 14, kaikki linkitetty muihin esim dctermsiin tai owliin)</li>
<li>Aineiston elinkaaren tapahtumat. Näitä on kaksi eri settiä: "normaali" aineiston elinkaari sekä pitkäaikaissäilytykseen liittyvät (kuten migraatio tai PASsin tekemä validointi jne) Tähän liittyy myös tulossa oleva oma setti jossa on toimenpiteen tulos. Näissä on taustalla PREMIS-standardi. Kuten myös viimeisessä</li>
<li>Tiedostoformaatin versiotieto.</li>
</ul>
<div>
<br /></div>
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhj1LpIdW2PcJEceQKUhicImBJsD5QIQsgw2lc7-MRTq9LVNq5ca4arDr8ljmlATEQnedmPtP3YpJ41ctCbAdu9Bk8YVTeytTGgW781X_rp7pTZiFZ7RIpY1WH7xEqQXWPv8O7Tkj4uqEV7/s1600/usecategory.png" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="169" data-original-width="1527" height="42" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhj1LpIdW2PcJEceQKUhicImBJsD5QIQsgw2lc7-MRTq9LVNq5ca4arDr8ljmlATEQnedmPtP3YpJ41ctCbAdu9Bk8YVTeytTGgW781X_rp7pTZiFZ7RIpY1WH7xEqQXWPv8O7Tkj4uqEV7/s400/usecategory.png" width="400" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Use Category</td></tr>
</tbody></table>
<br />
Niille tiedoille joilla ei ole URI-tunnistetta luomme PURL-tunnisteen. Kaikkia näitä tulemme tarjoamaan sitten rajapinnan kautta avoimesti muillekin käyttöön, jotta on helppoa tuottaa yhteentoimivaa metatietoa tutkimusaineistoista. Tosin tässä on oltava tarkkana dokumentaation suhteen. Sitäkin pohdimme eilen, miten APIt parhaiten dokumentoitaisiin. Nyt ajateltiin jonkinlaista Swagger - Read the Docs - yhdistelmää. Kuulemmekin mielellämme mielipiteitä aiheesta, mikä mahtaisi olla hyvä ja selkeä tapa käyttäjiemme kannalta?<br />
<br />
<br />
<div>
<br /></div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-8468814598068142622018-06-20T03:38:00.001-07:002018-06-20T04:29:46.251-07:00Metax & OAI-PMH metadata harvesting<span style="background-color: #fdfdfd; color: #333333; font-family: inherit;">Soon to be launched Metax is the metadata repository at the heart of the Fairdata services. Since it does not have a graphical user interface, all of the interactions are handled through APIs. Metax REST API provide a set of restricted endpoints for integrated services to manipulate the state of the repository, as well as an openly available read-only data regarding datasets, data catalogs and schemas.</span><br />
<span style="font-family: inherit;"><br style="background-color: #fdfdfd; color: #333333; font-size: 14.16px;" /></span>
<span style="font-family: inherit;"><span style="background-color: #fdfdfd; color: #333333;">In order to match the capabilities of the current/old/to be deprecated Etsin service, Metax also acts as an OAI-PMH data provider. <a href="https://www.openarchives.org/OAI/openarchivesprotocol.html">OAI-PMH specification</a> </span><span style="background-color: #fdfdfd; color: #333333;">defines a set of actions and an xml based container format for harvesting metadata according to different schemas. The API can be used for bulk harvesting, where the all the metadata is downloaded in its entirety, or for selective harvesting based on sets and/or modification date of the record.</span></span><br />
<span style="font-family: inherit;"><br style="background-color: #fdfdfd; color: #333333;" /></span>
<span style="background-color: #fdfdfd; color: #333333; font-family: inherit;">Currently Metax exposes the following sets for harvesting:</span><br />
<br />
<br />
<ul>
<li>att_dataset - datasets that consists of external/remote resources. </li>
<li><span style="font-family: inherit;">ida_datasets - datasets whose content is stored and maintained by the IDA service.</span></li>
<li><span style="font-family: inherit;">datasets - records from both ATT and IDA catalogs</span></li>
<li><span style="font-family: inherit;">datacatalogs - List of available data catalogs. This includes also catalogs that are populated with externally harvested content.</span></li>
</ul>
<br />
<br />
<span style="background-color: #fdfdfd; color: #333333; font-family: inherit;">Harvested records contain a header with an identifier, timestamp and possible set specification, and a metadata section that conforms to the requested metadata format. There has been a lot of internal discussion about versions and identifiers in Metax (<a href="http://metax-blogi.blogspot.com/2018/02/voihan-versio.html">see blog this blog post</a>). The OAI-PMH interface uses the metadata identifier (i.e. metadata version identifier) as opposed to dataset's preferred identifier for its dataset records. Metadata identifiers are always UUIDs created internally by Metax. Some of the dataset identifiers are also URN's generated by Metax, but they can also be for example DOIs assigned and maintained outside Metax and Fairdata services. Data catalogs are purely internal concept so the same one identifier is used to refer to the metadata and the actual catalog.</span><br />
<span style="font-family: inherit;"><br style="background-color: #fdfdfd; color: #333333;" /></span>
<span style="background-color: #fdfdfd; color: #333333; font-family: inherit;">Metax currently has support for simple oai_dc (link) and a more complex and usable <a href="https://schema.datacite.org/">Datacite 4.1</a> formats for metadata output. The OAI-PMH output is geared towards harvesting through "standard" formats, and the full data according to Metax's internal data model is available through the REST API. There are however couple of deviations from the Datacite specs. The specification only allows DOIs as the primary identifier for the dataset, but at least for now, the most prominent type of identifier is URN that has been minted by Metax itself. Also the content of the element is expressed using three letter code instead of two letters. These are hopefully small potatoes for the consumers of the data and something that can be fixed as the development of Metax moves along.</span><br />
<span style="font-family: inherit;"><br style="background-color: #fdfdfd; color: #333333;" /></span>
<span style="background-color: #fdfdfd; color: #333333; font-family: inherit;">What is still missing from the implementation is the handling of deleted records. When a user removes a dataset records, Metax flags it as deleted and retains the actual record. This would allow us to implement persistent handling of deleted records in the OAI-PMH interface. The twist that complicates the implementation is that the URN resolver is going to be using the OAI-PMH interface as its source data. The resolver is responsible for providing redirection from urn.fi/[identifier] addresses to the Fairdata Etsin urls. Should the identifiers of deleted datasets still resolve to a page in Etsin that says that dataset was deleted? This would be beneficial for example, if the page contains contains links to newer/other versions of the deleted dataset.</span><br />
<div style="height: 0px;">
<br /></div>
Anonymoushttp://www.blogger.com/profile/07328234645280047880noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-55457120883576921712018-05-25T05:02:00.003-07:002018-05-25T05:57:45.196-07:00API-pohdintaaOlemme käyneet hieman läpi millaisia rajapintoja meillä Metaxissa on nyt ensimmäisessä vaiheessa. Kun vanha Etsin poistuu käytöstä kuvailun siirtyessä Qvain-palveluun, Etsimen nykyinen rajapintakin vanhenee. Tulevaisuudessahan ajantasaiset metatiedot löytyvät meiltä MetaXista. Tosin MetaXin APIssa ei ole mitään sen hienompia hakutoiminnallisuuksia (vielä ainakaan) vaan se lähinnä vastaille pid-kyselyihin. Varsinainen indeksinti tehdään Etsimen puolella, mutta siellä taas ei ole täydellisiä tietoja kaikista dataseteistä (esim. vanhat versiot). <br />
<div>
<span style="font-size: small;"><br /></span></div>
Toinen kiinnostava fairdata-rajapinta tulee olemaan Metaxin kyljessä oleva ElasticSearch, joka tarjoaa referenssidatoja, eli relevantteja tunnisteita, joista voi olla hyötyä myös tutkimusorganisaatioille.<br />
<div>
<br /></div>
<div>
Tässä alustava lista varsinaisen Metaxin rajapinnoista (huom: voi vielä muuttua!) Nykyisen Etsimen rajapintojen hyödyntäjien on siis syytä varautua muutoksiin ja olla yhteydessä meihin, jotta voimme auttaa ylimenokauden aikana.</div>
<div>
<br />
<div class="table-wrap" style="caret-color: rgb(51, 51, 51); color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin: 10px 0px 0px; overflow-x: auto; padding: 0px; text-size-adjust: auto;">
<table class="confluenceTable tablesorter tablesorter-default stickyTableHeaders" role="grid" style="border-collapse: collapse; margin: 0px; overflow-x: auto; padding: 0px;"><colgroup><col style="width: 99px;"></col><col style="width: 127px;"></col><col style="width: 258px;"></col><col style="width: 110px;"></col><col style="width: 352px;"></col></colgroup><thead class="tableFloatingHeaderOriginal" style="left: 325px; margin-top: 0px; position: static; top: 92px; width: 764px; z-index: 3;">
<tr class="tablesorter-headerRow" role="row"><th aria-disabled="false" aria-label="API: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="0" role="columnheader" scope="col" style="background-color: #f0f0f0; background-position: right center; background-repeat: no-repeat; border: 1px solid rgb(221, 221, 221); color: #333333; cursor: pointer; max-width: none; min-width: 8px; padding: 7px 15px 7px 10px; text-align: left; vertical-align: top;" tabindex="0" unselectable="on"><div class="tablesorter-header-inner" style="margin: 0px; padding: 0px;">
API</div>
</th><th aria-disabled="false" aria-label="URL: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="1" role="columnheader" scope="col" style="background-color: #f0f0f0; background-position: right center; background-repeat: no-repeat; border: 1px solid rgb(221, 221, 221); color: #333333; cursor: pointer; max-width: none; min-width: 8px; padding: 7px 15px 7px 10px; text-align: left; vertical-align: top;" tabindex="0" unselectable="on"><div class="tablesorter-header-inner" style="margin: 0px; padding: 0px;">
URL</div>
</th><th aria-disabled="false" aria-label="Fairdata users: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="2" role="columnheader" scope="col" style="background-color: #f0f0f0; background-position: right center; background-repeat: no-repeat; border: 1px solid rgb(221, 221, 221); color: #333333; cursor: pointer; max-width: none; min-width: 8px; padding: 7px 15px 7px 10px; text-align: left; vertical-align: top;" tabindex="0" unselectable="on"><div class="tablesorter-header-inner" style="margin: 0px; padding: 0px;">
Fairdata users</div>
</th><th aria-disabled="false" aria-label="World Access: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="3" role="columnheader" scope="col" style="background-color: #f0f0f0; background-position: right center; background-repeat: no-repeat; border: 1px solid rgb(221, 221, 221); color: #333333; cursor: pointer; max-width: none; min-width: 8px; padding: 7px 15px 7px 10px; text-align: left; vertical-align: top;" tabindex="0" unselectable="on"><div class="tablesorter-header-inner" style="margin: 0px; padding: 0px;">
World Access</div>
</th><th aria-disabled="false" aria-label="Comment: No sort applied, activate to apply an ascending sort" aria-sort="none" class="confluenceTh tablesorter-header sortableHeader tablesorter-headerUnSorted" colspan="1" data-column="4" role="columnheader" scope="col" style="background-color: #f0f0f0; background-position: right center; background-repeat: no-repeat; border: 1px solid rgb(221, 221, 221); color: #333333; cursor: pointer; max-width: none; min-width: 8px; padding: 7px 15px 7px 10px; text-align: left; vertical-align: top;" tabindex="0" unselectable="on"><div class="tablesorter-header-inner" style="margin: 0px; padding: 0px;">
Comment</div>
</th></tr>
</thead><tbody aria-live="polite" aria-relevant="all">
<tr role="row"><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">OAI-PMH</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">URN resolving</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Read only</div>
</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Format: DataCite</td></tr>
<tr role="row"><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Dataset</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">/rest/datasets</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Writes: Qvain, Etsin, PAS</div>
<div style="margin-top: 10px; padding: 0px;">
Reads: Qvain, Etsin, PAS, OD</div>
</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Read only</div>
</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
For non-service users, the following fields are removed:</div>
<ul style="list-style-type: square; margin: 10px 0px 0px; padding-left: 22px;">
<li>phone</li>
<li>email</li>
</ul>
</td></tr>
<tr role="row"><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Data Catalog</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">/rest/datacatalogs</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Writes: Metax, Etsin</div>
<div style="margin-top: 10px; padding: 0px;">
Reads: Qvain</div>
</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Read only</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td></tr>
<tr role="row"><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Schemas</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">/rest/schemas</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Reads: Qvain(?)</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Read only</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Serves the schemas used by datacatalogs</td></tr>
<tr role="row"><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">File</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Writes: IDA</div>
<div style="margin-top: 10px; padding: 0px;">
Reads: IDA,OD, PAS</div>
</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Closed</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td></tr>
<tr role="row"><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Contract</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Writes: PAS</div>
<div style="margin-top: 10px; padding: 0px;">
Reads: PAS</div>
</td><td class="confluenceTd" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Closed</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td></tr>
<tr role="row"><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">File Storage</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Writes: Metax</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Closed</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td></tr>
<tr role="row"><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Directories</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"></td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Writes: Non-writable</div>
<div style="margin-top: 10px; padding: 0px;">
Reads: Etsin, Qvain, OD</div>
</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Closed</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Api for browsing files:</div>
<ul style="list-style-type: square; margin: 10px 0px 0px; padding-left: 22px;">
<li>Frozen files</li>
<li>Files associated with a dataset</li>
</ul>
</td></tr>
<tr role="row"><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Api Errors</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><br /></td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;"><div style="padding: 0px;">
Writes: Metax</div>
<div style="margin-top: 10px; padding: 0px;">
Reads: Metax</div>
</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Closed</td><td class="confluenceTd" colspan="1" style="border: 1px solid rgb(221, 221, 221); min-width: 8px; padding: 7px 10px; vertical-align: top;">Serves details about errors occurred during requests</td></tr>
</tbody></table>
</div>
</div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-27615720590965273922018-05-16T03:57:00.001-07:002018-05-16T05:28:32.486-07:00Toimijat ja tutkimusaineistot<br />
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><span style="margin-left: auto; margin-right: auto;"><a href="https://commons.wikimedia.org/w/index.php?curid=5459869"><img border="0" data-original-height="1094" data-original-width="1600" height="218" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi9ai23Tru_iz7YvD_sModtLMY_8NKIg64-EdJcpNtryoFmAs9Bagjcthwu_4zXjSd6dXa4wEg2ZDY38AFLgM7CcpIqmQ3Y1E-6UBgqBNbxZ-VyPTHLx7D0mMSMJwAvVeGcicq_C5T9Fle2/s320/A_Wilde_time_3.jpg" width="320" /></a></span></td></tr>
<tr><td class="tr-caption" style="text-align: center;"><a href="https://commons.wikimedia.org/w/index.php?curid=5459869"> Oscar Wilde by Napoleon Sarony - http://hdl.loc.gov/loc.pnp/ppmsca.07756, Public Domain.</a></td></tr>
</tbody></table>
<br />
Tutkimusaineistoihin ja niiden metatietoihin liittyy monenlaista toimijaa, niin henkilöä kuin organisaatiota. Aineiston kuvailuun liittyvät metatiedot palvelevat erilaisia tarkoituksia. Tiedot tukevat niin oikeuksien hallintaa, viittaamista ja meritoitumista kuin löydettävyyttä ja tiedon linkittymistä.<br />
<br />
Eri metatietoformaateissa on kuitenkin erilaisia toimijoita ja rooleja ja ne on määritelty joskus hyvin löyhästi. On curatoria, data stewardia, custoidiania ja kaiken maailman contributortypeä. Asiaa ei helpota sekään, että viittausohjeita halutaan yleensä generoida automaagisesti, jotta niitäkin voi tehdä eri ohjeiden mukaan. Miten voisimme määritellä eri roolit, jotta niitä voisi ohjeistaa selkeästi ja käyttää yhdenmukaisesti!?<br />
<br />
Kävimme läpi tavallisimpia metatietomalleja ja päädyimme seuraavanlaiseen hahmotelmaan:<br />
<br />
<h4>
Tekijä</h4>
<div>
Tämä on se perinteinen aineiston luoja, eli joskus <i>creator</i>, <i>author</i> tai <i>originator</i>. Suhteellisen selkä (vaikka tässäkin kohtaa jotkut tutkijat ilmoittavat organisaationsa ...)</div>
<div>
<br /></div>
<h4>
Muu tekijä</h4>
<div>
<i>Contributor.</i> DataCitessä tähän liittyy iso kasa rooleja, joista vain osa (mutta suuri osa) menee tähän kategoriaan.<i> </i>Eri formaateista löytyy m.m. <i>editor, processor, validator, producer, </i>...</div>
<div>
<br /></div>
<h4>
Omistaja</h4>
<div>
Omistaminen on ehkä sähköisten aineistojen kohdalla vähän hassu konsepti. Puhummekin mieluummin <i>RightsHolder</i>ista. "Person or institution owning or managing property rights, including intellectual property rights over the resource", sanoo DataCite, jossa ei ole owneria lainkaan. Eli kyseessä on taho, jolla on päätösvaltaa aineistoon ja sen käyttöön liittyvissä kysymyksissä. Ja samalla myös vastuu siitä. Oikeuksien omistajia voi olla useita.</div>
<div>
<br /></div>
<h4>
Kuraattori</h4>
<div>
Tähän haluaisimme henkilön ja hänen yhteystietonsa. Keneltä kysyä, kuka on hoitanut ja huoltanut aineistoa ja osaa kertoa siitä lisää? Käytettyjä termejä ovat <i>curator, custodian, point of contact, data manager </i>ja <i>data steward.</i></div>
<div>
<i><br /></i></div>
<h4>
Jakelija</h4>
<div>
Tämä taho on se perinteinen julkaisija, joka saattaa aineiston käytettäväksi. Metatiedossa kulkee nimellä <i>distributor, publisher </i>tai <i>hosting institution. </i>Tähän kohtaan sopii mieluiten organisaation tieto ja se ilmoitetaan viittauksessa, mikä on järkevää löydettävyyden tukemisen kannalta.</div>
<div>
<br /></div>
<div>
<br /></div>
<div>
Tällaisella karkealla ryhmittelyllä toivomme sekä auttavamme ohjeistamista että helpottavamme mäppäyksiä. Kuulemme mielellämme millaisia ajatuksia ehdotuksemme herättää!</div>
<div>
<br /></div>
<div>
<br /></div>
<div>
P.S. <a href="https://etsin-test.fairdata.fi/">Testietsin</a> on muuten avoinna maailmalle. Se on tosiaan tosi testiversio, eli se välillä toimii ja välillä ei. Eikä ole muutenkaan valmis. Mutta ainahan voi vähän kokeilla. Ja kommentoida.</div>
<div>
<br /></div>
<h4>
</h4>
<div>
<b><br /></b></div>
<div>
<b><br /></b></div>
<div>
<br /></div>
<div>
<br /></div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-74398681269178287892018-04-04T03:58:00.000-07:002018-04-04T03:58:34.465-07:00Metaxporukka taas vauhdissaEdellinen sprinttimme oli eräänlainen välisprintti, kun kehittäjämme pääosin tekivät muita Fairdata-palveluita, mm IDAa ja Etsintä. Tämän sprintin aikana selvittelemme tutkimuksen pitkäaikaissäilytyksen vaatimien metatietojen luonti- ja kirjoitusprosessia sekä mietimme tietojen luovuttamista ulos. Näyttäisi siltä, että ensi askel avaamiseen on OAI-PMH, joka tarjoaa DataCite -formaattia. Valmistaudumme näin myös mahdollisuuteen tulevaisuudessa tarjota DOI-tunnisteita Fairdata.fi-kokonaisuuden palveluille.<br />
<br />
Toinen kokonaisuus, joka voisi olla mielenkiintoinen datasetti myös tutkimusorganisaatioille, on ElasticSearchissa olevat referenssidatamme, jossa on tarjolla tunnisteita esimerkiksi tutkimusinfrastruktuureille, tieteenaloille, käyttöoikeusluokille, lisensseille ja sen sellaisille asioille. Joskus nämä ovat primääridataa, joskus muualta kopioitua (esim. Finto).<br />
<br />
Eräs asia, jota myös tulemme pohtimaan on Metaxin sisäisten aineistokatalogien kuvauksia ja määritelmiä. Ensinnäkin, jokainen haravointilähde on saa oman kataloginsa. Lisäksi pidämme erillämme IDA:ssa (ida-katalogi) olevat aineistot sekä muut palvelukokonaisuuden "omat" metatiedot (att-katalogi). Näille katalogeille pitää luoda kuvaukset. Ajatukseni on myös tällä hetkellä, että PAS-aineistot olisivat omassa katalogissaan, sillä tällä tavoin näitä aineistoja ja niiden kuvailutietomallia ja metatietoja olisi todennäköisemmin helpompi hallinnoida joustavasti, jos uusia tarpeita ilmenee. Haasteena tässä on ehkä määritellä suhde aineistoversioiden välille, jos tietueet ovat eri katalogeissa.<br />
<br />
<br />
<br />
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjuulaPpw8IMs4RMNROVKxwmnL4dFfMrpzSgrpRpA29ryDMEkd77D1xUIoXmj_YXZQIyCwPmB8seU6w0jGfb1R2hmx4TOHYqcrxZV6aZBjmPBXpxnLBGHk0h-E2QTyna-DlqAD551mRPwY2/s1600/datacatalog.png" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="548" data-original-width="1291" height="167" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjuulaPpw8IMs4RMNROVKxwmnL4dFfMrpzSgrpRpA29ryDMEkd77D1xUIoXmj_YXZQIyCwPmB8seU6w0jGfb1R2hmx4TOHYqcrxZV6aZBjmPBXpxnLBGHk0h-E2QTyna-DlqAD551mRPwY2/s400/datacatalog.png" width="400" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;"><a href="https://tietomallit.suomi.fi/model/mdc/Catalog/">Katalogien tietomalli löytyy Yhteentoimiva Suomi -palvelusta.</a></td></tr>
</tbody></table>
<br />
<br />
<br />
<br />
<br />Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-45847503359829430352018-03-26T01:09:00.001-07:002018-03-26T01:32:46.765-07:00Älykkäästi tietoa Suomessa tehtävästä tutkimuksesta<blockquote class="tr_bq">
<i>MetaX on tietenkin osa ympäröivää maailmaa, isompaa kokonaisuutta ja sen arvokkaat tiedot voivat tukea tutkimusorganisaatioitamme monella tavalla. Siksi vieraileva naapuritiimimme CSC:stä kertoo tässä kirjoituksessa kansallisesta Tutkimustietovarannosta, jota ovat tekemässä. Metatiedoilla on nimittäin monenlaista käyttöä.</i></blockquote>
<br />
Tutkimuksessa, kuten kaikessa, on tavallista, että vuorollaan jotkut asiat ovat toisia trendikkäämpiä ja paremmin esillä. Puhutaan jopa hypestä. Tällä hetkellä keskustelu niin tutkimuksessa kuin muillakin kentillä käy kiivaana tekoälystä. Mitä tekoälyllä tarkoitetaan? Tiedätkö, keneen otat yhteyttä, jos haluat tietää lisää tekoälystä? Kuinka paljon Suomessa todellisuudessa tutkitaan tekoälyä? Ja miten tekoälyä voi edes tutkia, mitä aineistoja tutkijat voivat siihen käyttää? Kuka tekoälyn tutkimusta rahoittaa? Onko suomalainen tekoälytutkimus kiinnostavaa myös muualla maailmassa? Mikä muu tutkijoita tällä hetkellä kiinnostaa?<br />
<br />
<br />
Tutkimustietovaranto vastaa älykkäästi esimerkiksi näihin kysymyksiin. Se kokoaa metatiedot Suomesta tehtävästä tutkimuksesta ja liittää yhteen muun muassa tiedot tutkijoista, tutkimuksen tuotoksista, organisaatioista, aineistoista ja rahoittajista. Voit tulevaisuudessa tarkistaa yhdestä paikasta, mitä tutkimusta tekoälystä on tehty, kuka on tehnyt ja kuka rahoittanut. Pysyvien tunnisteiden ansioista näet, mitä muuta alaan perehtynyt tutkija on urallaan tutkinut ja kuka muu on tutkinut samaa. Trendien ohella tutkimustietovaranto mahdollistaa myös uusien asiantuntijoiden ja tutkimusalojen esiintuomisen.<br />
<br />
<br />
Kaikkein älykkäintä tutkimustietovarannossa on, ettei se vaadi ylimääräistä työtä vaan vähentää hallinnollisen työn taakkaa. Kaikki tietojensyöttö automatisoidaan useista eri lähdejärjestelmistä – kuten MetaXista – jonka jälkeen tieto on vapaasti käyttävissä erilaisissa sähköisissä järjestelmissä. Esimerkiksi tutkijan ei tarvitse joka kerta syöttää julkaisuluetteloaan eri hakemuksiin, vaan tiedot saa kätevästi poimittua tutkimustietovarannosta. Tutkimustietovarannon avoin rajapinta mahdollistaa myös lukuisten uusien tutkimustietoa hyödyntävien palveluiden ja sovellusten kehittämisen.<br />
<br />
<br />
Kansallinen tutkimustietovaranto on kansainvälisesti uraauurtava palvelu. Tutkimustietovarannon suunnittelu on aloitettu vuonna 2017 ja valmistuminen on arvioitu vuodelle 2020. CSC – Tieteen tietotekniikan keskus kehittää valtakunnallista tutkimustietovarantoa opetus-ja kulttuuriministeriön toimeksiannosta. Lisää tutkimustietovarannosta voit lukea tutkimustietovarannon blogista <a href="http://research.fi/">research.fi</a>.Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-42178634128230171152018-03-02T07:02:00.001-08:002018-03-09T04:04:10.750-08:00A Fair(y)data service user Tale<i>My wonderful colleagues suddenly felt an urge to tell a nice story in English about how they envision their mission providing a convenient research data service. It presents a user perspective and we hope it can help us spot issues in the integration processes. Please, feel free to comment, honoured colleagues from near and far! </i><br />
<i><br /></i>
<i>So, buckle up: Once upon a time ...</i><br />
<br />
<br />
<span style="white-space: pre;"> </span>1.<span style="white-space: pre;"> </span>There are three wise researchers from University of Turku, Tampere and from the Jyväskylä University of applied sciences. They have gathered amazing data about one special flea species that lives in house sparrows. They (the researchers, not the sparrows) are now finalizing an article and they want to include a data citation to their data, to give it the visibility it deserves. Therefore, they need a persistent identifier for their dataset. The researchers have a common storage space in the far-famed IDA service. To gather the data they use their IDA project’s staging area, which is a folder with full editing rights for all project members. Each researcher, of course, uses sensible file names and well-organised folder structures to make it easy to keep track of data files. However, when they’re ready to publish their final results they feel that they could reorganize their data once more. No worries: all project members are free to rename and rearrange data in the staging area. After deciding to publish the sparrow-flea-data the project members carefully arrange the data under one root folder in the staging area. After they’re happy with the new folder structure and file names one of the researchers chooses the root folder of the ready data and clicks on the button "Freeze". <br />
<div class="separator" style="clear: both; text-align: center;">
<br /></div>
<br />
<span style="white-space: pre;"> </span>2.<span style="white-space: pre;"> </span>The freezing feature moves all data under the chosen root folder to the projects frozen area and makes it read-only. The file metadata is stored in MetaX in a background operation, which makes the file metadata available for other services in the ecosystem. The other two researchers go to check the files in the project’s freezing area and download it on their own computers. They both see that it’s the final version of the data and everything’s good to go. The researchers are now ready to publish the data. Hooray! <br />
<br />
<br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiYYFy27-VUTbXl7gbL2PxBK-KVy_L-2WCGal493FXp0mM1MikbZfcJZCagxLnjDhMvddmyk_mWLWdt2nYty_VrcU508rJF04d1YWk7mHxYUf2hYQdK0Eipq2FEQ_QFMw-k_zHNs_4b9oOf/s1600/black-snowflake-99.jpg" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" data-original-height="1600" data-original-width="1600" height="320" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiYYFy27-VUTbXl7gbL2PxBK-KVy_L-2WCGal493FXp0mM1MikbZfcJZCagxLnjDhMvddmyk_mWLWdt2nYty_VrcU508rJF04d1YWk7mHxYUf2hYQdK0Eipq2FEQ_QFMw-k_zHNs_4b9oOf/s320/black-snowflake-99.jpg" width="320" /></a></div>
<div class="separator" style="clear: both; text-align: center;">
<br /></div>
<br />
<br />
<span style="white-space: pre;"> </span>3.<span style="white-space: pre;"> </span>One of the researchers clicks “create a new dataset” button in IDA and is taken to Qvain. She’s presented with a metadata editor where she can fill out metadata about the dataset she’s about to publish. She clicks the Get persistent identifier button and the UI now shows a PID she can send over to her colleague for the article. She then fills the required fields and even adds geospatial data about the locations where the data was gathered “Pretty neat”, she thinks and hits a button in Qvain called “IDA file picker”. <br />
<br />
<br />
<span style="white-space: pre;"> </span>4.<span style="white-space: pre;"> </span>The researcher is now presented with a file system view similar that she has in IDA. One big difference is that she only sees the data that is in the project’s <i>frozen </i>area. The other older versions and raw data that the researchers had stored in the staging area are not visible. The file picker is actually not showing IDA, but the file metadata (file path, name, size, checksum etc..) that was stored in MetaX when the file was frozen in IDA. The user selects the root folder of the frozen data, which automatically selects all files and subfolders that are under it. She sets the data as freely accessible. This means that once the dataset metadata is published, anyone browsing the dataset can download the files linked to it on their own computer. <br />
<br />
<br />
<span style="white-space: pre;"> </span>5.<span style="white-space: pre;"> </span>The researcher is a bit unsure about what licence they should use for the dataset. She hits “Save as Draft” (and not “Save and Publish”) which saves a local copy of the dataset description in Qvain. She goes talk to her colleague in the next room. The colleague tells her that the default in Qvain called CC-BY-4.0 is a good and recommended option for research data. <br />
<br />
<br />
<br />
<br />
<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhAroK9TsTURcVm95bio3HFq5eBVzeju8i1xXzxvr_X5T07amBqYj0MdMGTzRHAj1ujbNl-Mz5Nd8UkFjfumiKSiWo7uJvzsRzguiP7celP_JR_xbcL91e3X00nPC6B-fTj30vvQGVSpngX/s1600/256px-Fairy_With_Wand.svg.png" imageanchor="1" style="clear: right; float: right; margin-bottom: 1em; margin-left: 1em;"><img border="0" data-original-height="185" data-original-width="256" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhAroK9TsTURcVm95bio3HFq5eBVzeju8i1xXzxvr_X5T07amBqYj0MdMGTzRHAj1ujbNl-Mz5Nd8UkFjfumiKSiWo7uJvzsRzguiP7celP_JR_xbcL91e3X00nPC6B-fTj30vvQGVSpngX/s1600/256px-Fairy_With_Wand.svg.png" /></a></div>
6.<span style="white-space: pre;"> </span>The researcher is happy with the way the dataset description looks and clicks the “Save and publish” button. She’s presented with a link to Etsin research data finder to view the published data. What she doesn’t see, is that the dataset metadata and links to IDA file metadata have now been stored to MetaX. All the dataset metadata, including links to file metadata that MetaX knows, are shown by Etsin. However, the metadata about files in IDA’s frozen area that are not linked to any dataset metadata are not shown nor searchable in Etsin. <br />
<br />
<br />
<br />
<br />
<span style="white-space: pre;"> </span>7.<span style="white-space: pre;"> </span>The researcher clicks the link that takes her to Etsin and sees a page that is called a dataset landing page. The page shows the metadata and the file links that she created using Qvain. Next to the information about the data files there’s a button that says “Download all”. The researcher clicks the button and her browser starts to download the files. When she clicks the button the information about the dataset identifier and about the internal identifiers of the files is taken to the Fairdata data access service, which then queries MetaX. The Fairdata data access service needs to know that the dataset identifier and the file identifiers exist, and that the dataset truly is downloadable by all users. They are, so MetaX answers tells the Fairdata access service where the files are located in IDA. The Fairdata data access service then uses a special API in IDA to fetch the files.<br />
<br />
<br />
<span style="white-space: pre;"> </span>8.<span style="white-space: pre;"> </span> The researcher now sees that anyone can download their data on their own computer and knows how to use and cite it! <br />
<div>
<br />
-- <i>Updated 7.3. step 7, details about downloading files</i></div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com5tag:blogger.com,1999:blog-4350965294363810566.post-8212110578970434712018-02-20T05:55:00.000-08:002018-02-20T06:46:27.561-08:00Voihan versio!<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://upload.wikimedia.org/wikipedia/commons/4/4a/WonderCon_2011_-_Clone_Troopers_(5593926486).jpg" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="600" data-original-width="800" height="240" src="https://upload.wikimedia.org/wikipedia/commons/4/4a/WonderCon_2011_-_Clone_Troopers_(5593926486).jpg" width="320" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">By The Conmunity - Pop Culture Geek from Los Angeles, CA, USA (WonderCon 2011 - Clone Troopers) [CC BY 2.0 (http://creativecommons.org/licenses/by/2.0)], via Wikimedia Commons</td></tr>
</tbody></table>
<div dir="ltr" style="line-height: 1.38; margin-bottom: 0pt; margin-top: 0pt;">
<br /></div>
Versioinnin toteutus liittyen eri tyyppisiin tutkimusaineistoihin on ollut muutaman viimeisen sprintin vakiopuheenaihe. Monet keskustelun avaukset ovat päätyneet nopeasti umpikujaan yhteisesti sovittujen käsitteiden puuttumisen takia. Pelkästä versioinnista puhuminen, ilman tarkentavaa määrettä, on hankaloittanut keskustelua, koska Metax käsittelee tutkimusaineistoihin liittyviä versioita sekä metatieto- että datatasolla. Metaxin tavoitteena on ylläpitää molempiin liittyviä versiohistorioita datan ja datan kuvauksen provenienssin säilyttämiseksi. Toisaalta, koska varsinainen aineisto sijaitsee aina Metaxin ulkopuolisessa järjestelmässä kuten esimerkiksi IDAssa, kyse on pikemminkin datalinkityksistä. Aineistoon liittyvät tiedostot voivat myös sisältää metatietoa aineistosta, joten osa metatiedostakin on Metaxin ulottumattomissa.<br />
<br />
Staattisen aineiston versioinnin lähtökohtana on, että jos tutkimusaineistoon liittyvät tiedostot muuttuvat millään tavalla, aineistosta on tehtävä uusi versio, joka saa uuden URN-muotoisen tunnisteen. Kumulatiivisiin aineistoihin voidaan sen sijaan lisätä uusia tiedostoja ilman, että tutkimusaineiston tunniste muuttuu. Kumulaativisten tutkimusaineistojen luominen on aluksi mahdollista ainoastaan sellaisille aineistoille, joiden tiedostot on tallennettu IDAan. IDA tarjoaa Metaxille luotettavan tiedon yksittäisten tiedostojen identiteetistä, minkä avulla Metax voi päätellä ovatko tutkimusaineistoon liittyvät tiedostot muuttuneet. Muissa järjestelmissä olevien tiedostojen kohdalla vastaavanlainen toiminnallisuus voisi liittyä esimerkiksi aineistoon liittyvien tiedostojen checksum-tietojen vertailuun, mutta tätä ei ole vielä toteutettu.<br />
<br />
Tiedoston lisääminen tarkoittaa tässä yhteydessä linkin luomista tutkimusaineiston ja tiedoston välillä tietokantatasolla, mikä mahdollistaa lisättyjen tiedostojen selailun Etsimessä, mutta kyseiset tiedostot eivät kuitenkaan näy osana tutkimusaineiston metatietoja. Toteutuksen ansiosta paljon tiedostoja sisältävät aineistot eivät kasvata metatietodokumenttia, jos tiedostoja ei ole erikseen kuvailtu. Tiedoston kuvailu tarkoittaa metadatan lisäämistä lisättyyn tiedoston tai hakemiston metatietoihin Metaxin Research dataset -katalogiin. Metatieto voi olla esimerkiksi tiedoston tyyppi (dokumentaatio, konfiguraatio jne.) tai tarkempi nimike. Tiedostojen kuvailut tallennetaan osaksi tutkimusaineiston metadataa, mikä puolestaan tuottaa uuden metadataversion.<br />
<br />
Tutkimisaineistojen versioiden väliset linkityksen tulisi olla myös osa metatietoja. Esimerkiksi DataCite sisältää relaatiot “isNewVersionOf” ja “isPreviousVersionOf”, joita voidaan käyttää tutkimusaineistojen linkittämiseen toisiinsa. Kun käyttäjä luo uuden version olemassa olevasta aineistosta, Metax lisää uuden tutkimusaineiston metatietoihin automaattisesti linkin aikaisempaan versioon. Koska versiolinkki on osa Qvaimessa vapaasti muokattavissa olevia relaatiotietoja, on mahdollista, että käyttäjä syystä tai toisesta poistaa linkin tai muokkaa sen sisältämään virheellisiä tietoja. Tästä syystä Metax ylläpitää tietokantatasolla tietoja myös tutkimusaineistojen versioiden välisistä linkeistä samaan tapaan kuin metatietoversioista, joita käyttäjä ei pysty muokkaamaan. Etsin käyttää tätä muuttumatonta versiota versiotiedostosta(!) hakuindeksin ylläpitoon ja versioiden näyttämiseen käyttöliittymässä.<br />
<br />
Fairdata-kokonaisuuteen liittyvät komponentit aineistojen tallentamiseen (IDA), kuvailuun (Qvain) ja hakuun (Etsin) liittyvät toisiinsa Metaxin kautta, jonka tavoitteena on tarjota palveluille skaalautuva, varmatoiminen ja turvallinen ratkaisu datan integroimiseen. Versioilla ja versioilla on vaikutuksia sekä aineiston kuvailuun Qvaimen päässä että niiden näyttämiseen osana Etsimen käyttöliittymää. Qvaimen käyttäjä saattaa esimerkiksi haluta vertailla saman tutkimusaineiston metadatan versioita selvittääkseen kuvaukseen liittyviä ongelmia. Etsimen käyttäjä on puolestaan todennäköisesti kiinnostunut enemmän tutkimusaineistojen eri versioista. Anonymoushttp://www.blogger.com/profile/07328234645280047880noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-36564403052257982352018-02-13T05:23:00.001-08:002018-02-13T05:24:25.755-08:00IDAn migraatiot käynnistyvät<a href="https://avointiede.fi/ida-uudistus">IDA:n uudistumiseen</a>
liittyvät datamigraatiot ovat nyt alkaneet. Datamigraatioiden aikana
käyttäjien palveluun lataamat tiedostot kopioidaan vanhasta IDAsta
uuteen ympäristöön. Nyt meneillään olevan datasiirtovaiheen jälkeen
alkavat varsinaiset <a href="https://avointiede.fi/ida-migraatio">projektikohtaiset migraatiot</a>,
joiden aikana tehdään datasiirtojen tarkistus ja mm. tiedostojen
järjestelmätietojen siirto, niin että kaikki tarvittava tieto tuodaan
vanhasta ympäristöstä uuteen. <b>MetaX </b>astuu kuvaan vasta kun tiedostoja
migraation jälkeen jäädytetään uudessa ympäristössä, jolloin niistä
siirtyy tietoja metatietovarantoon file API:n kautta.<br />
<br />
Uudessa IDA:ssa on nimittäin <a href="https://avointiede.fi/ida-sailytysalueet">kaksi eri säilytysaluetta</a>: valmistelualue (staging) ja jäädytetty alue (frozen).
Valmistelualueella projektin jäsenet voivat lisätä, uudelleennimetä,
ylikirjoittaa ja poistaa dataa sekä muokata hakemistorakenteita.
Valmistelualueella hakemistojen ja tiedostojen metatietoja ei tallenneta
metatietovarantoon eli ne eivät myöskään näy tutkimusaineistojen
kuvailutyökalussa. Uudistuneessa IDAssa ei itsessään tulla enää
liittämään tiedostoihin käyttäjän luomaa metadataa, vaan IDA-tiedostoja
tullaan kuvailemaan aineistoiksi tulossa olevalla kuvailutyökalulla,
jolla tehty aineistometadata tallentuu Metaxiin. Valmistelualueen
tiedostoista ei tehdä replikaa, joten datan tallennus valmistelualueelle
ei suojaa dataa häviämiseltä mikäli palveluun tulee vakava vikatilanne.
RAIDin ansiosta kuitenkaan yksittäinen levyrikko palvelussa ei aiheuta
datan häviämistä.<br />
<br />
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjQt4_f-tHKMIgJICeQfk9u3F38yEaAqqBfdsMmPcSbsKfjzafQgTbGu60bC80Rq6-G-N-afdu4JuPQ5RN_uUzdWakb_Gyw8aJn1tAplRypz4jw2bclK36G2wgyOwDXwcH4R8B-2P9Sq54/s1600/34067583981_46c2b898a3_b.jpg" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="685" data-original-width="1024" height="214" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjQt4_f-tHKMIgJICeQfk9u3F38yEaAqqBfdsMmPcSbsKfjzafQgTbGu60bC80Rq6-G-N-afdu4JuPQ5RN_uUzdWakb_Gyw8aJn1tAplRypz4jw2bclK36G2wgyOwDXwcH4R8B-2P9Sq54/s320/34067583981_46c2b898a3_b.jpg" width="320" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Uudistunut IDA tulee loppukäyttäjien saataville kevään kuluessa. Kuva Pekka Tolvanen CC BY-NC-SA 2.0</td></tr>
</tbody></table>
<br />
Kun käyttäjä jäädyttää uudessa IDAssa dataa,
data siirtyy IDAn valmistelualueelta jäädytetylle alueelle. Jäädytetyllä
alueella tiedostoilla on UUID:t, tarkistussummat ja niiden metatiedot
tallennetaan metatietovarantoon. Jäädytetyn alueen tiedostoista tehdään
myös replika toiselle medialle jäädytyksen yhteydessä.<br />
<br />
Uudistuneen
IDAn käyttöönotto on tarkoitus tehdä niin, että ensimmäiset vanhasta
IDAsta migroidut projektit ottavat palvelun käyttöön suunnilleen
samoihin aikoihin kun palvelu tulee myös uusien IDA-käyttäjien
saataville. Projektit migroidaan uuteen palveluun osissa, eli kaikille
vanhoille käyttäjille uusi IDA ei tule samana ajanhetkenä käyttöön.
IDA:n verkkosivuille tullaan lisäämään tarkennusta aikatauluun migraation
edetessä. Ajankohta-arvio uudistuneen IDA-palvelun käyttöönotolle on
maalis-huhtikuu 2018.<br />
<br />
Uuden ympäristön loppukäyttäjille tarjolla
oleva verkkotallennustila on rakennettu NextCloud-ohjelmiston päälle.
On tärkeä kuitenkin huomioida, että IDA:ssa on poistettu käytöstä monia
NextCloudin toiminnallisuuksia ja rakennettu uusia. Siksi on hyvä
tutustua tarkasti uuden IDA:n käyttöoppaaseen, joka tullaan pian
lisäämään IDAn verkkosivuille. Myöskään loppukäyttäjille ei ole järkevää
mainostaa IDA NextCloudina, sillä tiedostojen säilytykseen liittyvien
toiminnallisuuksien vuoksi esim. NextCloudin native/mobiili clientia ei
tueta, eikä myöskään monia muita rajapintaan liittyviä asioita. <br />
<br />
Palvelun
käyttö vaatii jatkossakin CSC-tunnuksen ja kuulumisen
CSC-projektiin. Erillistä IDA-salasanaa ei jatkossa enää ole, vaan
autentikaatio tehdään joko Hakalla tai suoraan CSC-tunnuksella.Suvi Pousihttp://www.blogger.com/profile/17334160393576046059noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-37600096012692379452018-01-26T05:43:00.000-08:002018-01-30T05:12:42.818-08:00 Tutkimuksen aineistot ja niiden pysyvät tunnisteet<div class="separator" style="clear: both; text-align: center;">
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikGnvEpQfbT3QvxuxoKvKlzjiP_61lK8uCrxRlNSimZ18v0E0qAClcJi__FRd84zrHoxcqsRAa18fl3CbyeJs-Wvdl5PGVHAE3IKeLYnWoPQCCEJ0JvPjWWvf5VjSqxpmdCkrWLPOgE8bQ/s1600/fractal-waves-14619095571AU.jpg" imageanchor="1" style="margin-left: 1em; margin-right: 1em;"><img border="0" data-original-height="1063" data-original-width="1600" height="212" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikGnvEpQfbT3QvxuxoKvKlzjiP_61lK8uCrxRlNSimZ18v0E0qAClcJi__FRd84zrHoxcqsRAa18fl3CbyeJs-Wvdl5PGVHAE3IKeLYnWoPQCCEJ0JvPjWWvf5VjSqxpmdCkrWLPOgE8bQ/s320/fractal-waves-14619095571AU.jpg" width="320" /></a></div>
<br />
<br />
Tutkimusdataa on monenlaista ja sitä voi luokitella ja jaotella monella eri tavalla. Yksi tapa, joka on erityisen keskeinen kun puhutaan aineistojen elinkaaren hallinnasta ja tutkimuksen toistettavuuden tarpeista, on jakaa aineistot dynaamisiin, karttuviin ja staattisiin aineistoihin. Olemme Metaxin tiimissä työstäneet seuraavanlaista ratkaisua.
<br />
<br />
<b>Dynaamiset aineistot</b> ovat tietokantatyyppisiä ja niissä tehdään versionhallintaa. Niissä viittaukset (ja niissä käytettävät pysyvät tunnisteet) voivat vaikka olla tietokantakyselyitä. Näille aineistoille on tehty Research Data Alliance-työryhmässä omat <a href="http://hdl.handle.net/11304/0487ec7b-7ae5-4894-8139-8fa6bd636793" style="text-align: center;">viittausohjeet</a><span style="text-align: center;">. Tällä hetkellä palvelukokonaisuutemme ei ainakaan vielä suoraan kata tämän tyyppisten aineistojen pitkäaikaista aineistonhallintaa tai pysyviä tunnisteita. Dynaamisia aineistoja ylläpidetäänkin pääosin tutkimusalakohtaissa asiantuntijaorganisaatioissa, sillä niiden ylläpitäminen ja hallinnointi vaatii erityisosaamista. Ne voivat myös olla riippuvaisia eri alojen erilaisista tarpeista ja käytännöistä. Mutta jos haluaa, metatietovarantoon voi tallentaa tällaisen luotettavan lähteen uri-tunnisteen remote resource-kohtaan ja kuvailla sen.</span><br />
<br />
<br />
<b>Staattinen aineisto</b> on “perinteinen” tutkimusjulkaisu, jonka tunniste on ehdoton tae aineiston ainutkertaisuudesta ja siitä, että se on aina identtinen milloin ja mistä vaan siihen löytää tiensä. Kunnes se ehkä poistetaan tarpeettomana tai virheellisenä. Silloinkin sen tunniste resolvoituu edelleen kuvailusivulle. Jos staattinen aineisto muuttuu, siitä syntyy uusi versio, joka saa uuden oman pysyvän tunnisteen, joka linkittyy edellisiin versioihin. Tulemme hakupalvelussamme indeksoimaan vain uusimman version metatiedot, mutta niistä pääsee aina myös edellisiin versioihin. Vanhan version tunniste johtaa aina oikealle sivulle, mutta siitä näkee, että uudempiakin versioita on. Tällä tavoin viittaaminen on tutkijoille turvallista ja selkeää.<br />
<br />
<br />
<b>Karttuvat aineistot</b> ovat hieman uudenlainen aineistotyyppi, vaikka sitä on jo <a href="http://ceos.org/document_management/Working_Groups/WGISS/Documents/WGISS%20Best%20Practices/CEOS%20Persistent%20Identifier%20Best%20Practices_v1.2.pdf">suositeltu aiemmin</a>. Se sopii erityisesti erilaiselle mittausdatalle tai muille kasvaville aineistoille, joita kertyy aikasarjoina ja <i>formaatiltaan täysin yhtenäisenä</i>. Tällaista tarvetta varten ei ole tarpeen luoda uusia tunnisteita (metatietosettejä) joka kerta kun uutta dataa lisätään uudessa tiedostossa. Sen sijaan tällaisen avoimen datasetin kohdalla sallitaan <i>vain yhdenlainen muutos</i>: tiedoston lisääminen, mikä tallennetaan tapahtumana. Mikäli parametrit tai laatu jotenkin muuttuu, aineisto on suljettava. Siitä voi tehdä uuden version tai aloittaa uuden aineiston keräämisen uusilla metatiedoilla. Tällainen aineisto, joka on avoimessa tilassa, ei siis ole kokonaisuutena välttämättä täysin identtinen joka kerta kun tunnisteen kautta sinne päätyy. Silti viittaaminen on turvallista, koska olemassa oleviin tiedostoihin ei voi kajota. Mikäli tekijä poistaa tiedostoja, aineisto rikkoontuu ja poistuu, mutta muistosivu jää. Aineistosta voi tehdä uuden version, johon voi sitten viitata. Koska viittaamisohje on osa hakupalveluiden tehtävää, voidaan viittausohje laatia tälle aineistotyypille sopivalla tavalla, siten että viittamisen yhteydessä on syytä tarkentaa mitä osaa ainestossa on käytetty esim. päivämäärien avulla.<style type="text/css">
p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica}
p.p2 {margin: 0.0px 0.0px 0.0px 0.0px; font: 12.0px Helvetica; min-height: 14.0px}
</style>Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-34078498376910100702018-01-08T23:45:00.000-08:002018-01-08T23:45:35.956-08:00Lomiltapaluu isojen kysymysten äärelle<br />
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhoL6GngO5vAUMUfWGhLIS_zU2YgaT62UNX8_IwGchQ3Tf-XjgvJLmvj7oKRdeT-OPd7XnZOJFpOqCPnPB5TkTnbnwyk9lwxYNDVOqoekEJV6kQjKRZEVGd79BotSjHpIBUR9qUlMeeV5J7/s1600/metax_arch.jpg" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="841" data-original-width="1242" height="270" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhoL6GngO5vAUMUfWGhLIS_zU2YgaT62UNX8_IwGchQ3Tf-XjgvJLmvj7oKRdeT-OPd7XnZOJFpOqCPnPB5TkTnbnwyk9lwxYNDVOqoekEJV6kQjKRZEVGd79BotSjHpIBUR9qUlMeeV5J7/s400/metax_arch.jpg" width="400" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Ensimmäinen hahmotelma MetaXin softa-arkkitehtuurista</td></tr>
</tbody></table>
<br />
<br />
Tänään alkoi joululomien jälkeen uusi sprintti ja palattiin taas hieman paremmin organisoituun toimintamalliin. Lomien jälkeiset keskustelut koskivat muun muassa dokumentaation ja arkkitehtuurikuvien tuottamista. Sovimme myös pysyvien tunnisteiden käytöstä taas vähän lisää ja keskustelimme karttuvien aineistojen asettamista vaatimuksista. Ennen joulua tutkimusaineisto (Dataset) tietomalliin ilmestyi myös <a href="http://iow.csc.fi/model/mrd/restrictiongrounds/">Restriction grounds</a> eli assosiaatio, jonka avulla kerrotaan käyttörajoitusten peruste. Muuten käyttöoikeuksien metatiedoista voi lukea lisää viime vuonna julkaistusta <a href="http://urn.fi/URN:NBN:fi-fe201702101528">selvityksestä,</a> jonka liitteistä löytää paljon relevanttia tietoa.<br />
<br />
Pysyvien tunnisteiden osalta tärkeimpiä ovat tutkimusaineistojen ja aineistokatalogien tunnisteet. Ne tulevat näillä näkymin saamaan urn-muotoiset resolvoituvat tunnisteet. MetaX antaa näitä tunnisteita ja huolehtii siitä, että Kansalliskirjaston resolverilla on oikea tieto kuvailusivujen verkko-osoitteista. Tässä vaiheessa vältämme resolvoituvien tunnisteiden jakamista millekään muulle, ja palvelukokonaisuudessa tullaan operoimaan UUID:n varassa. Pyrimme välttämään semantiikkaa mahdollisimman tarkkaan, jotta tunnisteet olisivat tyhmiä, kuten sekä <a href="https://joinup.ec.europa.eu/document/10-rules-persistent-uris">EU:n</a> että kypsissä <a href="http://ceos.org/ourwork/workinggroups/wgiss/documents/">tutkimusaineistoyhteyksissä</a> suositellaan.<br />
<div>
<br /></div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-92020529410707133452017-12-18T05:58:00.002-08:002017-12-18T05:58:26.082-08:00Katalogeista<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjshQ4QSYoJh0OETgeQBI7_vFZtJOzV7oSIV4XJT32k2fanNpbEXkd8IfCq_oNkoYo6NRR9QlcYhZod_u1QUpFece8Ni8ghDfOEdPnadnNOtOPhZavZw9nqa1AN9OzSvhkRZEFDNBbNAjEg/s1600/512px-2009_3962573662_card_catalog.jpg" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="512" data-original-width="512" height="320" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjshQ4QSYoJh0OETgeQBI7_vFZtJOzV7oSIV4XJT32k2fanNpbEXkd8IfCq_oNkoYo6NRR9QlcYhZod_u1QUpFece8Ni8ghDfOEdPnadnNOtOPhZavZw9nqa1AN9OzSvhkRZEFDNBbNAjEg/s320/512px-2009_3962573662_card_catalog.jpg" width="320" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;"><a href="https://commons.wikimedia.org/wiki/File%3A2009_3962573662_card_catalog.jpg">By Stuart Caie from Edinburgh, Scotland (Indexed) CC BY 2.0, via Wikimedia Commons</a></td></tr>
</tbody></table>
<br /><div>
<br /></div>
<div>
Tänään vaihtui taas sprintti. Edellisen sprintin aikana on paljon pohdittu versiointia (johon palaan joku toinen kerta piakkoin) sekä hakemistojen versus yksittäisten tiedostojen kuvailemista. Koska järjestelmiä on palvelukokonaisuudessamme useita (esimerkiksi tässä kyse on pitkälti MetaXin keskustelusta IDA:n ja kuvailutyökalun kanssa) pienilläkin yksityiskohdilla voi olla yllättävän suuria vaikutuksia järjestelmäkokonaisuuden muissa osissa. Pyrimme koko ajan varmistamaan sen, että käyttäjälle toiminnallisuudet näyttäytyvät selkeinä ja että aineistojen hallinta on luotettavaa. Pysyväksi tarkoitetun aineiston pitää olla suojassa tahattomilta muutoksilta, mutta järjestelmä ei toisaalta saa olla liian jäykkä. MetaXin monitasoisuus ja joustavuus ovat käsittääkseni aika uniikkeja. Tuntuu oikeasti, että olemme tekemässä jotain ihan uudenlaista, uudenaikaista palvelua.</div>
<div>
<br /></div>
<div>
Yksi juonne on järjestelmän sisäiset katalogit (<a href="http://iow.csc.fi/model/mdc/Catalog/" style="background-color: white; color: rgb(0, 100, 170) !important; font-family: Arial, sans-serif; font-size: 14px; text-decoration-line: none;">Research Data Catalog</a>). Ne mahdollistavat eri tietolähteistä tulevien metatietojen hallinnan yhdessä ja erikseen. Esimerkiksi kukin haravointilähde saa omat metatietonsa katalogiluetteloon. Haravointi tapahtuu Etsimen CKANin avulla. Haravointilähteinä ovat tähän asti olleet Tietoarkisto, Kielipankki ja SYKE. Myös esimerkiksi Zenodosta haravointi on onnistunut vanhaan Etsimeen. Kun haravointi ensi vuonna siirtyy MetaXiin, entistä tarkemmat mappaukset mahdollistuvat. Olemmekin jo hieman suunnitelleet uusia haravia, tosin esimerkiksi odottelemme vielä <a href="http://kuha2.readthedocs.io/en/latest/">Tietoarkiston uuden rajapinnan</a> DataCite-formaattia. Katsotaan miten saamme mahdollisimman nättiä ja täydellistä tietoa asiakkaillemme.</div>
<div>
<br /></div>
<div>
Seuraavassa sprintissä tehdään arkkitehtuuridokumentaatioita, perehdytetään uutta tiimiläistämme ja kirjoitellaan skriptejä aineistojen tiedoston kokojen ja määrien koostamiseen. Lisäksi esiin on noussut pohdintaa migraatiosta ja kasvavien aineistojen joustavasta ja selkeästä hallinnasta.</div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0tag:blogger.com,1999:blog-4350965294363810566.post-41521448851473044422017-12-12T05:55:00.000-08:002017-12-12T22:43:01.670-08:00MetaX elää ja kehittyy<div style="color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin-top: 10px; text-size-adjust: auto;">
<br /></div>
<table align="center" cellpadding="0" cellspacing="0" class="tr-caption-container" style="margin-left: auto; margin-right: auto; text-align: center;"><tbody>
<tr><td style="text-align: center;"><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgS_-hrIpEWDm5yuWCXPC3k09XwvrqgMJGuxFbVtGtP_kFiIk-Lq0_fmGUOeS1551WJKbUwwEo-4IIJnZeuD3X1Cm3VMPbKybsrKYBQGxG2bWjBpZuuwNIAr4lTLEafvLucnmir-RP8rrVU/s1600/IMG_2090.JPG" imageanchor="1" style="margin-left: auto; margin-right: auto;"><img border="0" data-original-height="1600" data-original-width="901" height="320" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgS_-hrIpEWDm5yuWCXPC3k09XwvrqgMJGuxFbVtGtP_kFiIk-Lq0_fmGUOeS1551WJKbUwwEo-4IIJnZeuD3X1Cm3VMPbKybsrKYBQGxG2bWjBpZuuwNIAr4lTLEafvLucnmir-RP8rrVU/s320/IMG_2090.JPG" width="180" /></a></td></tr>
<tr><td class="tr-caption" style="text-align: center;">Auringonnousu Keilarannassa</td></tr>
</tbody></table>
<div style="color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin-top: 10px; text-align: center; text-size-adjust: auto;">
<br /></div>
<div style="color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin-top: 10px; text-size-adjust: auto;">
MetaX-metatietovarantoa on nyt tehty neljäntoista sprintin verran. Työskentelemme noin kahden viikon sprinteissä. Tässä uudessa blogissa kerromme kehityksen etenemisestä ja toivomme palautetta ja kommentteja. Blogi on tarkoitettu henkilöille, jotka kehittävät ja ylläpitävät järjestelmiä ja palveluita, jotka tulevaisuudessa mahdollisesti hyödyntävät varantoa. Kehitystyötä tehdään pääosin CSC:llä, mutta meillä on läheistä yhteistyötä myös Kansalliskirjaston kehittäjien kanssa. </div>
<div style="color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin-top: 10px; text-size-adjust: auto;">
Itse olen juuri aloittanut MetaX:in PO:na ja olen tästä innoissani. MetaX tulee olemaan täysin uudenlainen palvelu, joka palvelee niin IDAa ja tutkimusaineistojen pitkäaikaissäilytystä kuin kansallisia hakupalvelujakin. Tietomalli on uudenlainen ja rakentuu linkitetyn datan varaan. Tämä tarkoittaa, että tulemme kokoamaan tärkeitä referenssitietoja, joita muutkin voivat hyödyntää ja tällä tavoin helpottaa yhteentoimivuutta. Metaxin tietomalleja on useampia, ja niitä ylläpidetään ajantasaisesti IOW-palvelussa. </div>
<div style="color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin-top: 10px; text-size-adjust: auto;">
MetaX tulee sisältämään useita eri katalogeja. Katalogien tiedot löytyvät omasta rakenteestaan,<a href="http://iow.csc.fi/model/mdc/Catalog/" style="color: rgb(0, 100, 170) !important; text-decoration-line: none;"> Research Data Catalog</a>. Lisäksi kuvailemme IDAssa olevia tiedostoja omassa luettelossaan<a href="http://iow.csc.fi/model/mfs/" style="color: rgb(0, 100, 170) !important; text-decoration-line: none;"> Data Storage Metadata</a><span class="Apple-converted-space"> </span>-tietomallia hyödyntäen. Varsinaiset tutkimusaineistojen metatiedot ovat sitten <a href="http://iow.csc.fi/model/mrd/CatalogRecord/" style="color: rgb(0, 100, 170) !important; text-decoration-line: none;">Dataset</a>-mallissa. Kaikki nämä ovat sovelluksia yhteisestä <a href="http://iow.csc.fi/model/att/" style="color: rgb(0, 100, 170) !important; text-decoration-line: none;">ATT -sovellusprofiilista</a>. </div>
<div style="color: #333333; font-family: Arial, sans-serif; font-size: 14px; margin-top: 10px; text-size-adjust: auto;">
Työn edetessä tietomallit muuttuvat, ja joissain kohdissa muutoksia on myös viety ATT-sovellusprofiiliin. Varsinkin MetaX:in mallit saattavat vielä muuttua eli niitä voi vielä hyvin kommentoida ja toivommekin palautetta.</div>
Jessica Parland-von Essenhttp://www.blogger.com/profile/17689726616158822515noreply@blogger.com0