Diskovni strežnik za podatke nalog

Na Arnesu je na voljo tudi diskovni prostor, na katerega lahko prenesete svoje vhodne podatke ali rezultate in do katerega imajo lahko dostop tudi vaše naloge. Za podatke na tem diskovnem prostoru ne vzdržujemo nobene varnostne kopije. Prednost uporabe je hitrejši prenos (diskovne kapacitete se namreč nahajajo v istem omrežju kot je gruča) in možnost, da naloga piše naravnost v diskovni prostor, saj se uporabljajo enaka elektronska potrdila (certifikati) za urejanje dostopa.

Programska oprema, ki jo uporabljamo, se imenuje dCache, teče pa na strežniku dcache.arnes.si. Implementira standarde in protokole za upravljanje s shrambami podatkov SRM (Storage Resource Management), tako da storitev imenujemo tudi Storage Resource Manager ali SRM.

Za uporabo diskovja lahko uporabite različne odjemalce in protokole. Predlagamo uporabo odjemalca ARC, saj ne zahteva nameščanja dodatne programske opreme, ker ga uporabljate že za delo z nalogami.

ARC

Za namestitev potrebne programske opreme sledite tej povezavi. Spodnji primeri bodo delovali le, ko si boste po navodilih zagotovili uporabniško elektornsko potrdilo (certifikat) in ga ustrezno namestili. Če imate vse pripravljeno in uspešno pošiljate naloge z odjemalcem ARC (arcsub), vam ni več treba ničesar nameščati.

Primer uporabe odjemalca ARC (podrobnejša dokumentacija je na voljo tukaj):

# ustvarimo začasno posredniško potrdilo (certificate proxy)
arcproxy -S gen.vo.sling.si
#pregled direktorijev
arcls srm://dcache.arnes.si/data/arnes.si
gen.vo.sling.si
ops
#za prenos dokumenta na SRM
arccp ime_dokumenta_na_lokalnem_pc \
gsiftp://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/ime_vasega_projekta/
#za prenos mape na SRM
arccp --recursive=999 ime_mape_na_lokalnem_pc \
gsiftp://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/ime_vasega_projekta/
#kreiranje direktorija
 arcmkdir srm://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/ime_projekta

Po prenosu podatkov na strežnik dcache.arnes.si navedite pot do teh podatkov v svoji datoteki .xrsl , npr:

inputFiles=("gsiftp://dcache.arnes.si/data/gen.vo.sling.si/t1/testfile.tar" \ "skripta.sh" "file3.tar")

Enako tudi za shranjevanje rezultatov na strežnik dCache:

outputFiles=("gsiftp://dcache.arnes.si/data/gen.vo.sling.si/t1/rezultati.tar")

GLOBUS in gLite

Tudi vmesna programska oprema gLite in globus omogočata uporabo podatkovnih shramb s protokolom SRM. Za uporabo strežnika z gLite oziroma za uporabo globusa potrebujete:

yum install voms-clients (za kreiranje proksija)
yum install globus-gass-copy-progs (za globus-url-copy)

Primer uporabe z Globusom:

# ustvarimo začasno posredniško potrdilo (certificate proxy)
voms-proxy-init -voms gen.vo.sling.si
# kopiranje dokumenta na SRM
globus-url-copy file:///pot/do/dokumenta/primer.tar \
gsiftp://dcache.arnes.si/data/arnes.si/gen.vo.sling.si

DCAP

DCAP je samostojen paket za delo s podatki v shrambah SRM. Za uporabo progama dccp za kopiranje podatkov morate namestiti:

yum install voms-clients (za kreiranje proksija)
yum install dcap

Primer uporabe dcap:

# ustvarimo začasno posredniško potrdilo (certificate proxy)
voms-proxy-init -voms gen.vo.sling.si
# kopiranje na SRM
dccp file:///pot/do/dokumenta/primer.tar \
gsidcap://dcache.arnes.si:22128/data/arnes.si/gen.vo.sling.si

SRMCLIENT

Nekaj primerov uporabe odjemalca SRM –  dosegljiv na tej spletni strani ali v repozitoriju pod imenom dcache-srmclient

yum install dcache-srmclient lcg-util
ali
yum install http://www.dcache.org/downloads/1.9/repo/2.9/dcache-srmclient-2.9.6-1.noarch.rpm

Preverjanje podatkov od diskovnega prostora:

srmping srm://dcache.arnes.si
VersionInfo : v2.2
backend_type:dCache
backend_version:2.6.31

Preverjanje drevesne strukture:

srmls srm://dcache.arnes.si
512 /
      512 /data/
      512 /nagios-testfiles/
srmls srm://dcache.arnes.si/data
 512 /data/
      512 /data/world-writable/
      512 /data/arnes.si/
srmls srm://dcache.arnes.si/data/arnes.si
512 /data/arnes.si/
      512 /data/arnes.si/ops/
      512 /data/arnes.si/gen.vo.sling.si/

Ustvarjanje novega direktorija za projekt na SRM:

srmmkdir srm://dcache.arnes.si/data/arnes.si/gen.vo.sling.si/barbara-test