1. Introduction

La Grille Régionale de Calcul Strasbourg Grand-Est propose plusieurs technologies de stockage afin d'optimiser l'accès aux données, que ce soit pour le calcul, la sauvegarde ou l'archivage.

Ce document détaille l'utilisation des systèmes de stockage de données de la grille régionale.

2. Les services disponibles

Cette section présente les différents systèmes de stockage disponibles sur la grille Régionale Strasbourg Grand-Est.

3. Gestion des données sur un serveur DPM

3.1. Généralités

Le système de stockage DPM (Disk Pool Manager) est composé d'un serveur de tête et d'un ensemble de serveurs de fichiers. Le serveur de tête centralise les requêtes d'accès aux fichiers. Les serveurs de fichiers stockent physiquement les fichiers. L'accès aux fichiers s'effectue en interrogeant le serveur de tête grâce aux commandes détaillées ci-dessous.

L'accès aux données est contrôlé par certificat. Il est donc nécessaire de posséder un proxy valide lors de l'utilisation de ce type de stockage.

L'URL suivante est utilisée pour l'ensemble de cette section. Elle sera abrégée en SRM :

SRM=srm://sbgse1.in2p3.fr:8446/dpm/in2p3.fr/home/vo.grand-est.fr

3.2. Lecture du contenu d'un répertoire

La commande lcg-ls permet de lister le contenu d'un répertoire. Le résultat de cette commande est similaire à celui de la commande ls :

# lcg-ls ${SRM}/lab
/dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/
# lcg-ls -l ${SRM}/lab
drwxrwxr-x   1     2     2       0              UNKNOWN /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user

Il est également possible d'utiliser la commande srmls pour effectuer cette tâche. Cette commande est un peu plus lente que la précédente, mais retourne des informations complémentaires :

# srmls -2 ${SRM}/lab
  0 /dpm/in2p3.fr/home/vo.grand-est.fr/lab/
      0 /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/
# srmls -2 -l ${SRM}/lab
  0 /dpm/in2p3.fr/home/vo.grand-est.fr/lab/
 space token(s) :none found
 type: null
 retentionpolicyinfo : null
 locality: null
   UserPermission: uid=/O=GRID-FR/C=FR/CN=User PermissionsRWX
   GroupPermission: gid=vo.grand-est.fr PermissionsRWX
  WorldPermission: RX
 created at:2011/05/19 09:43:12
 modified at:2011/05/19 09:43:12
  - Original SURL:  /dpm/in2p3.fr/home/vo.grand-est.fr/lab
 - Status:  null
 - Type:  DIRECTORY
      0 /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/
 space token(s) :none found
 type: null
 retentionpolicyinfo : null
 locality: null
       UserPermission: uid=/O=GRID-FR/C=FR/CN=User PermissionsRWX
       GroupPermission: gid=vo.grand-est.fr PermissionsRWX
      WorldPermission: RX
     created at:2012/03/27 13:29:48
     modified at:2012/03/27 13:29:48
      - Original SURL:  /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user
 - Status:  null
 - Type:  DIRECTORY

3.3. Création d'un répertoire

La commande srmmkdir permet de créer un répertoire :

# srmmkdir -2 ${SRM}/lab/user/data
# srmls -2 ${SRM}/lab/user/data
  0 /dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/

3.4. Copie d'un fichier

La commande lcg-cp permet de copier des données depuis ou vers un serveur DPM :

# lcg-cp file://${PWD}/my_dataset.tar.gz ${SRM}/lab/user/data/my_dataset.tar.gz

3.5. Vérification des droits d'un fichier

La commande srm-get-permissions permet d'obtenir les permissions d'accès à un fichier ou à un dossier :

# srm-get-permissions -2 ${SRM}/lab/user/data/my_dataset.tar.gz
# file  : srm://sbgse1.in2p3.fr:8446/dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz
# owner : /O=GRID-FR/C=FR/CN=User
owner:/O=GRID-FR/C=FR/CN=User
group:vo.grand-est.fr:RW
other:R

3.6. Modification des droits d'un fichier

La commande srm-set-permissions permet de modifier les permissions d'accès à un fichier ou à un répertoire. Par défaut, les fichiers créés dans un répertoire hérite des permissions de ce répertoire. La commande suivante permet d'empêcher la consultation (lecture et écriture) à tout le monde, sauf au propriétaire et au groupe du fichier :

# srm-set-permissions -2 -type=CHANGE -other=NONE ${SRM}/lab/user/data/my_dataset.tar.gz
# srm-get-permissions -2 ${SRM}/lab/user/data/my_dataset.tar.gz
# file  : srm://sbgse1.in2p3.fr:8446/dpm/in2p3.fr/home/vo.grand-est.fr/lab/user/data/my_dataset.tar.gz
# owner : /O=GRID-FR/C=FR/CN=User
owner:/O=GRID-FR/C=FR/CN=User
group:vo.grand-est.fr:RW
other:NONE

3.7. Suppression d'un fichier

La commande lcg-del permet de supprimer un fichier sur le serveur DPM :

# lcg-del -l ${SRM}/lab/user/data/my_dataset.tar.gz

3.8. Suppression d'un répertoire

La commande srmrmdir permet de supprimer un répertoire vide :

# srmrmdir -2 ${SRM}/lab/user/data

4. Références complémentaires

Cette section propose des références complémentaires pour approfondir la gestion des données sur la grille régionale de calcul Strasbourg Grand-Est :