OpenZFS : un guide pratique utilisant DigitalOcean

Vous avez peut-être entendu à plusieurs reprises que ZFS est un système de fichiers de niveau entreprise destiné à gérer de grandes quantités de données dans des tableaux complexes. Naturellement, cela ferait penser à tout nouveau venu qu'il ne devrait pas (ou ne pourrait pas) se familiariser avec une telle technologie.

Rien ne peut être plus éloigné de la vérité. ZFS est l'un des rares logiciels à fonctionner. Prêt à l'emploi, sans aucun réglage fin, il fait tout ce qu'il annonce - Des contrôles d'intégrité des données à la configuration RAIDZ. Oui, il existe des options de réglage fin disponibles, et on peut approfondir si le besoin s'en fait sentir. Mais pour les débutants, les valeurs par défaut fonctionnent à merveille.

La seule limitation que vous pouvez rencontrer est celle du matériel. Mettre plusieurs disques dans différentes configurations signifie que vous avez de nombreux disques qui traînent avec! C'est là que DigitalOcean (DO) vient à la rescousse.

Remarque : si vous connaissez bien DO et comment configurer des clés SSH, vous pouvez passer directement à la partie ZFS de la discussion. Ce que les deux sections suivantes montrent, c'est comment configurer une machine virtuelle sur DigitalOcean et y attacher des périphériques de bloc avec

Introduction à DigitalOcean

Pour faire simple, DigitalOcean est un fournisseur de services cloud où vous pouvez faire tourner des machines virtuelles sur lesquelles vos applications s'exécutent. Vous obtenez une quantité incroyable de bande passante et tout le stockage SSD pour exécuter vos applications. Il s'adresse aux développeurs et non aux opérateurs, c'est pourquoi l'interface utilisateur est beaucoup plus simple et plus facile à comprendre.

De plus, ils facturent à l'heure, ce qui signifie que vous pouvez travailler sur diverses configurations ZFS pendant quelques heures, supprimer toutes les machines virtuelles et le stockage une fois que vous êtes satisfait, et votre facture ne dépassera pas quelques dollars.

Nous utiliserons deux des fonctionnalités de DigitalOcean pour ce tutoriel :

1. Gouttelettes: Un Droplet est leur mot pour une machine virtuelle, exécutant un système d'exploitation avec une IP publique statique. Notre choix d'OS sera Ubuntu 16.04 LTS.
2. Stockage de blocs: Le stockage en bloc est similaire à un disque connecté à votre ordinateur. Sauf que c'est ici que vous décidez de la taille et du nombre de disques que vous désirez.

Inscrivez-vous à DigitalOcean si vous ne l'avez pas déjà fait.

Pour vous connecter à votre machine virtuelle, il existe deux manières, l'une consiste à utiliser la console (pour laquelle le mot de passe vous est envoyé par courrier électronique) ou vous pouvez utiliser l'option de clé SSH.

Configuration SSH de base

MacOS et les autres utilisateurs UNIX qui ont un terminal sur leur bureau peuvent l'utiliser pour SSH dans leurs gouttelettes (le client SSH est installé par défaut sur presque tous les Unices) et l'utilisateur Windows peut vouloir télécharger Git Bash.

Une fois dans votre terminal, saisissez les commandes suivantes :

$mkdir -p ~/.ssh
$cd ~/.ssh
$ssh-keygen -y -f VotreNomClé

Cela générera deux fichiers dans ~/.ssh répertoire, un nommé YourKeyName que vous devez garder en sécurité et privé tout le temps. C'est votre clé privée. Il chiffrera les messages avant de les envoyer au serveur, et il déchiffrera les messages que le serveur vous renvoie. Comme son nom l'indique, la clé privée est censée être gardée secrète à tout moment.

Un autre fichier est créé nommé VotreNomClé.pub et c'est votre clé publique que vous fournirez à DigitalOcean lorsque vous créerez le Droplet. Il gère le cryptage et le décryptage des messages sur le serveur, tout comme la clé privée le fait sur votre machine locale.

Créer votre première gouttelette

Après vous être inscrit à DO, vous êtes prêt à créer votre premier Droplet.  Suivez les étapes ci-dessous :

1. Cliquez sur le bouton Créer dans le coin supérieur droit et sélectionnez Gouttelette option.

2. La page suivante vous permettra de décider des spécifications de votre Droplet. Nous utiliserons Ubuntu.

3. Choisissez la taille, même l'option 5 $/mois fonctionne pour les petites expériences.

4. Choisissez le data center le plus proche de chez vous, pour des latences faibles. Vous pouvez ignorer le reste des options supplémentaires.

Remarque : N'ajoutez aucun volume maintenant. Nous les ajouterons plus tard pour plus de clarté.

5. Cliquer sur Nouvelles clés SSH et copiez tout le contenu de VotreNomClé.pub dedans et donnez-lui un nom. Maintenant, cliquez simplement sur Créer et votre Droplet est prêt à partir.

6. Obtenez l'adresse IP de votre Droplet depuis le tableau de bord.

7. Maintenant, vous pouvez SSH, en tant qu'utilisateur root, dans votre Droplet, depuis votre terminal en utilisant la commande :

$ssh [email protected] -je ~/.ssh/VotreNomClé

Ne copiez pas la commande ci-dessus car votre adresse IP sera différente. Si tout a bien fonctionné, vous recevrez un message de bienvenue sur votre terminal et vous serez connecté à votre serveur distant.

Ajout de stockage de blocs

Pour obtenir la liste des périphériques de stockage de blocs dans votre VM, dans le terminal, utilisez la commande :

$lsblk

Vous ne verrez qu'un seul disque partitionné en trois périphériques de bloc. Ceci est l'installation du système d'exploitation et nous ne les expérimenterons pas. Nous avons besoin de plus de périphériques de stockage pour cela.

Pour cela allez dans votre tableau de bord DigitalOcean le clic sur Create bouton comme vous l'avez fait dans la première étape et choisissez l'option de volume. Attachez-le à votre Droplet et donnez-lui un nom approprié. Ajoutez trois de ces volumes en répétant cette étape deux fois de plus.

Maintenant, si vous retournez à votre terminal et tapez lsblk, vous verrez de nouvelles entrées dans cette liste. Dans la capture d'écran ci-dessous, il y a 3 nouveaux disques que nous utiliserons pour tester ZFS.

Comme dernière étape, avant d'entrer dans ZFS, vous devez d'abord étiqueter vos disques sous le schéma GPT. ZFS fonctionne mieux avec le schéma GPT, mais le stockage de blocs ajouté à vos gouttelettes a une étiquette MBR dessus. La commande suivante résout le problème en ajoutant une étiquette GPT à vos périphériques de bloc nouvellement connectés.

$ sudo parted /dev/sda mklabel gpt

Remarque : il ne partitionne pas le périphérique de bloc, il utilise simplement l'utilitaire « parted » pour donner un identifiant global unique (GUID) au périphérique de bloc. GPT signifie la table de partition GUID et il garde une trace de chaque disque ou partition avec une étiquette GPT dessus.

Répétez la même chose pour sdb et sdc.

Nous sommes maintenant prêts à utiliser OpenZFS avec suffisamment de disques pour expérimenter différents arrangements.

Zpools et VDEV

Pour commencer à créer votre premier Zpool. Vous devez comprendre ce qu'est un appareil virtuel et quel est son objectif.

Un périphérique virtuel (ou un Vdev) peut être un disque unique ou un groupe de disques exposés en tant que périphérique unique au zpool. Par exemple, les trois appareils de 100 Go créés ci-dessus sda, sdb et sdc tous peuvent être leur propre vdev et vous pouvez créer un zpool, nommé Char, qui aura la capacité de stockage des 3 disques combinés soit 300 Go
Installez d'abord ZFS pour Ubuntu 16.04 :

$apt installer zfs
$zpool créer un réservoir sda sdb sdc
Réservoir d'état $zpool

Vos données sont réparties uniformément sur les trois disques, et si l'un des disques tombe en panne, toutes vos données sont perdues. Comme vous pouvez le voir ci-dessus, les disques sont les vdevs eux-mêmes.

Mais vous pouvez également créer un zpool où les trois disques se répliquent, ce que l'on appelle la mise en miroir.

Détruisez d'abord le pool précédemment créé :

$zpool détruire le réservoir

Pour créer un vdev en miroir, nous utiliserons le mot-clé miroir:

$zpool créer un miroir de réservoir sda sdb sdc

Désormais, la quantité totale de stockage disponible n'est que de 100 Go (utilisez liste zpool pour voir ça) mais maintenant nous pouvons supporter jusqu'à deux disques d'échec dans le vdev miroir-0.

Lorsque vous manquez d'espace et que vous souhaitez ajouter plus de stockage à votre pool, vous devrez créer trois volumes supplémentaires dans DigitalOcean et répéter les étapes de Ajout de stockage de blocs faites-le avec 3 autres périphériques de bloc qui apparaîtront en tant que vdev Miroir 1. Vous pouvez sauter cette étape pour l'instant, sachez simplement que cela peut être fait.

$zpool ajouter un miroir de réservoir sde sdf sdg

Enfin, il existe une configuration raidz1 qui peut être utilisée pour regrouper trois disques ou plus dans chaque vdev et peut survivre à la défaillance d'un disque par vdev et donner un stockage total disponible de 200 Go.

$zpool détruire le réservoir
$zpool créer un tank raidz1 sda sdb sdc

Alors que la liste zpool affiche la capacité nette du stockage brut, liste zfs et df -h les commandes affichent le stockage disponible réel du zpool. C'est donc toujours une bonne idée de vérifier le stockage disponible en utilisant liste zfs commander.

Nous allons l'utiliser pour créer des ensembles de données.

Ensembles de données et récupération

Traditionnellement, nous avions l'habitude de monter des systèmes de fichiers comme /home, /usr et /temp dans différentes partitions et lorsque nous manquions d'espace, nous devions ajouter des liens symboliques vers des périphériques de stockage supplémentaires ajoutés au système.

Avec zpool ajouter vous pouvez ajouter des disques au même pool et il continue de croître selon vos besoins. Vous pouvez ensuite créer des ensembles de données, qui est le terme zfs pour un système de fichiers, comme /usr/home et bien d'autres qui vivent ensuite sur le zpool et partagent tout le stockage mis à leur disposition.

Pour créer un jeu de données zfs sur le pool Char utilisez la commande :

$zfs crée tank/dataset1
liste $zfs

Comme mentionné précédemment, un pool raidz1 peut résister à la défaillance d'un disque maximum. Alors testons ça.

$ réservoir hors ligne zpool sda

Maintenant, le pool est hors ligne, mais tout n'est pas perdu. Nous pouvons ajouter un autre volume, sdd, en utilisant DigitalOcean et en lui donnant une étiquette gpt comme avant.

Lectures complémentaires

Nous vous encourageons à essayer ZFS et ses diverses fonctionnalités autant que vous le souhaitez, pendant votre temps libre. Assurez-vous de supprimer tous les volumes et gouttelettes, une fois que vous avez terminé, pour éviter les facturations inattendues à la fin du mois.

Vous pouvez en savoir plus sur la terminologie ZFS ici.