La déduplication de fichiers

Avec Windows Serveur 8, Microsoft introduit une solution de déduplication de données logiciels intégrés.

Là où plusieurs fournisseurs de stockage offrent de telles solutions, Microsoft a pris une autre approche, en offrant une solution pour les données en double d'un niveau de système d'exploitation au lieu d'un niveau de stockage. Lorsque des solutions de déduplication offrent leurs services basés sur les fichiers, la deduplication offert dans Windows Server 8 est basé sur le bloc.

Les caractéristiques sont:

Disponible uniquement dans Windows Serveur 8.

• Disponible pour le cluster
• Basé sur un pilote de filtre par volume.
• Pas de prise en charge sur les volumes système ou de démarrage, uniquement destinés à des volumes de stockage de données.
• Ne fonctionne ni sur les fichiers compressés, ni sur les fichiers cryptés (EFS).
• Ne fonctionne pas avec des Volumes partagés de Cluster.
• Ne fonctionne pas avec les fichiers inférieurs à 64 ko et les fichiers avec les attributs étendus.
• Pas configurables via la stratégie de groupe.
• C'est un processus de calibrage de déduplication.

Comment cela fonctionne?

Lorsque les données sont stockées sur un système de fichiers, les bits réels et les octets sont stockés sur un emplacement unique. Donc, si certains bits sont les mêmes, pourquoi sont ils enregistrés plusieurs fois? Vous pouvez consulter les bits qui peuvent être utilisés par plusieurs fichiers en utilisant les liens durs.
Lorsque vous avez des centaines de fichiers *.docs créés par votre service des ressources humaines, ils utilisent probablement certains modèles. Cela signifie que beaucoup de bits et d'octets dans les fichiers sont exactement les mêmes!

La déduplication analyse les blocs est constatera que beaucoup d'entre ceux seront exactement les mêmes. Ainsi, au lieu de sauver les bits et les octets plusieurs fois, il enregistre le morceau qu'une seule fois et crée des liens durs sur tous les sites, donc ces derniers se réfèreront aux mêmes données.

Lorsque vous affichez les propriétés du dossier Program Files, vous remarquerez probablement que les valeurs derrière la « Taille » et « Taille sur le disque » diffèrent les uns des autres.

C'est parce que certains liens durs sont utilisés pour les fichiers dans ce dossier. Donc « Taille sur le disque » comprend le montant cumulé des bits et des octets par les fichiers dans ce dossier et « Taille » est égale à l'accumulation de la somme des bits et des octets sur le disque moins les bits et les octets qui sont remplacés par les liens durs.

Le processus de deduplication fonctionne par le biais de tâches planifiées, mais peut être exécuté interactivement à l'aide de PowerShell.

Pourquoi utiliser la déduplication des données ?

Beaucoup de mes clients exigent des quantités massives de stockage. Le but de la déduplication est mieux utiliser la capacité de stockage qui est à votre disposition.

Les gains prévisibles seraient:

Mais qu'en est-il de la performance ? L'action de lire un fichier atteint un rendement d'environ 3 % lorsque le fichier n'est pas dans le cache.

Installation

Via l'interface graphique

Rendez-vous dans la console d'ajout de rôles

Après avoir déployé le rôle de serveur de fichiers, sélectionnez "Déduplication de fichiers" et rendez-vous à la fin de l'assistant.

L'installation terminée, faites un clic droit sur le volume et vous serez en mesure de sélectionner "Configure Data Deduplication"

Un assistant vous invite à l'activer, de définir la périodicité ainsi que de paramétrer des exclusions. La déduplication de fichiers correspond en fait à une tâche planifié.

Vous pouvez également définir la planification

La déduplication étant activée, elle apparaît dans le gestionnaire de volume à 0% vu que vous venez de la configurer.

Via powerShell

Pour activer la fonctionnalité de suppression des doublons en utilisant les commandes PowerShell :

• Import-Module ServerManager

• Add-WindowsFeature -name FS-Data-Deduplication

Maintenant que la fonction de déduplication a été activée, nous pouvons commencer à la configurer.

Tout d'abord, comme avec n'importe quel autre module PowerShell, nous devons charger le module. Vous pouvez le faire avec la commande suivante :

Import-Module Deduplication

Pour configurer la fonctionnalité de déduplication sur le volume E:

Enable-DedupVolume E:

Maintenant que déduplication a été activé et configuré sur un volume, nous voulons savoir quelques statistiques telles que quelle quantité de stockage nous réellement enregistrés à l'aide de déduplication :

Get-DedupStatus

Par défaut, le processus de déduplication affectera seulement les fichiers qui n'ont pas été modifiées pendant 30 jours.Ainsi, pour modifier cette valeur à 0 (processus ASAP), vous pouvez utiliser la commande suivante :

Set-DedupVolume E: -MinimumFileAgeDays 0

Normalement, le processus de la déduplication est fait grâce à des tâches planifiées dans les fenêtres d'exploitation system… mais vous pouvez lancer ce processus manuellement avec PowerShell :

Start-DedupJob E: – type optimisation

Toutefois, ce travail s'exécute en arrière-plan et peut prendre un certain temps. Pour afficher le statut de l'emploi, la commande suivante peut être utilisée :

Get-DedupJob