Upgrade de stockage de données (20-50 To)

Tech
1

Je dois refaire ma médiathèque sur 2025. Mes disques durs actuels vieillissent.

Vous, gens qui avez de l’expérience en matière d’assez gros stockage sécurisé, vous feriez-quoi dans la situation ci-dessous ? Quel matériel, utilisé comment ?

  • Je travaille avec d’assez gros volumes. Plus de 20 To remplis actuellement, probablement 50 à terme. Et bien sûr le backup peut doubler ce volume.

  • Pour le moment, j’ai deux NAS Synology de quatre baies chacun, chacun en RAID1. Un très très vieux, et un avec quatre disques de 12.7 To (après formatage).

  • Ce sont des données permanentes, conservées à perpétuité. Mais de nouvelles données s’ajoutent régulièrement à cette bibliothèque.

  • Les disques ne sont donc pas énormément sollicités. Et je préfère les éteindre la nuit pour les faire durer.

  • Les vitesses de lecture/écriture n’ont pas à être particulièrement élevées.

  • Je privilégie la redondance, le risque minimal sur la perte de données, et la redondance. Il faut que ça tienne tout seul.

  • Les data doivent être accessibles sur mon LAN, via Ethernet (une Livebox) ou hub.

  • Je n’ai plus besoin d’accéder aux data depuis l’extérieur de mon LAN.

  • Il n’y a qu’un utilisateur.

  • Postes de travail actuels sous Windows 10. Mais j’économise pour passer à des postes Windows + MacOS + iPadOS.

  • Budget assez élastique. Ces données sont le cœur de mon travail.

  • Sur des volumes pareils, je ne pense pas qu’un backup distant sur un service cloud soit raisonnable. Donc pour l’approche 3-2-1, le dernier échelon – stockage offsite – semble mort.

Ça fait des années que je me dis « bah, dans un ou deux ans on a les disques 30 To dont toute la presse parle », mais manifestement non. Donc on va bouger avant que quelque chose ne brûle, ou avant qu’un bachibouzouk ne lance une guerre commerciale planétaire.

2

Questions:

  • Quelle est ta politique de sauvegarde de ces données? Disque dur usb? 1 miyard de cle usb?
  • Quelle est ta politique d’historisation? Est ce que tu dois juste garder le fichier de la veille, ou il te faut les N dernières versions du fichier?
  • Quel est le budget pour un stockage online? Parce clairement, tu n’es pas protégé contre le vol ou une inondation. Donc a combien tu estimes ton travail que tu dois garder a perpétuité?
3

Pour l’instant il y a des copies partielles entre les deux NAS, mais il n’y a pas assez de place - les disques coûtaient trop cher du To à l’époque. Donc la redondance actuelle, c’est du RAID, ce qui n’est pas bon.

Pas d’historisation nécessaire, c’est une médiathèque.

Le stockage online pour, disons, 50 TB je ne pense pas que ce soit financièrement faisable à moins d’être Bolloré. Et le site physique est assez secure, sauf incendie majeur ou cygne noir.

4

Et de monter un NAS chez une connaissance avec un backup là bas pour ton offsite ? Profiter par exemple d’un remplacement d’un de tes Nas pour utiliser l’ancien en tant que backup.

5

C’est aussi une solution, mais c’est pas du stockage froid, donc il y a un risque que ca crame.

Bah écoute, j’ai fait un calcul rapide sur aws S3 glacier et si tu n’as pas beaucoup de mouvement de données, c’est 100 euros par mois, tu vas juste payer un peu cher a la copy initiale et si t’as besoin de recup les données (j’ai pas creusé pour avoir les prix)

Donc, on est d’accord que:

  • Une fois le media créé (et donc le fichier est existant), celui ci n’est plus modifié ever
  • Tu rajoutes régulièrement des media (une idée du flux de données? 10Go par mois? 100Go?)

Pour moi, la solution pas cher mais un peu plus sécure, c’est de copier toute la médiathèque sur N disques usb, idéalement avec un MD5/SHA de contrôle sur chaque fichier, et tu stockes les disques chez un pote/famille/whateva.
Et tout les ans, tu rachètes un disque dur usb pour stocker le delta entre année N et année N-1. Et ca te fait un stockage froid déporté.

Après, tu parles de la règles 3-2-1, mais pour moi, avec juste des NAS, t’es meme pas en 3-2…

On va partir directement sur les trucs qui fâchent, et j’ai déjà posé la question: Quelle valeur donnes-tu a tes données, et quel est ton budget pour les proteger?

6

Avec Google Cloud en archive storage pour 50 Tb c’est 59€/mois. Gratuit pour l’upload mais ± 2500€ pour le download des 50 Tb.

7

T’es en fibre ?
Honnêtement, vu les prix, ça se regarde en cloud quand même.

8

Pour de la sauvegarde du deep glacier c’est 0,0018 USD par Go/mois, du glacier flexible c’est 0,00405 USD par Go/mois tant que tu te contentes de stocker et récupérer coûte par contre plus cher mais pour 50To c’est dans les même prix que google cloud. La récupération est par contre beaucoup moins chère: il faut compter le coût de la récupération par glacier dans s3 (le coût des appels API), le volume de stockage s3 classique (dont le coût va dépendre du stockage et du temps que tu vas le laisser) et le coût du transfer entre AWS et chez toi (qui n’est pas monstrueux comme chez Google)…

9

Donc à ce stade on retient surtout que j’ai été pessimiste sur le « 3 » dans la stratégie de backup 1-2-3. Je vais regarder ça en fonction des prix cités (mais je suis un peu allergique aux frais récurrents, j’avoue).

Pour le local, comment que vous feriez ? J’ai beaucoup fonctionné avec des NAS, mais je n’ai pas l’impression que cela corresponde à mes besoins actuels. Et je n’ai jamais vraiment regardé quelles sont les standards, disons, en DAS.

Sur le budget pour du local je m’attend à être pas loin de 2000 euroballes pour l’ajout de capacité, en gardant mon vieux synology 4x12.7 Tb (reformatté, et plus monté en RAID1) comme volume de backup pur.

10

Je suis un peu perdu.
En lisant tes messages, je comprends « que dois je acheter? » mais on ne sait pas ce que tu veux. Faire du 3-2-1? juste du 2-1-0?
L’intérêt d’un DAS (un disque dur USB, hein) vis a vis d’un NAS est quasi nul, ca serait plus simple d’acheter un gros pc avec plein de disque, dans ce cas la.

On en revient donc a la base, que veux tu faire, avec un peu plus de détail que juste « je ne veux absolument pas perdre mes 50To de données ».

11

De ce que j’ai compris de ton setup initial, tu as :

  • 20 TO de datas sur ton pc
  • backup actuel répartis sur →
  • 1 vieux Synology avec on ne sait pas combien de données en RAID1
  • 1 Synology moins vieux avec 12.5 To en RAID1 - redondances sur 3 disques: 1 principal, 3 copie ?

Pour ton besoin de redondance, le RAID 1 me paraît bien, le problème étant que plus les disques sont gros plus le risque de pertes ou erreurs semble important a cause des controllers. (Pendant l’utilisation ou la reconstruction), a confirmer par les experts si pour du matériel non pro c’est valable ou non au dessus d’une certaine contenance

En fonction de la vitesse de reconstruction, je verrais bien un système de sauvegarde ‹ hors site ›, via l’ échange d’un disque copie de RAID1.
Soit 4 disques en RAID1 pour 20To de stockage
1 cinquième disque 20To que tu viendrais remplacer dans le RAID1.
Le disque retiré deviendrait ton backup ‹ hors site ›, etc toute les jours, semaine, mois en fonction du delta de pertes que tu t’autorises.

Voir a gérer une copie dans le cloud juste correspondant au delta disque manquant. ( Rapport au coût)

Au total pour prévoir les 50 To, je verrais 3 NAS RAID1 de 20To avec le disque hors site pour chacun.
1 stockage cloud different pour chaque delta des 3 RAID.

Inconvénients : plusieurs disques a gérer, ouvertures des NAS, répartition des données, gestion du delta des backup

12

Vous parlez de redondance. Mais le RAID c’est uniquement une redondance matériel (et limitée au seul disque s’il n’y a qu’un boitier RAID dans l’histoire).
Il faut absolument partir du principe que quelques soit l’utilisation le RAID ne répond qu’à une problématique de haute disponibilité et pas du tout à un besoin de redondance.
Pour X ou Y raison y a un effacement de données sur ton RAID, la redondance matériel sur les disques ne te servira strictement à rien.

2 « J'aime »
13

Journée de merde hier, pas pu poster/répondre, dsl.

Je sens bien que mon « expression de besoin » (gros guillemets) était trop abstraite, donc je vous fait un truc bref et plus concret, bougez pas je reviens.

14

Imaginons ça. Ce format vous parait-il plus clair ?

1/ MEDIATHEQUE - 50 à 60 To de capacité disponible, accessible à tout moment depuis tout poste sur le LAN (Win, à terme MacOS et iPadOS), visible sous la forme d’un seul volume, pouvant être mis en veille la nuit.

Une forme de RAID pour pouvoir absorber la mort d’un des disques.

Forme physique à définir.

Films, livres, comics, etc. avec une collection s’agrandissant régulièrement. Pas besoin de turbo-performances lecture/écriture, on recherche avant tout la résistance et un accès facile et très fréquent aux ressources.

2/ BACKUP LOCAL - Un vieux Synology DS418 avec quatre disques de 12.7 To (formatés). Il est refait sous la forme d’un seul volume sans tolérance de panne, de 51 To. Les données sont automatiquement répliquées depuis la médiathèque, disons de façon hebdomadaire, selon une méthode à définir.

Existe uniquement pour restorer les données en cas de plantage catastrophique de la médiathèque.

3/ SERVEUR BOB VHS - Un très vieux Synology DS414j avec un peu moins de 8 To en RAID1. Ce volume devient uniquement utile pour partager des choses quand je rends visite à Bob VHS. L’objectif est d’encaisser les lectures/accès disques de personnes téléchargeant des choses chez moi sans user mes « vrais » disques.

4/ BACKUP MAC - Une fois que j’ai pu m’acheter un Mac Mini, disque de 2 To en enclosure externe Thunderbolt. Il fait à la fois stockage de certaines données de travail (le disque dur interne du Mac est trop cher à étendre) et un backup TimeMachine standard des données de travail.

5/ BACKUP DISTANT - Une solution sur un autre site, répliquant le contenu du backup local. À définir après avoir défini l’archi locale.

15

Je ne vois pas l’intérêt de séparer physiquement ton serveur « Mediatheque » de ton « Backup Mac ».

Tu vise un NAS avec plus de disques ou des disques plus gros et ça t’économise le prix d’un boitier complet.

Une remarque aussi sur le besoin de « mise en veille la nuit » de la mediathèque, quel intérêt ? Si c’est pour la durée de vie des disques c’est contre-productif. L’arrêt-démarrage des disques les usent plus que le fonctionnement en continue.

Je serais toi je viserais un 6-8 baies avec les disques qui vont biens (16-18To) pour couvrir ton utilisation Mediatheque et Backup Mac.

Je ferais de la réplique de snapshot pour les sauvegardes locales et du backblaze S3 (ou équivalent) pour le backup externalisé.

Et j’éviterais le RAID0, je comprend que c’est que du backup, mais 50To à retransférer depuis 0 en cas de panne d’un disque, ça peut sembler long.

16

Un disque séparé pour le Mac aurait trois raisons :

  1. J’ai vu des gens grogner que Time Machine peut avoir des comportements bizarres quand ce n’est pas un volume Thunderbolt branché direct sur le Mac.
  2. Un disque 2 To bien-mais-pas-top lors du Black Friday, ce n’est pas cher.
  3. C’est toujours des cycles lecture/écriture fréquents en moins pour le stockage médiathèque.

Mais je n’ai pas pu me payer de Mac depuis 15 ans. Donc je n’ai pas d’expérience directe avec Time Machine. Donc c’est une impression.

–

Pour la veille, je sais juste que mon plus vieux Syno tourne sans défaillance depuis 2015 en l’éteignant chaque nuit. Apparemment il y a des arguments techniques en faveur de cette approche, mais trop pointus pour que j’ai un avis dessus.

–

L’intérêt du RAID0 sur le backup local (2) est surtout économique. J’ai déjà le boitier, j’ai déjà les disques, et il est là uniquement en cas de vrai gros foirage affreux.
Mais je vois effectivement des discussions sur le stockage en mode « mec, le temps de recopier ≃40 To, il y a de vraies chances que le stockage de backup plante à son tour ».

–

Si on fait ce que je connais pour le stockage médiathèque (1), on about à genre six disques de 18 To (environ 2000 balles pour du SeaGate) en RAID1 dans un Synology DiskStation DS1621+ à 1000 balles (ouch).

Mais ce que je connais, c’est vieux. Je ne suis pas persuadé que ce soit la meilleure approche en 2025. Que ce soit pour le choix de Syno, pour le choix du type de RAID, ou pour le choix d’un NAS type boîtier six baies.

17

Effectivement, TimeMachine à besoin d’un disque de destination au format APFS c’est donc plus « naturel » avec un DAC qu’avec un NAS (ou dans ce cas ça « ajoute » une couche d’image disque pour rester compatible).
Le choix d’un disque TB ok, mais tu peux aussi prendre un simple disque USB-C ça fonctionnera aussi bien.
Par contre les cycles de lecture/écriture sur le NAS mediathèque c’est totalement anecdotique.

Non vraiment je t’assure que c’est contre-productif. J’ai un DS413 qui tourne encore alors qu’il à été allumé 24/24 7/7 depuis que je l’ai.
Pareil pour certains NAS chez des clients, qui tournent H24 et sont utilisés par des dizaines voir plus d’utilisateurs depuis 2010.

Rester sur du Syno c’est conserver la facilité de mise en route, le support simple et la configuration rapide des backups vers d’autres syno.
Tu peux être tenté par un RAID « DIY », mais ça demande forcément une connaissance de Linux, tu n’auras pas de dépannage « facile » et la note d’électricité sera forcément plus élevé. Sans parler du bruit et de l’encombrement.

1 « J'aime »
18

Je vais rapidement faire mon casse couilles mais le RAID1 et plus c’est bien de la redondance, pas de la haute disponibilité. Ce que tu cites après c’est la différence entre redondance et sauvegarde.

C’est juste pour la précision dans les propos.

19

C’est ce que j’ai dit avant ou après, un RAID c’est de la redondance matériel pour avoir une tolérance de panne, donc de la haute dispo, une sauvegarde c’est de la redondance virtuelle pour de la récupération de données.

Tu as une perte de données (par chiffrement, effacement ou autre) sur ton RAID1 ta redondance matériel dans ce cas là ne te sert strictement à rien.
L’équivalent (avec des grosses guillemets) en virtuel ça serait les snapshots locaux, qui te permette de revenir en arrière.

20

Mmm, je pense que j’ai une bêtise.

A savoir, confondre le temps de recontruction d’un volume RAID1 après mort d’un disque et remplacement par un disque neuf (qui peut apparemment durer une dizaine de jours sur de gros disques modernes) avec le temps de copie de quelques To, qui est bien moindre.