[Réseau/NAS]Le topic des gros nas

[shlagevuk]

shlagevuk pas sur de comprendre, les snapshots sont eux incrémentaux du coup ? Alors sans Freenas en face c'est juste que ça sera moins performant ?

Bon la meilleurs solution pour le moment semble être de prendre un Syno 1 baie (99€ environ) avec un bon HDD bien gras de 8to (300€) il me semble, dommage qu'il n'existe pas de serveur 1 baie petit/pas cher sur lequel j'aurai pu metter un Freenas.
Sinon pour le backup donc il n'est pas recommander de faire de RAID, ce que je comprend mais du coup on doit gérer beacoup de donnée il faut répartir manuellement sur plusieurs disque ou il existe un moyen de cummuler les espace disques sans risque (JBOD pê?)

Un snapshot est incrémental de base. Il te permet de ne pas perdre de données qui seraient supprimées ou modifiées par mégarde. Du coup quand tu fait le backup du snapshot tu fait un backup incrémental.
Par contre il faut comprendre un minimum comment ça marche pour sauvegarder tes snapshosts correctement!

Si tu as beaucoup de données oui il faut les répartir sur plusieurs disques, ou si tu as plusieurs disques dans une seule machine tu peux faire du jbod.

[Lupuss]

Coin coin mes canards,
J'envisage fortement l'achat d'un Syno DS216+II. Voilà comment ça devrait se passer:
AJOURD'HUI
Dans le PC:
- 1 DD de 4 To bourré ras la gueule de films de vacance (+ quelques autres bricoles)
Hors du PC:
- 1 DD de 2 To servant de backup dans un boitier externe
- 1 DD de 5 To fraichement reçu d'Amazon, même pas encore déballé
- 1 DD externe de 1 To pour backup et/ou déplacement de fichiers sur d'autres PCs
Pas de NAS...

DEMAIN
Dans le PC:
- Le DD de 2 To dans le PC, pour stocker qq jeux et dossiers
Dans le NAS:
- Le DD de 4 To et celui de 5 To en RAID 1 dans le NAS
Dehors:
- Le DD externe de 1 To

QUESTIONS:
- Est-ce que je peux partitionner le DD de 5 To en 4 + 1, de manière à faire du mirroring avec celui de 4 tout en gardant la partition de 1 To pour stocker autre chose (afin de ne pas perdre bêtemet ce To)?
- Est-ce que Plex peut tourner en mode serveur sur ce NAS?

Merci

[ursule15]

Ca fait bien longtemps que je n'etais pas venu ici.
A l'epoque, j'avais un NAS homemade a pas cher, que de la recup sous Ubuntu, sauvegardes de disque a disque via rsync et script dans la cron.
Et je racontais que le RAID n'etais pas une solution de sauvegarde, mais de haute dispo.

Et plusieurs annees plus tard, je reviens sur ce topic, et le RAID est toujours a l'honneur.
Puis-je demander pourquoi vous avez besoin de RAID ? (question a ceux qui ont un NAS pour des besoins persos, pas pour ceux qui en ont un usage pro bien sur)

[Lupuss]

J'estime que les données que je vais mettre sur le disque ne sont pas essentielles (ce ne sont "que" des films *tousse* de vacances *tousse*), mais si le disque crame, ça me ferait un peu beaucoup chier de tout re-télécharger, d'où l'idée du RAID 1 pour avoir un minimum de sauvegarde. J'estime la probabilité de perte via un vol ou incendie extrêmement minime. Par contre, un disque dur qui meurt avant la fleur de l'âge, je l'ai vu arriver trop souvent (insérer la musique du film Platoon ici).

[ylyad]

Je peux raconter mon cas: j'ai un NAS 4 baies Synology et j'y ai mis un SHR - en gros, ça permettait de concilier une large plage de stockage "unifié" tout en permettant de compenser la perte éventuelle d'un disque et (spécifiquement pour le SHR) tout ça avec des disques de tailles différentes. C'était la promesse, et elle est en théorie tenue.

Mais je sais que je ne le referai pas.

Déjà, le côté proprio du SHR va rendre l'évolution du NAS compliquée: quand mon boitier ne sera plus supporté par Syno, soit je veux faire simple et je reprends un Syno et y colle les disques tels quels, soit je change et ça va être galère (via des disques externes en attendant de remettre les disques dans le nouveau NAS) et/ou cher (en rachetant des disques en plus d'un boitier). Ensuite, j'ai compris depuis, notamment grâce à ce topic, que si je me trouve à perdre un disque, j'ai quand même un fort risque d'être niqué, bien plus que si j'avais mis en place un "vrai" mirroring (RAID 1 ou rsync ou autre). Et au final, j'ai séparé mon stockage en plusieurs parties (homes, backup, public), ce que j'aurais très bien pu faire en dédiant un disque à l'un ou l'autre de ces usages.

Bref, c'est un truc séduisant quand tu choisis / configures ton NAS la première fois et que t'y connais pas grand-chose.

[ursule15]

@ylyad
Ah mais RAID1 aussi tu risques d'etre nique ! Dans le cas ou ton controlleur RAID meurt, bon courage ( raid soft , ok, moins galere).

@Lupuss
Oui, tu signales que tu veux de la sauvegarde, mais pourquoi du RAID ? C'est bien la que je ne suis pas.
Si tu effaces par erreur ton disque "maitre", ou juste un fichier, benh t'as plus rien en mirroring. Ou si un fichier est corrompu sur le maitre, pareil.
A quel moment le RAID est un backup ici ?
Alors que si tu copies, sans repercuter les suppressions, tu fais ce que tu veux, pas d'histoire de disque de meme taille par ex, tu peux aussi exclure des repertoires que tu ne veux pas backuper.
Je me refere a ta question :
Est-ce que je peux partitionner le DD de 5 To en 4 + 1, de manière à faire du mirroring avec celui de 4 tout en gardant la partition de 1 To pour stocker autre chose (afin de ne pas perdre bêtemet ce To)?
Avec un systeme de copie, tu ne te poses plus aucune question. Tu copies

[shlagevuk]

@ylyad
Ah mais RAID1 aussi tu risques d'etre nique ! Dans le cas ou ton controlleur RAID meurt, bon courage ( raid soft , ok, moins galere).

Bah non justement, avec du raid1 tu n'as aucune surcouche en terme de configuration sur ton FS, que ce soit pour un raid hardware ou software. Tes deux disques sont "utilisables" indépendamment, si l'un meure l'autre a toutes les données et fonctionne tel quel.


Sinon tout le reste de ce que tu dis est parfaitement vrai et je plussoie. Le raid est une solution de haute disponibilité, c'est à dire que si un disque tombe en panne, les données sont encore disponible. Mais ça ne couvre pas les cas de cryptolocker, vol, incendie/destruction, ou tout simplement de suppression/modification involontaire.

Pour réellement sauvegarder les données je renvoi vers le premier post du topic qui couvre notamment le principe du 3-2-1 pour les sauvegardes, ou l'usage des backup incrémentaux.

En gros le raid est un confort d'utilisation, pas une solution de sauvegarde! (et 50% de capacité réel ça fait cher le confort)

[Lupuss]

Pour vous répondre à tous les deux, je pars du principe que les erreurs de manipulation (delete de fichier et autres) sont assez faibles pour être ignorées (tout comme le risque de vol ou d'incendie). Quant au fait de mettre un système de copie en place, pourquoi pas, mais ça m'a l'air d'être plus de taf que de faire le setup d'un RAID 1, non? Le but du RAID 1 est vraiment de palier à la mort physique d'un des disques, rien d'autre. Alors oui, ça fait un peu cher, mais je vois pas trop d'autres solutions pour stocker de façon redondante près de 4 To de films de vacances. J'assume mon côté "digital hoarder"

[ylyad]

Bah non justement, avec du raid1 tu n'as aucune surcouche en terme de configuration sur ton FS, que ce soit pour un raid hardware ou software. Tes deux disques sont "utilisables" indépendamment, si l'un meure l'autre a toutes les données et fonctionne tel quel.

Merci, c'est ce que j'avais compris aussi: il n'y a rien à "reconstruire", tu continues d'accéder aux données et tout. Après, c'est du mirroring, pas de la synchro, pas du backup, pas de l'incrémental, juste du mirroring. Mais typiquement, je backupe mes répertoires homes vers le cloud Amazon, avec de l'incrémental. Mais j'aimerais beaucoup que mes homes soient mirrorés dans le NAS en temps réel, et je serais (désormais) bien plus serein avec un mirroring qu'avec un SHR/RAID5 qui en théorie me fournit le même service mais risque en pratique de fonctionner mois bien. A l'inverse, pour mes répertoires backup (genre time machine) et public (films de vacances et autres), je n'ai besoin de rien de plus élaboré qu'une sauvegarde froide sur un disque externe de temps en temps...

- - - Mise à jour - - -

Edit: mes répertoires homes contiennent principalement du contenu que je produis moi-même (typiquement mes photos). Le répertoire backup est de la sauvegarde OS, les films de vacances sont produits par d'autres que moi, je ne suis que consommateur - donc même si je perds tout ça, c'est remplaçable (même si pénible) donc pas du tout le même niveau de priorité.

[Lupuss]

D'ailleurs j'aurais peut-être du préciser que mes données importantes sont sauvegardées "Chez Claude" Certaines sur Google, d'autres sur Dropbox.

[ursule15]

Je suis un peu loin de ça maintenant, mais vous êtes sûrs pour le RAID1 hardware ?
Vous prenez le disque mirror comme ça, il est lisible ?

[shlagevuk]

Je suis un peu loin de ça maintenant, mais vous êtes sûrs pour le RAID1 hardware ?
Vous prenez le disque mirror comme ça, il est lisible ?

Oui. Après ton contrôleur physique va très certainement gueuler et dire qu'il est en dégradé, certains OS peuvent peut-être ne pas accepter un volume dégradé.

Mais en dehors de ça. Si tu coupe la machine avec le raid 1, que tu enlève un des deux disques et que tu le place dans une autre machine (sachant lire le FS cela va de soit), la machine en question le verra comme un volume simple*.

*: Bon aller y'a quand même les exceptions des FS spéciaux comme btrfs ou zfs qui incluent la configuration des disques sur chaque disques comme une sorte de metadata, du coup ceux-ci diront qu'ils leur manquent le deuxième disque du raid, mais ils seront quand même utilisable tel quel.

[ursule15]

OK, merci, je pensais que même en FS genre ext3/ext4 on pouvait avoir des pbs en RAID1 à relire le disque.

[Foksadure]

Ensuite, j'ai compris depuis, notamment grâce à ce topic, que si je me trouve à perdre un disque, j'ai quand même un fort risque d'être niqué, bien plus que si j'avais mis en place un "vrai" mirroring (RAID 1 ou rsync ou autre). Et au final, j'ai séparé mon stockage en plusieurs parties (homes, backup, public), ce que j'aurais très bien pu faire en dédiant un disque à l'un ou l'autre de ces usages.

Je suis passé de Syno 2 baies à 4 baies, partant de volumes séparés pour aboutir à du SHR, en rajoutant des disques progressivement, sans jamais perdre de données en 7 ans. Le NAS me sert de partage, de destination de sauvegarde pour mes PC (Cobian Backup), héberge ma collection musicale (Logitech Media Server), streame la TNT (TVHeadEnd) pour Kodi, et fait tourner le client Transmission.
Actuellement, j'ai 3x2To en SHR pour les datas à conserver, et un volume simple sur 1x1,5To pour le jetable, configuration obtenue de manière empirique.

Un des disque de la grappe SHR a récemment montré des signes de faiblesse. Je l'ai remplacé par un 3To, à chaud. La manipe à pris deux secondes, avant que le Syno ne procède à la vérification du disque et la reconstruction des données. Tout ceci sans interrompre l'accès aux datas.

J'ai quelques notions de ce qui est possible avec FreeNAS et ZFS, mais il n'empêche que pour un usage domestique, les solutions Synology sont vachement bien foutues, abordables et fiables.

[mikeul]

En parlant de stratégie de sauvegarde, j'ai quelques interrogations.

Classiquement, mon organisation est la suivante :

• des postes (ordi, tablette, portable)
• Un NAS Syno qui a deux fonctions :
  
  • Partage de données (vidéos, photos, musique)
  • Backup des postes
• Un DD externe branché sur le NAS pour faire les sauvegardes dudit NAS. Dans le futur, une sauvegarde en ligne en sus.

Le processus est donc le suivant :

1. Sauvegarde de tous les postes sur le NAS en incrémental (on centralise pour n'avoir qu'un seul process de sauvegarde sur chaque poste)
2. Sauvegarde du NAS vers le DD externe (et vers un futur backup en ligne) : données partagées + sauvegardes précédentes

Cette organisation ne me satisfait cependant pas des masses sur le plan intellectuel car le problème est que le NAS remplit deux rôles bien différents et ça m'ennuie avec le versionning : j'ai un seul processus de sauvegarde global du NAS vers le DD externe qui utilise la gestion de version.

Du coup, le versionning s'applique non seulement sur les données partagées (normal) mais aussi sur les sauvegardes incrémentales (c'est couillon). Alors oui, j'avais pensé faire deux process distincts, avec et sans versionning suivant les données concernées, mais dans mes essais sur Syno, je m'étais trouvé bloqué sur du tout ou rien : le choix avec ou sans version se faisait sur tout le volume de mémoire (notez que je n'ai pas réessayé depuis un moment).

C'est là que je me dis qu'une solution "deux NAS" est certes plus chère, mais finalement la plus jolie intellectuellement parlant :

1. NAS 1 : partage de données uniquement (avec idéalement RAID miroir pour la dispo)
2. NAS 2 : sauvegarde des postes et du NAS 1 en incrémental. Dans ce cas de figure, le NAS 2 peut être un modèle d'entrée de gamme
3. backup supplémentaire "froid" du NAS 2 (DD externe + en ligne)

Dans cette hypothèse, l'étape 3 ne devrait se faire qu'en mode miroir, pas en incrémental non ?

Vous en pensez quoi ?

[shlagevuk]

Je ne connais pas très bien les nas syno et notamment leurs fonctions de snapshot (versionning).

Mais du coup il semblerait que ta sauvegarde incrémentale soit redondante avec les snapshots du volume de ton NAS. Du coup pourquoi ne pas enlever la sauvegarde incrémentale et utiliser uniquement les fonctions de snapshots? Tu ferai la sauvegarde de tes postes via rsync ou équivalent windows puis tu lance un snapshots, ça reviendrait au même.

De même pour dupliquer ton NAS vers le disque externe tu ne renvoi que le dernier snapshots, ou tu synchronise tout?

[mikeul]

Je ne connais pas très bien les nas syno et notamment leurs fonctions de snapshot (versionning).

Mais du coup il semblerait que ta sauvegarde incrémentale soit redondante avec les snapshots du volume de ton NAS. Du coup pourquoi ne pas enlever la sauvegarde incrémentale et utiliser uniquement les fonctions de snapshots? Tu ferai la sauvegarde de tes postes via rsync ou équivalent windows puis tu lance un snapshots, ça reviendrait au même.

De même pour dupliquer ton NAS vers le disque externe tu ne renvoi que le dernier snapshots, ou tu synchronise tout?

Pas sûr de comprendre mais peut-être qu'il manque un élément à ma description :

• Entre mon PC et le NAS, j'utilise cobian backup en incrémental. Je n'utilise pas de sauvegarde Syno. Surtout que cette histoire de snapshot, ce n'est pas encore hyper clair pour moi
• Par contre, entre le NAS Syno et mon DD externe, j'utilise le versionning Synology (parce qu'il y a des données partagées sur le NAS, qui ne se trouvent qu'ici, dont je veux garder l'historique des modifications dans le temps). Donc pour répondre à ta question, normalement, ma sauvegarde ici fait de l'incrémental à la mode Syno sur toutes mes données (parce que je n'ai pas trouvé comment les séparer).

L'idée de base est toute simple : je veux avoir le même historique de sauvegarde sur deux supports de backup différents, pour des questions de sécurité (NAS + DD actuellement, plus tard NAS + online).

C'est bien pour ça que ma config ne me satisfait pas, parce que pour les données partagées sur le NAS, je n'ai qu'une seule sauvegarde incrémentale : le DD externe.

[shlagevuk]

https://www.synology.com/en-global/k...protection_mgr


Du coup c'est bien ce que je dit, sauvegarde incrémentale ~= sauvegarde par snapshots. La différence est que la première interviens au niveau fichier, l'autre au niveau des blocks du FS, mais à la fin le résultat est le même pour toi.

En gros tu peux te passer de la fonction incrémentale de cobian et faire juste une copie, et ensuite faire un snapshot au niveau du NAS et copier le snapshot sur le disque externe.


Pour info, la fonction de snapshot est utilisable uniquement avec btrfs ou sur un LUN (mais c'est peu probable que ce soit ce dernier pour toi). Btrfs, qui se prononce butterFS, se base sur les même principe que ZFS, c'est un système de fichier basé sur du copy on write, il gère tout le stack du stockage des blocks au fichier et dispose de fonctions bien plut avancés que les FS traditionnels comme ext3/4 ou NTFS.
Le copy on write (CoW) permet donc de faire des snapshots très facilement, quand un block est écrit il va avoir un "incrément", à partir du moment où un snapshot est réalisé l'incrément des nouveaux block écrit change. Ce que cela veut dire pour les fichiers est la chose suivante: si tu prend un snapshot de ton FS contenant un gros fichier texte, que tu modifie ce gros fichier a un endroit particulier que tu le sauvegarde, tu vas n'avoir qu'un seul block qui sera écrit contenant le nouveau texte, le reste ne sera pas écrit a nouveau ce qui rend les snapshots très économes.

[mikeul]

Ok, je vois mieux.

Dans ce cas, est-ce que c'est bien une sauvegarde miroir du PC vers le NAS qu'il faut (y compris donc la répercussion des suppressions) ?
Ceci dit, en y réfléchissant bien, j'ai quand même une préférence pour une solution double NAS (avec un DS110j de récup), c'est plus clair de scinder par machine les types de données stockées je trouve. Ce qui n'empêche pas d'utiliser les snapshots.

Après, faut que je me penche sur la facilité de récupération des fichiers.

[Harvester]

Bonjour les gens !

Je zieute le topic depuis un bon moment et tente de trouver des réponses à mes questions métaphysiques.

Je pense me monter un petit serveur HP ProLiant MicroServeur Gen8 avec Windows Server 2016 (j'ai la license) sur un petit SSD pour faire :
- serveur de fichiers (films de vacances, photos, musique...) pour les 4 PCs de la maison (dont un sous la TV avec Kodi déployé) + Raspberry 3 monté en Recalbox (à venir).
- de la virtualisation, histoire de faire mumuse (j'ai une VM sous MacOS, une sous Win Server 2016 et une sous CentOS présentement).

Pas de RAID prévu, je ne vois pas l'utilité. Je pensais dédier chaque disque physique à une fonction (un pour les films/séries, un pour les docs, un pour l'émulation...).

Je pensais mettre au cul du serveur un NAS Syno apacher (j'ai vu un DS214SE à 80€ sur LBC) pour le backup hebdo.

Voyez-vous des failles dans mon raisonnement ?
Le NAS en backup ne fait pas overkill (au pire je prends un 1 baie) ? Mieux vaut un simple DD externe que je connecte au moment de la sauvegarde ? Ou même dédier une baie rien que pour la sauvegarde ?
Concernant le serveur HP, pour ceux qui l'ont, un simple rajout de RAM pour la virtu suffira ?

Je pars sur le HP essentiellement pour des raisons de coût et de fonctionnalités. Les Syno 4 baies ne sont pas donnés et à part pour le haut de gamme, semblent incapables de faire de la virtu. Par contre je perds DSM, à moins de partir sur du Xpenology, ce qui ne me dit que très moyennement.

Merci de m'avoir lu, j'attends vos commentaires et autres remarques constructives !

[Cowboy]

Pourquoi mettre un Synology derrière le HP plutot qu'un boitier USB ?
Si vraiment tu prend le serveur HP pour une question de cout et de fonctionnalité, pourquoi ne pas prendre un simple PC classique qui sera bien moins cher ?

[Harvester]

Un PC classique bien moins cher ? Le HP est à 220€, je doute de pouvoir monter une machine compacte comme ça à ce prix-là (par exemple le NAS homemade page précédente est à 327€).

Oui, concernant le Syno, je me tâte. L'intérêt pour moi est de pouvoir le laisser en veille et de le réveiller automatiquement au moment de la sauvegarde. Le disque en USB, faut le laisser au cul ou penser à le brancher... J'aime bien automatiser :fainéant:
Mais effectivement, je me demande si c'est bien utile...

[Cowboy]

Finalement, l'espace compte aussi ...

[Harvester]

Si tu parles pour la question NAS/disque USB de sauvegarde, oui effectivement. Surtout que le serveur sera derrière la TV dans le salon.

[Guapo]

Si tu parles pour la question NAS/disque USB de sauvegarde, oui effectivement. Surtout que le serveur sera derrière la TV dans le salon.

Ce qui risque surtout déranger dans ce cas là, c'est le bruit de ton HP. Ca reste du produit "pro" et en général, ils ne s'emmerdent pas à coller des ventilos silencieux qui tournent doucement...

[Foksadure]

Ce qui risque surtout déranger dans ce cas là, c'est le bruit de ton HP. Ca reste du produit "pro" et en général, ils ne s'emmerdent pas à coller des ventilos silencieux qui tournent doucement...

D'après ce blog, il est très silencieux :
https://utux.fr/index.php?article7/h...n-nas-homemade

[Harvester]

Oui, c'est aussi ce que j'avais lu, à part bien sûr au démarrage, serveur oblige.

[Yo-gourt]

Moi j'ai un HP avec Synology dedans...mais chut c'est pas joli joli...Mais ça marche depuis plus de 3 ans...Très bonnes machines ces microserveurs HP et en silence!

[Zirman]

Bon ba voila c'est décidé, je vais en acheter un aussi, voila !

[Lupuss]

Comme annoncé j'ai finalement craqué pour un HP MicroServer 8 avec FreeNAS dessus. J'ai pas encore fini de tout installer/configurer mais je vais déjà faire un petit retour
Côté Hardware:
- Il est VRAIMENT discret et silencieux. Je l'ai installé dans le salon, juste en-dessous de la télé, et il ne dérange vraiment pas.
- Il est assez bien conçu: c'est très facile d'aller ajouter une barrette, brancher une clé USB sur le port interne et installer les disques.
- Trouver le bon modèle de RAM supportée n'a pas été super facile.

Côté Software:
- Le serveur ne supporte pas l'EFI, dommage quand même...
- Gros carton rouge sur le support d'HP où il faut naviguer entre what milliards de différents sites web d'HP pour trouver les updates qui vont bien, avec des URLs pétées dans les pages du support. Un comble pour un produit (semi) pro...
- FreeNAS tourne bien dessus, je galère juste un petit peu pour étudier toutes les spécificités des volumes ZFS. Là j'ai installé Plex et je suis en train de construire mes librairies, jusque là ça va