[Réseau/NAS]Le topic des gros nas

[mikeul]

arf... Justement mon but était de rassembler mes disques pour ne pas faire une armoire informatique.
D'après toi, il vaudrait mieux partir sur 2 qnap que de faire une seule machine sous w10?
Sous w10 avec un n54l et mes 5/6 disques je peux m'attendre à quel niveau de conso?
Mise en veille possible?
Mes disques dur sont 2 seagate "nas" et 2 wd purple (c'est wd qui suite à mon RMA de 2 red m'a renvoyer 2 purple).

Merci à vous 2, je progresse

QNAP, windows 10, etc., peu importe. L'important, de mon point de vue, c'est que le ou les disques durs contenant les données à partager se trouvent dans une machine, le ou les disques de sauvegarde dans une autre.
Pour une raison simple : si ton unique machine a une défaillance matérielle, tous les disques à l'intérieur peuvent être touchés (donc tes données + ta sauvegarde, ce qui serait moyen). Avec deux machines séparées, la probabilité est nettement plus faible. Tu peux faire en sorte en plus de n'allumer la machine de sauvegarde que pour la sauvegarde (au lieu de la faire tourner H24).

Évidemment, et tu l'as cité, le dernier niveau de sécurité, c'est une sauvegarde supplémentaire distante (géographiquement).

Typiquement, en termes de configuration, ta machine de partage doit être la plus musclée (en fonction de tes usages bien sûr, surtout si tu fais de la transco à la volée avec Plex). La machine de sauvegarde (un NAS, un NUC, un Rapsberry, etc.) peut être un truc très léger (et donc moins cher).

[Lagule]

Je comprend et partage ce que tu dis mais je n'ai jamais eu de panne (peut être pas passer grosse) qui puisse corrompre mes disques. A la limite celui système mais les autres....
Je pense rester sur w10 de toute façon et réfléchir pour la séparation des disques...
Merci à tous pour vos conseils!

[mikeul]

Je comprend et partage ce que tu dis mais je n'ai jamais eu de panne (peut être pas passer grosse) qui puisse corrompre mes disques.

Le passé ne préjuge pas absolument pas du futur
Je parlais de problème matériel pour donner un exemple, mais tu pourrais aussi être victime d'un souci logiciel, d'un virus qui te chiffre toutes tes données (un windows 10 qui a accès à tous les disques...), etc.

Bref, en matière de sauvegarde et de données numériques, prudence est mère de sureté.

[Foksadure]

A propos de sauvegarde, est-ce que quelqu'un a testé ou utilise le soft open-source Duplicati ?
https://www.duplicati.com/

Il y a un paquet pour les Syno, ainsi que des clients pour tous les OS grand public.
Bonne occasion de mettre Cobian Backup à la retraite.
Ou pas.

[vu chez HFR]

[Cowboy]

Rien de mieux que Cobian.

De mémoire a prendre avec de grosse pincette : Duplucati est excellent pour les incrémentales même sur de gros fichier. Par contre pour récupérer tes données tu est totalement dépendant de duplicati car il copie les changements en binaire. Donc tu a des brides de fichier plutot que les fichiers complet.

[golwin]

Vous sauriez comment faire pour envoyer une page internet sur Dsnote avec firefox pour créer un article à lire à la manière de Pocket ou Wallabag ?

[Cowboy]

C'est une application qui partage des liens mais demande le droit d'enregistrer l'audio sur le téléphone, trop marrant.

[mikeul]

Rien de mieux que Cobian.

De mémoire a prendre avec de grosse pincette : Duplucati est excellent pour les incrémentales même sur de gros fichier. Par contre pour récupérer tes données tu est totalement dépendant de duplicati car il copie les changements en binaire. Donc tu a des brides de fichier plutot que les fichiers complet.

Cobian c'est ce que j'utilise, mais je rencontre de vrais problèmes de performance.
J'ai une sauvegarde quotidienne entre un fixe et le NAS (réseau local), je suis en incrémental sur 3 répertoires (les dossiers Users de Windows 10) et ça prend plusieurs heures, y compris pour des dossiers n'ayant quasiment pas bougé.
Résultat des courses, au-delà du délai, dès qu'une sauvegarde est en cours, la charge processeur du NAS augmente (le process smb) et le réseau local est fortement perturbé (même la lecture d'un fichier audio est régulièrement interrompu...).

[ylyad]

Perso, j'utilise le backup & restore intégré à Windows 10, qui sauvegarde vers un disque réseau sur le NAS.

[mikeul]

Cobian c'est ce que j'utilise, mais je rencontre de vrais problèmes de performance.
J'ai une sauvegarde quotidienne entre un fixe et le NAS (réseau local), je suis en incrémental sur 3 répertoires (les dossiers Users de Windows 10) et ça prend plusieurs heures, y compris pour des dossiers n'ayant quasiment pas bougé.
Résultat des courses, au-delà du délai, dès qu'une sauvegarde est en cours, la charge processeur du NAS augmente (le process smb) et le réseau local est fortement perturbé (même la lecture d'un fichier audio est régulièrement interrompu...).

Pour préciser : ce n'est bien entendu pas le réseau qui est chargé mais le fait que le NAS soit fortement sollicité qui perturbe donc la lecture/écriture sur les partages.

[smooki]

@mikuel Samba (je pense pas que ton NAS soit sous Windows) est connu pour parfois bouffer du CPU (il est je crois mono thread), notamment lorsqu'il y a de nombreux fichiers. (faudrait que tu puisse faire un "top")
Tu devrais surtout voir pourquoi Cobian (réglages ? je ne connais pas ce soft) fait du pataquès car en effet en incrémentale cela ne devrait pas dans une utilisation classique.

[mikeul]

@mikuel Samba (je pense pas que ton NAS soit sous Windows) est connu pour parfois bouffer du CPU (il est je crois mono thread), notamment lorsqu'il y a de nombreux fichiers. (faudrait que tu puisse faire un "top")
Tu devrais surtout voir pourquoi Cobian (réglages ? je ne connais pas ce soft) fait du pataquès car en effet en incrémentale cela ne devrait pas dans une utilisation classique.

Sur la cause, pas d’ambiguïté, c'est bien le process smb qui bouffe presque tout le CPU sur le NAS pendant que Cobian travaille.
Le pourquoi, c'est justement tout le problème , je n'ai pas encore trouvé.

[jerome35]

Bonjour à vous,

Quel système me conseiller vous pour gérer les choses suivants :

1. via Docker :
   
   • Sites Asp.Net Core voir php...
   • Bases Sql Server et autres...
   • Git...
   • Plex
2. Stockage de quelques documents... - Accès via SMB (v3 ?)
3. Syncthing pour la synchro de mon Keepass
4. VPN pour accéder à mes documents si nécessaire
5. Backup distant - hors plex - 3go compressé environ
6. Voir d'autres trucs plus tard, Docker fera l'affaire je pense

Pour le backup distance vous utiliser quoi ? Cloud, pc chez quelqu'un d'autre... ?
En plus du backup distant je ferais régulièrement un backup sur hdd externe, mais le distant sera quotidien, sauf pour plex qui sera que sur hdd externe.

Je suis tenté de tester unRaid, des retours ?
Leur système permettrait d'assurer avec 2 disques de parités la perte de max 2 disques dur tout en assurant la dispo des données si le nas est HS avec du nouveau matos.
Et cela coûte toujours moins que d'acheter une carte Raid...
En plus je peux ajouter des disques plus tard ou augmenter facilement la taille.

Sinon avant j'utilisais Windows Server mais trop lourd et je suis passé à Synology (Xpenology) mais pas de raid ou autre pour assurer la disponibilité des données.

Je ne connais pas FreeNas ni OMV et je fais rarement de la config sur Linux mais je peux m'y remettre.

Merci d'avance, je vais pour ma pars continuer de fouiller le web à la recherche d'infos.

Bonne journée

[smooki]

Docker :
- Tes Templates Docker sont bien basés sur des images Linux ?
- Ya portainer qui est sympa, il existe aussi Rancher qui est peut être overkill.

Stockage Document => Samba (oui v3 pourquoi pas ?)

UnRaid est il me semble payant à partir d'un certain nombre de disque.
Deux disques de parités que tu souhaient correspond à Raid6 (raid-z2 en ZFS).

Tu as combien de RAM, tu es le seul à taper dessus régulièrement ?
Si tu as assez de RAM (idéalement 16G tu pourras faire tourner un Freenas en bénéficiant de ZFS qui est le top en sécurité pour tes données (checksum à l'écriture, copy on write etc...), plus des VMs / Conteneurs, tout en continuant à priofiter de performance au top, moins de RAM moin de cache forcément....
Les dockers ne fonctionne pas sous BSD par conséquent il faudrait une VM linux.
Freenas ne demande pas beaucoup d'apprentissage, par contre c'est pas évident de pouvoir ajouter des disques à un "Pool" (grappe) existant, c'est un des points négatif pour les particuliers.

[jerome35]

Pour Docker j'ai encore beaucoup de chose à apprendre.
Je sais juste qu'il est possible de configurer Sql Server & Asp.Net core dessus.
Après je dois comme le reste me former à la config.

L'avantage de Synology c'est l'interface simple sans devoir mettre les mains dans le cambouis, pour la config en général.

Et l'avantage de unRaid c'est aussi un système "assez simple" pour ajouter des disques & co.
Le prix de la licence ne me gène pas, je peux commencer avec la licence "Basic" et augmenter si nécessaire...
Et je préfère un truc légal et simple à maj plutôt que Xpenology.
Par contre après contrairement à Synology il faut configurer des VM ou des dépôts Docker.

FreeNas d'après ce que j'ai lu nécessite de la mémoire ECC pour éviter des problèmes.

Concernant l'usage, moi + les personnes utilisant les sites + un ou deux flux Plex et temps à autre.
La config je compte en changer, mais bon le surcoût de la mémoire ECC pour les composants Raid...

Et merci pour Portainer je ne connaissais pas, l'interface à l'air sympa

[smooki]

Tu n'as pas besoin de carte RAID (c'est même à désactiver avec des systèmes résiliants telle que ZFS, Windows Space Storage, et compagnie).
Il n'y pas de raison spécifique à ZFS quand à la nécessité d'utiliser de l'ECC, même si c'est évidement recommandé, mais ce quel que soit le système de fichier ...
La question est de savoir si tu as assez de RAM, car sinon ce n'est pas la peine de te prendre la tête avec un BSD + VM linux pour docker.
Outre la sécurité, l'avantage de ZFS est de faire du Cache en RAM de manière optimale, si tant est que tu aies de la RAM en quantié suffisante.
Effectivement MS vient de sortir SQL server pour linux.

En restant sur du linux fait "à la main" cet article pourrait de donner un exemple (raid software, docker, plex) : https://blog.linuxserver.io/2017/06/...a-server-2017/

[jerome35]

Je suis en train de lire le site suivant : https://www.durindel.fr/informatique...ie-vocabulaire
Mais merci de ta réponse Smooki.
Je vais peut-être me pencher sur FreeNas.

[smooki]

Si tu peux, c'est le top

[MegABiloU]

Coucou, je voulais savoir si il y avait un intérêt à prendre un nvidia shield pour remplacer mon intel NUC5I3RYK

Aujourd'hui mon nuc sous Windows fait les choses suivantes.
- Serveur plex (2 transcodages simultané jusqu'a parfois 3-4 )
- Client téléchargement sur DC++
- Lecteur Plex Home Theater
- éventuellement MPC ou VLC si trop de charge CPU sur plex.
- Netlimiter car parfois ça bouffe trop d'upload (sachant que je peux également le faire via mon routeur au pire des cas)

Aujourd'hui ça tourne plutôt bien par contre en lecteur vidéo de salon c'est pas top, parfois j'ai du décalage son image et du craquement sur le son.
L'idée aurait été d'avoir le Nvidia Shield pour remplacer le nuc quitte a ne plus avoir dc++ afin de profiter d'une expérience optimale en local et éventuellement d'améliorer la partie serveur plex distante.

N'ayant rien pour comparer les deux outils je ne sais pas trop quoi penser.

[mathwern]

Si jamais ça peut t'aider à prendre une décision, je me tâte pour récupérer un NUC pas trop cher quelque part

[Foksadure]

Aujourd'hui ça tourne plutôt bien par contre en lecteur vidéo de salon c'est pas top, parfois j'ai du décalage son image et du craquement sur le son.

Compléter par une Xiaomi Mi Box 3 Android TV en lecteur ?

[MegABiloU]

Si jamais ça peut t'aider à prendre une décision, je me tâte pour récupérer un NUC pas trop cher quelque part

J'ai pas dit que je m'en débarrassais

[Guapo]

Pour Docker j'ai encore beaucoup de chose à apprendre.
Je sais juste qu'il est possible de configurer Sql Server & Asp.Net core dessus.
Après je dois comme le reste me former à la config.

L'avantage de Synology c'est l'interface simple sans devoir mettre les mains dans le cambouis, pour la config en général.

Et l'avantage de unRaid c'est aussi un système "assez simple" pour ajouter des disques & co.
Le prix de la licence ne me gène pas, je peux commencer avec la licence "Basic" et augmenter si nécessaire...
Et je préfère un truc légal et simple à maj plutôt que Xpenology.
Par contre après contrairement à Synology il faut configurer des VM ou des dépôts Docker.

FreeNas d'après ce que j'ai lu nécessite de la mémoire ECC pour éviter des problèmes.

Concernant l'usage, moi + les personnes utilisant les sites + un ou deux flux Plex et temps à autre.
La config je compte en changer, mais bon le surcoût de la mémoire ECC pour les composants Raid...

Et merci pour Portainer je ne connaissais pas, l'interface à l'air sympa

Concernant FreeNAS et la RAM ECC, oui c'est mieux si tu utilises du ZFS car le scrubbing régulier pourrait dans des cas très particulier d'erreur RAM poser des problèmes. Mais, non, ce n'est pas indispensable. Tout dépend de la criticité de tes données.
Les dernières versions de FreeNAS (à partir de la 11 il me semble) gèrent Docker en natif et tout les services se configurent plutôt facilement (SMB, NFS, DDNS, rsync, ...).
Tu peux gérer du stockage Azure, S3, Google ou Blackblaze directement en quelques clics (je n'ai pas testé cependant, je n'ai pas le besoin) ce qui te permet de gérrer tes backups sans problème.
Attention par contre : avec ZFS, pas possible de modifier la config après coup. Si tu pars sur 3 disques, en rajouter un 4eme n'est pas possible.

[jerome35]

Merci pour le retour.

J'ai déjà en WD Red 2x3to et 1x6to.

Je vais compléter le nombre de disques mais cela devrait le faire. En gros je vais prévoir large pour Plex .

Et pour Blackblaze intéressant je ne savais pas, idem pour docker.

Je regarde actuellement le matos et aussi pour mon PC que j'aimerais changer..

Et je me tâte à patienter avec les nouveaux CPU AMD de 2019.

[MegABiloU]

Si tu veux économiser du fric sur backblaze le mieux est de créer une VM avec Windows pour profiter de l'offre illimité Desktop.

[smooki]

Attention, la prise en charge de Docker n'est rien d'autre qu'une VM gnu-linux minimaliste rancherOS (le comagnon du suscité rancher assez usine à gaz je trouve)
Docker ne fonctionnant pas sous BSD

Par contre FreeBSD possède son propre système de conteneur appelé Jail, tu trouveras quelques templates tel plex, ça tournera mieux que de faire tourner sous docker dans la VM.

Tu peux commencer à tester/te familiariser en installant Freenas dans une VM sur ton poste actuel.
Aussi il est vrai que tu ne pourras pas ajouter de disque à ta grappe (sauf à ajouter du "stripping" et forcément avec le même nombre de disques).

ECC : Le problème c'est surtout que ZFS stocke tout un tas d'informations (Cache) en RAM mais comme tu as du le voir sur durindel : un bon memtest de 30heures avant installation ... et puis tu gère pas une banque non plus

[Bah]

J'ai une petite question. Je suis en train de regarder pour une solution NAS afin de sauvegarder mon portable, d'avoir un bon backup de mes photos (pour le moment j'ai les originales sur un disque externe et un backup sur un autre disque) et de pouvoir faire une galerie accessible par moi et d'autres avec certaines de mes photos. Du coup je me dirige vers un synology qui semble avoir plein d'app intéressante pour ce que je veux faire (notamment la galerie). A priori je vais prendre un 2 disques, parce que ça ma paraît un peu bête de me bloquer à 1 disque étant donné que la différence de prix du NAS en lui-même est pas énorme.

Par contre je me pose une question sur la sécurité des backups. Ce que je voudrais éviter, c'est de me retrouver avec genre mon disque externe de photos qui plante et tout à coup m'apercevoir que mon disque de backup avait lui aussi planté deux semaines plus tôt... Il y a sur ces machines des outils de monitoring automatique ? Un truc qui par exemple envoie un mail dès qu'un disque a un problème ? Si c'est pas le cas, faudrait faire quoi ? Attacher un disque externe au NAS pour avoir un deuxième backup ? Monter un deuxième disque et en faire un miroir ? Tout cela, sachant je veux m'affranchir du stockage en ligne. Si ma maison crame tant pis, j'aurais fait ce que j'ai pu et là on est vraiment dans le pire des cas possibles. Et en plus si j'investit dans un NAS c'est aussi à la place d'investir dans du stockage en ligne.

[ylyad]

Oui, il y a du monitoring (un rapport S.M.A.R.T. envoyé tous les mois). Pour l'instant, j'ai jamais eu de problèmes donc je ne sais pas encore trop ce qu'il faut faire le cas échéant - maintenant que j'ai fini de mettre en place Backblaze, ça va être le prochain truc à regarder... J'ai un disque externe branché sur le NAS sur lequel je fais des sauvegardes une fois par mois (et il est démonté après chaque sauvegarde, pour limiter les risques de contamination). Et je sauvegarde sur Backblaze (les RAW uniquement).

[Bah]

Merci pour le feedback ! Je suppose que ça doit suffire pour mon utilisation. Je pense que je vais craquer et partir sur cette solution.

[smooki]

J'ai déjà eu des disques defaillants, j'ai pu prévenir les problèmes grace à ZFS, mais la règle en effet reste à faire des smart monitoring régulier (rapide) et dès que tu as un doute ou vraiment assurer le coup faire un smart test long (ça peut prendre 20h).

Dès que tu as erreurs SMART, si tu tiens à tes données => disque à remplacer.
Bien évidement un chainage de backup (bakcup ton nas sur un autre appareil) sera une meilleurs solution en terme de sécurité que de n'avoir que le NAS avec des disques en mirroir.