NAS et fichiers FITS

[Kains1]

Bonjour à tous, 

 

Je suis actuellement en train de monter un NAS (Network-Attached Storage) en prévision de sauvegarder les images astro et d'autres fichiers qui vont avec. 

Je me demandais si quelqu'un avait mis en œuvre un NAS dédié à l'astrophoto ici sur la forum.

 

Ma question principale est la gestion des fichiers FITS par exemple qui est quasiment utilisé en astronomie. Est-ce que vous avez un modèle qui arrive a gérer ce genre de fichier ?  Car les constructeurs de NAS parlent de certains formats utilisés en photographie mais aucune mention des FITS...

 

Merci d'avance !

Kains1

[waogll]

Il vaut mieux que le NAS ne gère pas les fits car s'il s'amuse à créer des miniatures pour chaque fichier ça va faire désordre.

 

[entreplume]

Salut

Je ne suis pas spécialiste réseau, mais j'ai un NAS comme serveur photo et je me permets de te partager quelques réflexions.

 

Un NAS est un serveur de fichier réseau, et même s'il offre une meilleure redondance avec les différents niveaux de RAID que tu peux mettre en place, il ne peut pas être considéré comme un système de sauvegarde à proprement parlé. Si tu vas sur les forums réseaux, tu verras qu'une grappe de disques qui tombe en rade ça arrive et ce n'est pas si rare en définitive.

Ou autre exemple, 2 disques qui lâchent sur un raid 5 de 4 disques et c'est mort.

C'est bien sûr mieux qu'un seul disque sur un ordi, mais ce n'est pas non plus la panacée.

D'autre part, à moins que ton  NAS soit déporté, cela ne te protège pas des dégâts domestiques, foudre, inondation, incendie etc.

 

Là où le NAS est super, ce que tu as accès à tes fichiers quelque soit ton ordi. Cela te permet d'avoir une seule version de tes différents fichiers, sans te demander si ton dernier traitement d'Orion est sur ton portable, ton fixe, celui de ton conjoint…

 

Perso, en traitement photo classique (j'en ai environ 40 000) voilà ma façon de faire et mon installation.

 

Après un tri rapide pour éliminer les photos ratées, tous mes raws sont sur mon NAS, plus 1 disque dur brancher en usb pour des sauvegardes automatiques. En manuel à peu près une fois par mois, j'envoie mes nouvelles photos sur Amazon drive. Ce n'est pas parfait vu que la politique d'Amazon change et que maintenant cela va s'appeler Amazon Photos, mais ce n'est pas si mal.

L'avantage, c'est que si tu as un abonnement Prime, le nombre de photos est illimité et compris dans l'abonnement.

 

C'est la solution qui m'est apparue comme la plus pérenne et la moins chère. Il peut y avoir plus automatique et plus pro, mais c'est plus cher au vu de la taille des fichiers image. Donc perso pour moi ça me convient.

Amazon reconnait les RAW comme image, je n'ai pas encore testé pour les fits.

Mes photos sont triées par mois et par an et j'ai de toute façon Lightroom comme catalogueur, avec gestion par mots clés pour retrouver facilement une photo.

 

Au sujet des FITS, ton NAS va les gérer comment n'importe quel fichier, je pense que tu dois pouvoir poser des tags dessus pour les retrouver plus simplement. Mais là, mes connaissances s'arrêtent. Il doit exister des logiciels, ou des passionnés qui ont dû développer des bases de données pour gérer tout ça. Peut-être même un CMS installé sur un NAS, ça serait peut être une solution. Mais là on sort de ma compétence.

 

Je débute en Astro et pour l'instant, j'ai un système de dossiers et de sous dossiers triés par date qui me suffit et mis à part les fichiers finaux je ne sauvegarde rien par Amazon, je n'ai pas encore testé les FITS.

Ca m'étonnerait que ça soit reconnu comme image par Amazon.

 

En tout cas, c'est un sujet qui m'intéresse aussi, vu qu'en Astro le nombre de fichiers est exponentielle.

 

Sûrement que des membres du forum qui imagent beaucoup ou qui ont des observatoires déportés pourront répondre sur un traitement plus automatique des FITS ,des fichiers de calibration, et des images traitées.

 

Bon ciel.

 

Il y a 2 heures, waogll a dit :

Il vaut mieux que le NAS ne gère pas les fits car s'il s'amuse à créer des miniatures pour chaque fichier ça va faire désordre.

 

Perso, les miens ne le fait pour les RAW, je vais en changer, il va falloir que je regarde ça.

Modifié 1 mars 2023 par entreplume
correction

[keymlinux]

Bonjour

 

@entreplumeNous avons a priori les mêmes usages et les mêmes pratiques des NAS (et de Lightroom), par contre je ne fais pas de backup dans le cloud, je backup vers un autre nas hébergé sur un site de "secours" en remote (membre de la famille à l'autre bout de la France), cela permet de se prémunir des risques domestiques (y compris cambrioleur qui partirais  avec mon nas...)

 

@Kains1Comme déjà dit par @entreplume, un NAS c'est pour stocker, pas pour sauvegarder (rien ne t'interdit de modifier supprimer par erreur le contenu).

En tant que stockage tu peux y stocker tout type de fichier, il n'y a pas de fichier supporté ou pas.

La notion de format de fichier multimedia supporté ce n'est pas pour le stockage, mais pour les éventuels outils annexes proposés par le fournisseur du nas (comme les modules "Photo" et "videos" des nas Synology, ou encore le support du protocole DLNA par certains NAS (par exemple mon ampli audio sait contacter mon NAS en tant que périphérique DLNA pour  lire les MP3 qui y sont stockés et indexés)

 

[entreplume]

En explorant le net je suis tombé sur ça : https://observation.sourceforge.net/en/index.html

 

Un logiciel de gestion d'observation. Je n'ai pas regardé plus que ça et c'est un peu hors sujet, mais peut-être pas tant que ça.

De ce que j'ai compris c'est une sorte de CMS d'observation, qui permet de noter ces observations et qui lit les FITS. Est que cela peut servir à gérer une bibliothèque d'image astro sur un NAS ?

À regarder en tout cas.

Ce n'est toujours pas de la sauvegarde, mais coupler à un NAS, on pourrait avoir une gestion de ses fichiers astros et donc du stockage. Pour la sauvegarde @Kains1 a voir une des 2 solutions évoquées par @keymlinux ou moi.

 

Je reste prudent, je ne connais pas ce logiciel, mais c'est à creuser.

 

 

Ps dvp en java dernière version 2015, pour être pérenne c'est pas top

Modifié 2 mars 2023 par entreplume
ajout d'info

[Kains1]

Bonjour à tous, 

 

Je vous remercie pour vos réponse très rapides et très intéressantes !

Pour ma part, j'avais en tête de faire un NAS comme une solution de stockage de données mais aussi pour y accéder à distance sans soucis. Pour le moment, je pense partir sur un RAID 1 vu que j'aurais au début deux disques durs. Je pense me tourner vers Synology vu que c'est le leader sur ce marché. Je pensais au modèle DS220J, ce n'est pas un foudre de guerre mais je pense pas avoir besoin de plus (à mon sens).

 

Pour le moment mes fichiers sont enregistrés dans un disque dur externe mais vu que je l'utilise pour mon travail aussi, c'est pas ouf. C'est pour ça que je voudrais avoir un truc dédié sans autant le transporter tout le temps.

 

[krotdebouk]

Un truc m'échappe dans ton besoin vis à vis du NAS : tu veux pouvoir travailler sur les fichiers stockés sur ton NAS comme s'ils étaient sur un disque dur externe ?

Si c'est le cas, je ne pense pas que ce soit une manip intéressante, en tous cas ça ne l'est pas avec mon NAS Synology 218. Si j'ouvre une image (une .fit par exemple) avec un logiciel de traitement depuis mon PC, ça télécharge la .fit quelque part avant (probablement dans un dossier temporaire du PC). Je me vois donc mal faire le prétraitement d'une nuit de capture de cette manière. Pour l'enregistrement c'est également relativement long.

Mais je suis peut être passé à côté d'un truc sur la méthode..

[Raphael_OD]

Mon "NAS" (...) ne sert qu'a récupérer en FTP distant les poses de fin de nuit et archiver ..ensuite je bosse en transférant sur une machine cossue RAM et disque rapide + proc.
Le RAID 1.0 est la meilleure solution pour un non geek qui ne veux pas passer tout son argent dedans sur un serveur de stockage. Attention certains NAS font encore du stripping RAID 0 autant ne pas en acheter

En tout cas le NAS ne va pas te permettre de faire des traitements conforts de machine à machine  c'est la bande passante qui limite et le débit des disques c'est rarement pratique...

A+

 

Modifié 3 mars 2023 par Raphael_OD

[Kains1]

Il y a 2 heures, krotdebouk a dit :

Un truc m'échappe dans ton besoin vis à vis du NAS : tu veux pouvoir travailler sur les fichiers stockés sur ton NAS comme s'ils étaient sur un disque dur externe ?

Si c'est le cas, je ne pense pas que ce soit une manip intéressante, en tous cas ça ne l'est pas avec mon NAS Synology 218. Si j'ouvre une image (une .fit par exemple) avec un logiciel de traitement depuis mon PC, ça télécharge la .fit quelque part avant (probablement dans un dossier temporaire du PC). Je me vois donc mal faire le prétraitement d'une nuit de capture de cette manière. Pour l'enregistrement c'est également relativement long.

Mais je suis peut être passé à côté d'un truc sur la méthode..

Pas que stocker des images d'une nuit, pour aussi stocker des films et séries téléchargées (parce que netflix et co avec les films et séries qui restent  semaines ça va bien...).

Mais dans l'idée c'est de stocker les images dans un disque dur et quand j'ai besoin de les utiliser sur ma machine, je les télécharge. 

 

Vu que je reviens sur certaines images parfois, j'ai besoin de les stocker sans avoir besoin de transporter les disques durs sans savoir ou se trouve le dossier en question :)).

Il y a 2 heures, Raphael_OD a dit :

En tout cas le NAS ne va pas te permettre de faire des traitements conforts de machine à machine  c'est la bande passante qui limite et le débit des disques c'est rarement pratique...

Yep je sais que la bande passante limite le tout mais je n'ai jamais dit que je voulais effectuer le prétraitement avec les images se trouvant dans le NAS. 

 

[krotdebouk]

il y a une heure, Kains1 a dit :

Pas que stocker des images d'une nuit, pour aussi stocker des films et séries téléchargées (parce que netflix et co avec les films et séries qui restent  semaines ça va bien...).

Mais dans l'idée c'est de stocker les images dans un disque dur et quand j'ai besoin de les utiliser sur ma machine, je les télécharge. 

Dans ce cas là le NAS Synology est fait pour toi, il stocke des FITS et tout ce que tu veux, même des fichiers sans extension (le fichier test.riendutou).

[entreplume]

Re salut

Je partage quelques autres réflexions , vu ta réponse.

 

Tu part sur un Raid 1 ok c'est le minimum tu as au moins une redondance sur 1 disk.

Je serais toi, j'acheterai 3 disques, 2 pour le nas et 1 avec un boitier USB que tu branches sur ton NAS avec une sauvegarde auto. Ca reste locale mais au moins t'as quand même une sauvegarde si le NAS crash, et au vu du prix des DD, le surcout est très mesuré.

Tu pars sur un Synologie, ok c'est de la marque pas de souci, Qnas est pas mal aussi.

Ton modèle n'est pas un foudre de guerre, heu en fait pour ton usage on s'en fout, vu que c'est juste pour stocker du fichier, sans encryption et que tu n'as pas l'intention de créer de machine virtuelle, ni de faire de la vidéo surveillance, ton goulet d'étranglement va être ton débit réseau et pas tellement ton proc.

 

Pour ton idée de téléchargement à distance , pour traiter en locale. Fais quelques test avant.

Je m'explique.

Ce n'est pas une mauvaise idée à la base, quand tu veux revenir sur une observation, tu télécharges en local , tu bidouilles et quand tu as fini, hop tout repart sur le NAS, finalement je fais un peu pareil avec mes photos, oui mais mes photos "normales". avec en plus un logiciel photos, qui travaille sur des aperçus pas forcément sur le vrai fichier ce qui fait gagner bcp de temps

J'ai un peu peur au vu du nombre de fichiers qu'implique la moindre capture que ça soit assez fastidieux en temps d'attente. Fait des tests avant.

Si jamais, il y a plusieurs ordi à ton domicile, essaye de faire passer une nuit complète d'observation d'un ordi à un autre via le réseau et regarde si tu trouves ça jouable ou pas. Ou si tu as un box internet avec un dd, tu peux aussi testé le temps que ça prend.

 

Voilà, bon ciel à toi.

 

 

[waogll]

Pour cet usage j'utilise plutôt un stockage en Cloud.

Pour les brutes, stockage sur disques externes USB.

Pour le prétraitement il n'y a qu'une lecture des lights, le reste se fait sur les disques internes de la machine qui prétraite, du moins pour PixInsight.

[SBRCoach]

Slt

Voici ma propre petite expérience d'amateur, très amateur ! (je donne pas de conseils hein ! juste ce que je fait ... âpres tu prends ou tu jettes si ça te correspond pas !)

 

Déjà je fais pas d'Astrophoto ... Juste du VA (oups j'ai dit un gros mot ... ça commence mal)

 

Bon trêve de plaisanterie

Je vais pas parler comment utiliser un NAS et les differents systemes RAID etc ... y'a tout ce qu'il faut sur Internet à ce sujet

 

- Dans mon cas, j'ai un NAS Syno DS 918+ ... 5 Baies utilisé à l'origine pas mal pour une gestion vidéo, maintenant pour sauvegarder mes images Astro et J'y héberge le site internet de ma AllSKY également.

 

.. Equipé désormais de HDD de 3X 4TO

 

- Ton but est juste de faire des sauvegardes ... car je verrais pas l’intérêt d'afficher des miniatures de chaque de chaque FIT de tes SESSIONS ... je te dit pas la lourdeur sinon ... Une suffirais non ?

 

Ce que je fait et comment j'ai organisé tout ça ?

- Sur le NAS ... J'ai un dossier principal et un sous dossier par Objet (M1 ... M31 etc)

Ensuite dans chaque Dossier d'objet , j'ai des sous dossiers pour chaque sessions datée avec un dossier qui contient tous mes FITS, et un tous mes DOF ... si un jour l'idée me vient de faire des traitements et une copie de mes fichiers "traités" présent sur mon ordi.

 

- Sur mon PC, je n'ai que les Images finales "traitées misérablement à la va vite" et des captures. Et j'y met uniquement mon FIT final avec un fichier de résolution astrométrique

 

* Ensuite comment je gère tout ça ?
Ben là comme j'avais pas trouvé ce qu'il me fallait j'ai mis la main à la pâte et me suis développé un petit logiciel sans prétention qui gère tout ça

 

Comme j'utilise l'AsiAIR, à la fin de ma Session en 1 Clic tous mes FITS sont déplacés sur mon NAS (avec création des dossiers auto) etc ... et création des dossiers IDEM sur mon PC

 

- A partir de mon logiciel, suffit que je clic sur ma session ou sur un ma base de donnée d'objets (qui contient entre autre l'historique) de toutes mes sessions et j'ai accès à toute ma base instantanément qui se trouve sur mon NAS et mon PC ... et bien plus

 

==> Quelques exemples

 

1/ Import de mes fichiers (Pour info Ici le dossier source n'est pas l'AsiAIR car il n'était pas pas branché au moment de la capture écran ... mais normalement c'est LUI qui est source)

 

 

Mes Sessions Enregistrées ... Avec acces aux dossiers, Astrométries, Images , caracteristiques d'acquisition

 

 

Ma base de données d'Objets - Avec les caractéristiques ... historiques etc... recherches etc...

 

 

 

Acces aux Images classées automatiquement par objets, dates

 

 

Fits headers et astrométrie

 

 

Etc...

 

J'en parle là ==> https://www.astronomie-va.com/forum/viewtopic.php?f=16&t=2797

 

 

 

Modifié 4 mars 2023 par SBRCoach
Correctifs

[Aïki]

Juste sur l'aspect fiabilité: j'ai installé un NAS QNAP en 2011 dans les nouveaux bureaux de la société qui m'employait à l'époque. A ma connaissance il tourne toujours, sans aucune panne depuis son installation. J'avais préféré cette solution locale du fait du caractère confidentiel des informations que nous y stockions, car je ne fais pas d'illusion sur le sécurité des solutions 'cloud'.

[entreplume]

Le 04/03/2023 à 10:12, SBRCoach a dit :

Slt

Voici ma propre petite expérience d'amateur, très amateur ! (je donne pas de conseils hein ! juste ce que je fait ... âpres tu prends ou tu jettes si ça te correspond pas !)

 

Déjà je fais pas d'Astrophoto ... Juste du VA (oups j'ai dit un gros mot ... ça commence mal)

 

Bon trêve de plaisanterie

Je vais pas parler comment utiliser un NAS et les differents systemes RAID etc ... y'a tout ce qu'il faut sur Internet à ce sujet

 

- Dans mon cas, j'ai un NAS Syno DS 918+ ... 5 Baies utilisé à l'origine pas mal pour une gestion vidéo, maintenant pour sauvegarder mes images Astro et J'y héberge le site internet de ma AllSKY également.

 

.. Equipé désormais de HDD de 3X 4TO

 

- Ton but est juste de faire des sauvegardes ... car je verrais pas l’intérêt d'afficher des miniatures de chaque de chaque FIT de tes SESSIONS ... je te dit pas la lourdeur sinon ... Une suffirais non ?

 

Ce que je fait et comment j'ai organisé tout ça ?

- Sur le NAS ... J'ai un dossier principal et un sous dossier par Objet (M1 ... M31 etc)

Ensuite dans chaque Dossier d'objet , j'ai des sous dossiers pour chaque sessions datée avec un dossier qui contient tous mes FITS, et un tous mes DOF ... si un jour l'idée me vient de faire des traitements et une copie de mes fichiers "traités" présent sur mon ordi.

 

- Sur mon PC, je n'ai que les Images finales "traitées misérablement à la va vite" et des captures. Et j'y met uniquement mon FIT final avec un fichier de résolution astrométrique

 

* Ensuite comment je gère tout ça ?
Ben là comme j'avais pas trouvé ce qu'il me fallait j'ai mis la main à la pâte et me suis développé un petit logiciel sans prétention qui gère tout ça

 

Comme j'utilise l'AsiAIR, à la fin de ma Session en 1 Clic tous mes FITS sont déplacés sur mon NAS (avec création des dossiers auto) etc ... et création des dossiers IDEM sur mon PC

 

- A partir de mon logiciel, suffit que je clic sur ma session ou sur un ma base de donnée d'objets (qui contient entre autre l'historique) de toutes mes sessions et j'ai accès à toute ma base instantanément qui se trouve sur mon NAS et mon PC ... et bien plus

 

==> Quelques exemples

 

1/ Import de mes fichiers (Pour info Ici le dossier source n'est pas l'AsiAIR car il n'était pas pas branché au moment de la capture écran ... mais normalement c'est LUI qui est source)

 

 

Mes Sessions Enregistrées ... Avec acces aux dossiers, Astrométries, Images , caracteristiques d'acquisition

 

 

Ma base de données d'Objets - Avec les caractéristiques ... historiques etc... recherches etc...

 

 

 

Acces aux Images classées automatiquement par objets, dates

 

 

Fits headers et astrométrie

 

 

Etc...

 

J'en parle là ==> https://www.astronomie-va.com/forum/viewtopic.php?f=16&t=2797

 

 

 

Je viens de tomber sur ton post, c'est génial ce que tu as dvp. Moi qui cherchait de quoi gérer mes fichiers et surtout mes DOF en rapport avec mes sessions. Je pense avoir trouvé mon bonheur.

Je viens de lire le fil de ton post de dvp. Chapeau bas et merci pour la mise à dispo gratuite de ton travail.

Meilleurs voeux et bon ciel

Modifié 31 décembre 2023 par entreplume
génial

[SBRCoach]

Merci

Meilleurs voeux à toi aussi

·         D'autres Infos ici et là ...

 

 

                https://www.astronomie-va.com/forum/viewtopic.php?f=16&t=2797&start=250

                https://www.facebook.com/groups/417749823819528

 

http://sbrcoach.astro.free.fr ( en cours )

 

 

Modifié 1 janvier par SBRCoach