Organisation et documentation de vos observations / fichiers

[Adrien_M]

Bonjour à tous  

 

Je profite d'une période calme en observations pour lancer quelques sujets  

 

Je ne vous apprend rien en vous disant que l'astrophotographie génère un maximum de fichiers avec des dizaines de paramètres différents (entre les réglages des appareils, des logiciels etc). 

Le tout avec des poids assez volumineux.

 

Ma question est donc la suivante : 

Comment faite-vous pour vous organiser dans vos fichiers et vos prises vos notes  ?  

Utilisez-vous des logiciels spécifiques ? 
 

Dans mon cas  voici comment je procède.. Mais je n'en suis pas encore satisfait : 

Pour le stockage : 

->J'ai un dossier général astrophotographie dans mon PC,

---> Dans lequel je crée 1 dossier par astre 

------> Dans lequel je crée 1 dossier par session d'observation avec le lieux

---------> Dans lequel je mets uniquement fichiers .fit qui me servent dans Siril + l'Image final 

(une fois le traitement fini je supprime les photos de lights / darks / flats  etc)

 

Pour la documentation : 

J'utilise le logiciel OneNote, pratique car il est synchronisé entre mon PC et téléphone, je peux donc l'écrire lors de la prise de photos.

Dans lequel j'ai fais 1 page par Astre, avec le détails des paramètres utilisés (ce qui me permet de savoir ce que j'ai déjà testé ou non)

J'ai aussi créé des sous-dossiers pour Siril, des choses à essayer et les objectifs que j'utilise. Histoire d'avoir des petit pense bête des paramètres qui vont bien.

 

 

[sebseacteam]

Hyper complet ça.

Je n'en fais pas autant 😅

J'ai un fichier excel dans lequel je mets les cibles à faire dans les jours/semaines à venir pour le C8 ou la 80ED par exemple ainsi que la période de la soirée la plus propice, genre 22H/4H .

Pour le stockage j'ai comme toi un dossier par objet (M31, M42, NGC 2403, etc..) dans lequel il y a l'image linéaire de départ, une brute unitaire, l'image finale. Toutes les intermédiaires sont effacées.

Ça ne prend pas trop de place comme ça.

Pour les détails exacts (focale, heure de début/fin, caméra, gain, ISO, nombre de brutes, durée images unitaires, etc...) tout est déjà présent dans l'entête du fichier.fit.

Je ne le recopie pas.

Pour lire ces infos là j'utilise le logiciel Fitsliberator .

[Bross84]

Salutations, 

 

Super sympa ton classement  

 

Par contre personnellement je garde les images brutes , et les flats comme j'ai une banque d'offset et de darks en fonction des températures.

 

Car si tu gardes uniquement le fichier empilé tu ne pourras pas recommencer un traitement, peut être que dans ton fichier empilé il y a des images qu'il ne fallait pas stck etc.

 

Ce n'est que mon avis.

 

Mais super tuto / idée  

Merci et bon ciel.

Modifié 17 mars par Bross84

[SBRCoach]

@Adrien_M

 

Si ça t'interesse , un soft gratuit permet de gérer tous cela, tes sessions etc ... récupération auto des données des brutes, scan des dossiers etc ... éphémérides , base de donnés objets ... et bien plus encore ...

 

 

Modifié 17 mars par SBRCoach

[Discret68]

Il y a 21 heures, sebseacteam a dit :

Pour le stockage j'ai comme toi un dossier par objet (M31, M42, NGC 2403, etc..) dans lequel il y a l'image linéaire de départ, une brute unitaire, l'image finale. Toutes les intermédiaires sont effacées.

 

Quel dommage de supprimer toutes les brutes, mais bon, c'est un choix.

Je me rends compte que j'ai bien fait de conserver mes anciennes brutes, les logiciels d'empilement et de traitement ayant bien évolué, il y a de quoi obtenir  un résultat sensiblement meilleur avec les brutes d'hier ! Si on avait 300 nuits exploitables par année, je dis pas, mais avec le peu de nuits dont on dispose, on est parfois content de ressortir les anciennes images.

[sebseacteam]

Oui je retraite à partir de l'image empilée.

Je fais le tri des brutes avant d'empiler avec Siril

[M16]

Salut c'est vrai que c'est pas forcément évident tout ca, on se rend vite compte qu'il faut mettre en place une recette de cuisine pour le classement et meme .....les sauvegardes.

 

Pour ma part, je fait :

- Un tableur excel ou je rentre un max d'informations Objet / prises de vue/ stat pix / lune / vent / meteo blue / observations

- Des Dossiers , un  par soirée = IC434 _ 42B Extr _ 36F _ 2024 01 20 => la j'ai pris 42 brutes avec le filtre L Extreme et 36 Flats

  Dans le dossier concerné j'ai un dossier brutes/flats

 

Si tu as lu les messages tu as vu ce que certains obtiennent en retraitant avec l'evolution des softs ?

Du coup je rejoins les autres tu devrais garder tes brutes.

 

Après c'est sur qu'au bout d'un moment le domicile se transforme en datacenter 😅

 

 

Modifié 18 mars par M16

[shibon]

Salut, comme Sébastien, je ne garde que les images empilées non traitées.

Sinon le stockage explose avec nos caméra qui font des images unitaires de 50Mo...

On prend un risque mais les algo d'empilement font qd même bcp moins de progrès que ceux liés au traitement. Donc j'ai parié sur ça. Je n'empile pas d'images d'une année sur l'autre, si besoin je recommence et je fais sur plusieurs nuits la même cible.

 

Et pour le rangement j'ai opté par date avec nom de la cible. Je retrouve aussi bien l'un que l'autre comme ça 🙂

Sam

[Discret68]

il y a 52 minutes, shibon a dit :

Sinon le stockage explose avec nos caméra qui font des images unitaires de 50Mo...

 

Oui et non, car vu l'évolution des volumes de stockage disponibles et la baisse des coûts de ces supports, on arrive assez facilement à conserver les images.

 

Pour donner un exemple, j'ai un disque dur de 8To dédié uniquement au stockage des images astro (toutes les brutes et les images des différentes phases de traitement).

En réalité, un disque annoncé à 8To dispose de 7,3To effectifs. A ce jour, j'ai environ 36000 brutes natives issues de l'ASI2400MC (48Mo unitaire) et 1600 de l'ASI2600MC (52Mo unitaire). Plus un nombre réduit d'images issues du 450D 😄 , de la G2-8300, de la QHY10L et de l'A7S. Vu les temps de pose de l'époque, le nombre d'images et surtout la taille des images, l'occupation disque est faible.

Je stocke également un certain nombre de vidéos pour du planétaire. Et plus tout un tas d'autres images en lien avec l'astro.

 

Le nombre de brutes de la 2400MC est important car vu la sensibilité de cette caméra, les temps de pose sont relativement courts par rapport aux pratiques habituelles. Je suis à 60s max par brute, ce qui entraine un nombre important d'images pour un objet donné.

Avec la 2600MC sur la lulu de 80, je suis dans les 300s en pose unitaire, donc beaucoup moins d'mages au final par rapport à la 2400MC.

 

Bref, si je prends une moyenne de 50Mo par image, mes 40000 images représentent une occupation de 2 To. De plus, en empilant à chaque fois que possible les images en drizzle 1,5 voire 2, les images d'empilement et de chaque pas de traitement successif passent à 1,2Go chacune.

 

Aujourd'hui, mon disque est occupé à 50%, ce qui me laisse encore de belles années devant moi avant d'être obligé de prendre des mesures.

Si j'utilisais uniquement une 2600MC (sur la lulu comme sur le newton), j'aurais encore beaucoup plus de marge.

 

il y a une heure, shibon a dit :

On prend un risque mais les algo d'empilement font qd même bcp moins de progrès que ceux liés au traitement.

 

Oui, mais même si les logiciels d'empilement font moins de progrès comparativement à ceux destinés au traitement, je me dis que partout où je peux gratter, c'est du plus pour l'image finale.

 

Mon point de vue n'a rien de dogmatique et je comprends très bien les différentes démarches mises en œuvre par les uns et les autres.

 

JP

[180Vision]

Alors pour ma part, mon expérience est moindre que beaucoup ici mais j'ai une expérience photo de longue date tant argentique que numérique avec un catalogue de 120 000 raw/jpg environ

Le principal pb, même si on peut parler de coût réduit de stockage, reste néanmoins LE STOCKAGE...

En effet, avoir un stockage de 8To (c'est mon cas), sur un simple disque unique...c'est peu sécurisé/fiable...idem si il n'y a pas de disque externe (voire 2) de backup de capacité identique...

J'ai vu trop de personnes par mon métier mais aussi mes relations photographiques, perdre tout ou partie de leurs données, par non conscience ou négligence.

Donc je peux comprendre le "tri" d'un certain point de vue.

 

Maintenant, si on peut mettre en oeuvre un stockage réseau de type NAS avec à minima un "mirorring" (2 disques identiques), ET un disque externe à minima de même capacité, alors en effet, autant garder les brutes.

 

Mon organisation, coté photo, est  AAAA/AAAA-MM/AAAA-MM-JJ/[RAW/JPG]/Fichiers, via un outil de catalogage comme Lightroom (ou Digikam par exemple en Open).

Doublé de dossiers virtuels et de tags, ça permet de retrouver facilement des photos.

 

Je mets alors dans ce référentiel photo global, mes TIF + JPG finalisées des objets planétaires ou CP, dans un dossier virtuel "astro" dans le catalogue.

 

Pour les "brutes", j'ai un dossier ASTRO_ARCHIVE sur le NAS.

Le planétaire/Lunaire se trouve alors dans ASTRO_ARCHIVE/PLANETS/[MOON-JUPITER-etc...]/AAAA-MM-JJ/fichiers SER vidéos

 

Pour le CP, de façon analogique :   ASTRO_ARCHIVE/DSO/[OBJECT_CATALOG_NAME]/AAAA-MM-JJ/[FILTRE]/Fichiers FITS

 

Je  garde aussi dans un sous-répertoire de l'objet ASTRO_ARCHIVE/DSO/[OBJECT_CATALOG_NAME]/PROCESSED , les fichiers empilés unitaires (par filtre), et l'image finalisée TIFF+JPG, qui va être alors référencée dans le catalogue final.

 

IMPORTANT : dans cette racine objet  ASTRO_ARCHIVE/DSO/[OBJECT_CATALOG_NAME, je stocke le projet  SIRILIC ainsi que la séquence NINA pour le cadrage.

Ainsi, si je veux rajouter du temps d'intégration...c'est pas trop compliqué.

 

Voila, certainement un peu capilotracté pour certains, mais c'est mon flux

[shibon]

il y a 24 minutes, 180Vision a dit :

ainsi que la séquence NINA pour le cadrage.

Ca c'est une bonne idée la séquence NINA. Elle reste en vrac sur le mini pc du télescope mais j'ai pas le réflexe de sauver avec les images !

[180Vision]

18 minutes ago, shibon said:

Ca c'est une bonne idée la séquence NINA. Elle reste en vrac sur le mini pc du télescope mais j'ai pas le réflexe de sauver avec les images !

 

Il y a une vidéo de Patriot Astro (ou deux peut etre) pour utiliser le plugin robocopy ou l'autre (j'ai perdu le nom) en fin de séquence...pour recopier sur un autre emplacement (réseau potentiellement), certains fichiers....c'est pas inintérressant du tout !!

[shibon]

J'utilise robocopy et tu le lances dès le départ justement.

Il copie en permanence les images capturées vers un espace de ton choix.

En fin de séance, on met une tempo pour être sûr que tout est sauvegardé et il s'arrête.

C'est super

Sam

[180Vision]

10 minutes ago, shibon said:

J'utilise robocopy et tu le lances dès le départ justement.

Il copie en permanence les images capturées vers un espace de ton choix.

En fin de séance, on met une tempo pour être sûr que tout est sauvegardé et il s'arrête.

C'est super

Sam

 

Nickel, j'ai pas encore osé...débit limité...mais c'est au programme !!

Tu peux faire les fichiers de config, logs, etc...

[Discret68]

Il y a 12 heures, shibon a dit :

J'utilise robocopy et tu le lances dès le départ justement.

 

Moi qui me suis "amusé" à développer une petite application qui surveille continuellement un dossier dans lequel se place les images de la séquence pour les transférer immédiatement dans un autre dossier situé sur l'ordi de traitement, ce plugin aurait pu me simplifier d'emblée la vie 😚

 

Concernant Robocopy, je suppose que le mieux est de placer l'instruction "Robocopy Start" dans les déclencheurs globaux en début de séquence avancée ?

 

Dès que la séquence acquisition est lancée, je lance également CCD Inspector sur l'ordi d'arrivée des images, qui analyse les images lui aussi au fil de l'eau. Et au petit matin, j'ai ma séquence complète sur l'ordi traitement avec le bilan de l'analyse CCD Inspector. Je peux ainsi réaliser une première sélection avant de lancer l'empilement avec APP.

 

Il y a 12 heures, 180Vision a dit :

Nickel, j'ai pas encore osé...débit limité...mais c'est au programme !!

 

C'est justement parce que j'ai un débit limité (wifi) entre mon abri et la maison que je cherchais à simplifier les transferts !

Avec un débit de 2,5Mo par seconde, il faut quasi 20s pour le transfert d'une image. Alors quand la séquence contient de 300 à 600 images, le transfert en bloc prend un temps fou. J'ai plus vite fait d'aller raccorder un SSD externe sur l'ordi acquisition pour faire la copie des fichiers.

Avec le transfert au fil de l'eau, même avec 20s de durée de transfert, c'est couvert par le temps de pose des images de la séquence, donc pas d'engorgement sur la partie transfert.

 

Modifié 20 mars par Discret68

[180Vision]

4 minutes ago, Discret68 said:

 

Moi qui me suis "amusé" à développer une petite application qui surveille continuellement un dossier dans lequel se place les images de la séquence pour les transférer immédiatement dans un autre dossier situé sur l'ordi de traitement, ce plugin aurait pu me simplifier d'emblée la vie 😚

 

Concernant Robocopy, je suppose que le mieux est de placer l'instruction "Robocopy Start" dans les déclencheurs globaux en début de séquence avancée ?

 

Dès que la séquence acquisition est lancée, je lance également CCD Inspector sur l'ordi d'arrivée des images, qui analyse les images lui aussi au fil de l'eau. Et au petit matin, j'ai ma séquence complète sur l'ordi traitement avec le bilan de l'analyse CCD Inspector. Je peux ainsi réaliser une première sélection avant de lancer l'empilement avec APP.

 

 

C'est justement parce que j'ai un débit limité (wifi) entre mon abri et la maison que je cherchais à simplifier les transferts !

Avec un débit de 2,5Mo par seconde, il faut quasi 20s pour le transfert d'une image. Alors quand la séquence contient de 300 à 600 images, le transfert en bloc prend un temps fou. J'ai plus vite fait d'aller raccorder un SSD externe sur l'ordi acquisition pour faire la copie des fichiers.

Avec le transfert au fil de l'eau, même avec 20s de durée de transfert, c'est couvert par le temps de pose des images de la séquence, donc pas d'engorgement sur la partie transfert.

 

 

Oui, idem, du coup j'ai pris une borne Ubiquity et ça améliore bien la portée...mais comme tu dis, pas forcément adapté à 5Go de data d'acquisition en bloc....

 

[shibon]

Il y a 9 heures, Discret68 a dit :

Concernant Robocopy, je suppose que le mieux est de placer l'instruction "Robocopy Start" dans les déclencheurs globaux en début de séquence avancée ?

Exact, je lance ça au tout début : j'ai une séquence "démarrage" qui met en route : unpark, robocopy, attend crépuscule, refroidir, faire une MAP.

 

Puis je passe aux modèles génériques par cible 

 

J'ai une séquence arrêt qui park, réchauffe, arrête robocopy

 

A+

[Discret68]

Il y a 3 heures, shibon a dit :

Exact, je lance ça au tout début

 

Effectivement. Je viens de lancer une séquence à 22h30 pour cette nuit et le transfert des fichiers s'effectue bien entre les ordis. Par contre, bonjour madame la Lune, le fond de ciel est pas top !

JP

[180Vision]

On 3/20/2024 at 7:21 PM, shibon said:

Exact, je lance ça au tout début : j'ai une séquence "démarrage" qui met en route : unpark, robocopy, attend crépuscule, refroidir, faire une MAP.

 

Puis je passe aux modèles génériques par cible 

 

J'ai une séquence arrêt qui park, réchauffe, arrête robocopy

 

A+

 

idem

[Adrien_M]

Bonjour, 

 

J'espère que tout le monde va bien !?  

 

Merci pour vos retours ! 

 

Entre-temps j'ai changé de méthode d'archivage, je suis passer de l'outil OneNote, à l'outil Notion

C'est un logiciel de prise de note assez interactif, je n'avais jamais essayé jusqu'à présent. 

La version de base, qui gèrent les tables est gratuite, cependant j'ai tout de même payé un abonnement (50€/ ans) pour me permettre de charger les photos. (Limité à 5mo pour la version gratuite) 

 

L'idée est de créer des tables, qui vont pouvoir interagir entre elles, tout en ayant une solution simple pour renseigner et trouver les informations. 

Mais pas pour stocker l'ensemble des mes fichiers photos (darks / lights etc), ça je laisse sur mes disques durs.

 

Quelques images valent plus que 1000 mots !

Si vous voyez que j'ai fais quelques fautes, n'hésitez pas à me le dire ! 

Je me cherche encore, donc tout commentaire est bon a prendre !  

 

Au besoin je peux donner + de détails, et si d'entre vous veulent ce lancer la dedans on peut voir ça ensemble  

Pour info, la mise en place de l'outil a du me prendre 1/2 journée.

 

------

 

La fonction utilisé ce trouve dans 

Base de données -> Vue "table"

 

Lorsqu'un colonne affiche  "" cela veux dire que l'information est importée d'une autre table

 

La 1er table gère les lieux de prise de vues : 

 

La 2nd table gère les sorties :

 

La 3ième table gère les objectifs photo utilisés

 

La 4ième table gère les astres photographiés

 

Et enfin la dernière table correspond aux "observations", pour faire simple, le cumul de toutes les autres tables avec les paramètres utilisés

 

Les tables, c'est bien, mais c'est loin d'être la choses la + facile à lire, cependant il est possible d'afficher la table sous forme de galeries, ce qui est beaucoup plus simple ! 

L'avantage c'est qu'il est aussi possible d'appliquer des filtres (lieux / type / objectifs / bref la colonne que l'on veux), aujourd'hui je n'ai que quelques photos donc c'est simple de m'y retrouver, mais si je commence à augmenter le nombre de sessions...  

Si je clique sur une vignette j'obtient tout les informations du tableau liée à l'observation 

Si je clique sur la photo (4ième ligne), elle s'affiche en grand

 

Cerise sur le gâteau, pour renseigner une nouvelle observation ou autres, il est possible de créer une page simple, vide, dans lequel il suffit de cocher les cases et remplir les quelques informations, 

En plus de ça il est assez malin, pour plusieurs attributs, il me propose tout de suite des valeurs des tables

 

 

Pour rendre l'interface encore plus simple, j'ai pu créer une page de garde avec les liens vers les différentes tables et l'affichage des observations, 
J'ai aussi ajouté d'autres pages qui sont des petits pense bêtes  

 

 

 

 

Modifié 5 avril par Adrien_M
Suppression d'une photo en double