Réflexions autour d'un projet collaboratif/communautaire à grande échelle

[Colmic]

Bonjour à tous,

 

depuis quelques temps je réfléchis à un projet. Un projet de grande envergure. Un projet communautaire qui vous concerne tous ou presque...

 

Ca fait à peu près 30 ans que je fais des images, argentiques tout d'abord, CCD ensuite, et APN actuellement.

Tous les jours je m'extasie sur les images de chacun, j'interviens pour féliciter les uns et les autres, mais je n'ai pas le temps de féliciter tout le monde, alors je me limite mon domaine actuel : les APN

On voit souvent les mêmes objets imagés encore et encore, chacun poste ses images et attend un petit merci ou des conseils pour s'améliorer.

On fait des images, on poste ses images, on refait des images, on reposte ses images... Et souvent ça s'arrête là, à quelques exceptions près.

 

Et ma réflexion est venue de là : et si on allait plus loin que ça ?

 

Alors j'aimerais vous faire part de ce projet et j'aimerais que vous me donniez votre ressenti, vos suggestions etc..

 

L'idée :

• on pourrait regrouper des astrams possédant le même matériel pour imager un même objet, afin d'obtenir le plus grand nombre d'images, et atteindre des temps de pose jamais vus (plusieurs centaines d'heures)
• on pourrait faciliter le process de chacun, en se concentrant par exemple sur une seule couche (R, V, B, S, H, O, L, etc..) pendant toute une nuit, et laisser les autres s'occuper chacun d'une autre couche
• cela permettrait à certains qui ne font que du noir et blanc d'obtenir les couches RVB ou autres afin d'en faire la couleur
• plein d'autres idées me viennent à l'esprit, pourquoi pas participer à des recherches actives en fonction des besoins de certains pros ?

 

Ce que je propose :

• que chacun puisse déposer ses images brutes calibrées (obligatoirement) sur un espace de stockage commun
• définir un protocle commun, pour ceux qui possèdent le même matériel (caméra, APN, focale de l'instrument) afin de cumuler les poses sur un même objet
• utiliser au mieux les outils d'astrométrie pour proposer un champ calibré et permettre à chacun d'imager ce champ dans des conditions identiques

 

Hypothèses :

• une fois recensés les différents matériels les plus utilisés au sein de la communauté, on les découpe en plusieurs catégories afin de contenter tout le monde
• trouver des serveurs pour déposer ses images, pour cela il faudra définir des droits d'accès, des options selon la catégorie et les objets imagés
• utiliser les outils existants selon un protocole bien strict ou programmer de nouveaux outils pour que les procédures soient les plus rapides et les plus simples pour tout le monde
• développer un outil d'astrométrie qui permette, à partir un champ astrométrique donné, de pointer et centrer automatiquement la monture sur ce champ et de tourner facilement la caméra avec des repères visuels pour la caler sur le champ
• sur un site web dédié, chaque semaine ou chaque mois, un animateur propose plusieurs champs photos, et chacun peut contribuer à alimenter de ses images le champ photo qu'il aura décidé de faire
• chacun (avec des droits ou pas, à voir) pourrait alors récupérer les images de la base de données pour proposer son traitement, organiser des concours de traitement etc..

 

Cas concret :

• prenons un champ donné : M57 par exemple
• dans la base de données le champ astrométrique à respecter est donné
• je télécharge le champ astrométrique et je lance l'outil adéquat : 
  • l'outil pilote alors ma monture au centre du champ astrométrique donné
  • l'outil lance la visu de ma caméra ou de mon APN et m'invite à tourner la caméra pour que la visu corresponde exactement au champ astrométrique
  • une fois que c'est ok, l'outil me propose alors de lancer les poses
• je décide alors de concentrer ma soirée sur une unique couche couleur, par exemple le halpha
• le lendemain je pré-traite mes brutes (suppression des darks, flats, offsets) sans les aligner ni les empiler
• je me connecte au serveur, sélectionne le sujet "M57" et je dépose mes brutes calibrées en précisant halpha et la catégorie de matériel
• 2 semaines plus tard, à la fin de la période définie pour la dépose des brutes, un administrateur (ou un robot pourquoi pas), va aligner toutes les brutes et les empiler, pour chaque couche couleur disponible
• Dès lors, chacun a accès à plusieurs fichier FITs, empilement pour chaque couche couleur, de M57 et peut s'essayer au post-traitement et peut publier ses résultats
• Sur le site web, on obtient alors une ou plusieurs images de M57, en RVB, en SHO, en n&b, en HOO ou en toutes combinaisons exotiques, avec un total de 600 heures de pose (par exemple !)
• On analyse l'image finale de 600 heures, et on découvre un tout nouvel objet dans le champ, une toute petite nébuleuse planétaire juste à côté qui n'avait jamais été vue auparavant
• Le nom de tous les intervenants à l'obtention de cette image sera bien sûr mentionné, c'est une image collective !

 

Bon, je rêve un peu, mais vous avez compris l'idée ?

 

Un projet comme ça, ça va nécessiter des sponsors pour proposer des serveurs et héberger les images. Ca peut se trouver...

Un projet comme ça, ça va nécessiter des développeurs pour pondre un joli soft accessible à tout un chacun sur le terrain

Un projet comme ça, ça va nécessiter de tendre vers 4-5 matériels différents mais pas plus, je pense notamment à :

• lunette 80/480 ED (c'est le matériel le plus répandu à mon sens) + IMX183 N&B (la caméra actuelle la moins chère pour ses performances)
• Télescope 200/800 ou 200/1000 + APN 1000D (le plus répandu en APN)
• Dobson + prises de vue rapide
• un matériel un peu plus haut de gamme à définir (votes)
• Les Newton c'est un peu plus compliqué à cause des aigrettes qu'on risque de ne pas retrouver au même endroit selon les setups.

Un projet comme ça, ça peut permettre d'obtenir des prix intéressants sur un setup typique auprès de nos magasins préférés si on fait des commandes groupées

 

 

J'attends vos remarques et commentaires...

 

[Colmic]

Bon, ben je vois que ma petite réflexion n'attire pas les foules :(

 

Pas intéressé ou pas compris ou pas possible ?

[bpollet]

Moi j'ai bien compris et je trouve ça vraiment très intéressant. J'adore ce genre de projet, j'en ai d'ailleurs monté moi même dans d'autres domaines.

 

Pour être franc, je me suis déjà dis la même chose: je fais des photos, c'est joli, certes... mais après???

 

Je serai ravi d'y participer, mais avec le matos que j'ai (cf ma signature), j'ai peur de ne pas aller bien loin (pilotage de monture, APN non standard, etc...) et je crains que le problème soit exactement là.

 

L'idéal serait de ne pas avoir à tenir trop compte du matériel, ni du cadrage. Je n'y connais encore presque rien en tant que débutant en astrophoto, mais à mon sens le plus important est la focale, non?

 

J'ai des compétences en informatique puisque c'est mon métier (attention: pas en développement), si je peux aider... Je veux bien être là

[FloEd]

Belle initiative et belles idées.

Comment procéder pour déjà recenser les personnes / le matériel dispo et créer les "groupes de travail " ?

Il faudrait soit un sondage soit un fichier excel, avec le champ saisie par capteur et la focale de travail de chacun (et filtres dispo).

 

A suivre...

[Justino21m]

Salut,

 

Moi je suis, car le projet est super intéressant, je ne pourrais pas y participer du fait de mon maigre set-up, mais j'aimerais qu'il puisse aboutir car l'idée est géniale et les résultats seront sans doute époustouflants ! 

[Vlaams59]

Effectivement projet très intéressant!

Pour cadrer à l'identique,faut penser peut être également à ceux n'utilisant pas de log d'astrométrie.Pourquoi pas laisser dans ce cas une brute de référence afin de pouvoir cadrer de la même manière.

En ce qui concerne le pré traitement,on pourrait imaginer laisser une liste de process en zip pour les utilisateurs de pixinsight afin que les brutes soient pré traitées avec les même paramètres.(je sais pas si cela serait utile,je ne suis pas un pro du traitement).

Également avec siril je ne sais pas si il est possible de définir une routine de pré traitement universelle.

en tout cas je trouve l'idée excellente!

[bpollet]

il y a 23 minutes, Vlaams59 a dit :

Pourquoi pas laisser dans ce cas une brute de référence afin de pouvoir cadrer de la même manière.

 

Cela me paraît plus souple en effet, et permet a des astrams qui ont des montures plus modestes de participer. 

[Smith]

Je croyais que c'est ce qu'ils cherchaient à faire ici

 Non ?

[Justino21m]

il y a 9 minutes, Smith a dit :

Je croyais que c'est ce qu'ils cherchaient à faire ici

 Non ?

Non, le lien que tu partage propose de déposer ces fichier pré-traiter pour que d'autres les traites

 

Arrête moi si je me trompe @Colmic, le but ici est d'empiler les poses sur une même cible avec un même set-up, dans le genre si 50 personnes shoot pendant 2h M57, en additionnant toutes les poses il y aurait 50 x 2h = 100h de poses donc un signal énorme en une petite semaine 

Modifié 25 septembre 2018 par Justino21m

[Fixoo]

L'idée est alléchante ! Il faut trouver un bon groupe de motivés.

Perso je me concentre d'abord sur mes premières images, et le jour ou je saurai faire des sorties "les yeux fermés" (et m'ayant fait un petit stock d'astrophoto perso)  alors oui je serai ravi de me joindre au groupe

[Chtit Bilou]

Hello Colmic,

 

Ne touchant en aucune façon du matériel qui a des fils et des trucs comme ça (si ! si ! j'vous jure ! ), je trouve cette idée tout bonnement géniale !

 

Extra !

 

Bon ciel !

[Colmic]

Ahhhh merci, ça décolle, vous m'avez fait peur

 

L'idée de la brute de référence, c'est pas mal aussi. Disons que l'idée du champ astrométrique, ça permettrait d'automatiser la partie serveur :

• on peut mettre en ligne plusieurs fichiers astrométriques (quelques amas, plusieurs galaxies, des nébuleuses, etc..) prédéfinis
• les premiers arrivés déposent leurs brutes
• l'admin définit une brute de référence
• les suivants prennent cette brute de référence et se calent dessus

il y a une heure, Justino21m a dit :

Non, le lien que tu partage propose de déposer ces fichier pré-traiter pour que d'autres les traites

Arrête moi si je me trompe @Colmic, le but ici est d'empiler les poses sur une même cible avec un même set-up, dans le genre si 50 personnes shoot pendant 2h M57, en additionnant toutes les poses il y aurait 50 x 2h = 100h de poses donc un signal énorme en une petite semaine 

 

Oui c'est exactement ça et ça n'a rien à voir avec le post mentionné plus haut (dans lequel je participe déjà d'ailleurs)

 

Je pense que dans un premier temps, il faut démarrer petit, prendre le temps de trouver des volontaires, voir si la mayonnaise prend, et seulement après on pourra étendre le projet.

Pour démarrer je pense à du matériel modeste, entre 500 et 600mm de focale (ce qui engloberait à peu près toutes les 80ED du marché).

Pour le capteur c'est plus délicat car il y a de tout. Là on peut prendre 2 catégories :

• les APN et là ce qu'on trouve le plus c'est du Canon 1000D et dérivés, éventuellement du A7S (je défends aussi ma boutique lol !)
• les caméras et là c'est plus délicat car on trouve un peu de tout. Il faut se limiter à mon sens aux capteurs n&b.

Mon idée à plus long terme, ça serait d'obtenir un partenariat avec un fournisseur qui proposerait un setup complet à prix cassé, sur une commande groupée, ainsi plus de problème de matos.

 

Il y a 2 heures, Vlaams59 a dit :

en ce qui concerne le pré traitement,on pourrait imaginer laisser une liste de process en zip pour les utilisateurs de pixinsight afin que les brutes soient pré traitées avec les même paramètres.

 

A mon sens il faut utiliser au maximum les outils gratuits à notre disposition. SiriL fait parfaitement le boulot, et il est devenu très simple d'utilisation avec les scripts (et pour le coup, les process sont reproductibles).

 

Bon, je suis content, ya des volontaires prêts à s'investir. C'est bien cool

 

[DDS]

C'est génial comme projet commun

Et boostant pour les débutant comme moi.

Pourquoi pas participer 😀

 

Par contre, j'attends le groupe des Nikonistes 😉

La différence de crop factor vs Canon devrait rendre les images incompatibles non ?

[schizophrene]

Très intéressant !

 

Pourquoi ne pas essayer avec un petit grotte de quelques personnes avec matériel identique ?

[gehelem]

Super idée/projet! 

 

Petite contribution de gamberge :

pour s'affranchir du côté matériel, on pourrait partir sur des tranches d'échantillonnage

[Zaccar_spirit]

J'aime bien le principe, si cela se concrétise, j'aimerais en être.

Peut-être faudrait-il dans un premier temps recenser chez les volontaires les matériels,type de ciel accessible,softs utilisés..etc

[gehelem]

On découpe le ciel en petits carrés d'une arcseconde, détaillées dans les bandes de couleurs les plus pratiques LRVB/Ha/S/H/....

ça fait 360*180*60*60 cuvettes de chaque couleur. Un CCD de 223 millions de pixels, en gros.

Je fais une photo avec mon matos. Je la superpose à cette trame (position/champ/orientation)

(on a tout ce qu'il faut avec Astrometry.net)

=> et je remplis la trame avec mes valeurs selon les couleurs / filtres que j'ai utilisé (les gros pixels s'étaleront sur plusieurs "cuvettes")

Ce serait référencé comme un "job", que je me chargerait de qualifier un peu, genre le bruit, la fwhm, etc...

Voilà pour la matière.

 

Après, pour l'utilisation je récupère tous les jobs d'une région (donc les miens et/ou ceux des copains),

avec certaines contraintes parce que je suis pointilleux ou aucune parce que j'ai juste envie de faire joujou.

Et là, bon, traitement, quoi.

 

C'est le genre ??

[Colmic]

J'ai pas tout compris

Par contre ça me donne une autre idée : celle de tenter des immenses mosaïques, là encore en collaboratif.

Si on connaît avec précision les champs de chacun (toujours avec Astrométrie), il est alors possible de réaliser des mosaïques.

Ca pourrait faire partie d'une évolution du projet.

 

Je pose des questions aux pros de l'imagerie/traitement ( @lock042 si tu lis ça ) :

• est-il possible d'aligner et empiler des images avec un échantillonnage différent ?
• Si oui, quel logiciel sait faire ça actuellement ?
• A combien de % de différence d'échantillonnage le logiciel ne serait plus capable d'aligner les images ?

 

Ca c'est pour savoir quelle serait la tolérance de focale admissible. Ainsi on pourrait dire :

• si votre caméra possède des pixels de xxxx µ
• si votre focale est comprise entre yyy et zzz
• alors vous pouvez faire partie du projet

 

 

[lock042]

il y a 25 minutes, Colmic a dit :

est-il possible d'aligner et empiler des images avec un échantillonnage différent ?

Oui. Bon des fois ca merde. Il faut bien choisir l'image de référence et surtout si possible normaliser les images de la séquence (onglet séquence, exportation)

il y a 30 minutes, Colmic a dit :

Si oui, quel logiciel sait faire ça actuellement ? 

A ton avis ?

il y a 30 minutes, Colmic a dit :

A combien de % de différence d'échantillonnage le logiciel ne serait plus capable d'aligner les images ? 

Aucune idée ...

[Colmic]

Il y a 1 heure, lock042 a dit :

Oui. Bon des fois ca merde. Il faut bien choisir l'image de référence et surtout si possible normaliser les images de la séquence (onglet séquence, exportation)

 

Ahhh, alors ça c'est une super nouvelle.

Donc d'après ce que je vois sur tes copies d'écran, à partir de 3 images faites avec des setups différents a priori, avec un échantillonnage différent, tournées différemment, et avec un champ pas forcément identique, SiriL est capable d'aligner ces 3 images et de les empiler ?

Dans ce cas, ya même pas besoin de s'emmerder avec du plate solving alors ?

 

[Batbihirulau]

Of course, ce type de manip collaborative est très intéressante et motivante.

Perso, je n'ai que des moyens modestes mais si il y a moyen d'apporter un petit peu,je suis partant.

C'est même la dernière réflexion de Colmic qui m'a décidé à participer au fil:

 

Ca c'est pour savoir quelle serait la tolérance de focale admissible. Ainsi on pourrait dire :

• si votre caméra possède des pixels de xxxx µ
• si votre focale est comprise entre yyy et zzz
• alors vous pouvez faire partie du projet

Du coup, pour tester le process, il y aurait surement moyen de puiser dans la rubrique Partage de fichiers pré-traités un certain nombre de ressources sur quelques objet simples? En attendant de déterminer un protocole bien encadré par des tolérances etc...

 

Fred (quelques idées mais pas de pétrole 😕)

 

 

[Justino21m]

Juste une idée, vu que SIRIL sais mesurer la rondeur d'une étoiles, un gradient, un nombre d'étoiles détectées, etc... Il serait pas possible de faire un script spécial pour les personnes voulant participer, du genre on lance la moulinette, et il tri, jete et garde en fonction de différent critère ? 

Comme ça même les novices comme moi pourrait apporter quelque poses supplémentaires.

 

Je ne connais absolument pas la programmation, donc c'est peut être irréalisable 😁

[astro-sam]

Salut,

 

Je suis également intéressé par ce genre de projet. Avec un ami, on shoote régulièrement en double, et j'ai deja fait des assemblages issus de 3 setups avec des échantillonnages différents, et non seulement ca pose aucun pb, mais en prime on gagne vraiment, voir ici :

 

Donc je reste à l'écoute de ce fil

 

A+

[Ron]

J'adore totalement l'idée. Je ne comprends pas tous les détails, mais l'idée me plait. Je suis beaucoup trop noob pour participer, mais si l'idée se concrétise, je serai super ravi de voir les résultats.

[Xili]

Intéressé moi aussi

 

Mais attention à ne pas trop restreindre les paramètres, sinon il risque de n'y avoir que 4 ou 5 personnes "compatibles", et au final qu'une seule ou deux personnes qui auront pu faire des photos

[Colmic]

Je vous oublie pas hein, c'est juste que j'étais en Vendée et que je repars mercredi pour la Drôme faire d'autres images

A mon retour, j'essaierai de trouver un serveur pour héberger nos brutes déjà pour commencer.

[Mael78]

Salut ! Je viens de tomber sur le sujet , le projet m’intéresse malgré mon maigre setup ( Skywatcher 150/750 en préparation de commande )

Pour l'instant j'ai une lunette 60/700 et je n'ai pas d'autoguidage ni sur celle ci ni sur le nouveau , et malheureusement je ne suis pas majeur , donc rejoindre le projet c'est compliqué ! Mais pourquoi pas voir pour y participer et j'ai hate de découvrir les résultats !

[max66m57]

Salut,

 

Il me semble avoir vu des posts comme celui-ci déjà dans le passé, sur le papier l'idée est super sympa, mais le problème c'est que les différences d'ouverture, de diamètre, capteur, temps de pose unitaire vont jouer sur le rapport signal sur bruit.

Du coup il n'y aura pas de gain par rapport à des setups vraiment identiques voir même un seul qui aurait posé une trentaine d'heures.

Il en sera idem pour la résolution (Je ne parle pas d'alignement Pix et capable de faire ça et apparemment Siril aussi) avec les différences d'échantillonnage, capteur/photosites, focale, il faudrait sinon que les setups à échantillonnage similaire s'occupent de la même couche.

Tout ça pour dire que ce n'est pas impossible mais il faudrait presque faire un petit tableau excel dans lequel chacun mettrait toutes ces infos pour constituer plusieurs petits groupes optimisés.  

[史钧豪]

Cela me fait penser à une plateforme open source type -open street map-

du coup là le but est de, à l'inverse de constituer/contribuer à une cartographie terrestre, plutôt de constituer une carte du ciel avec les astrophotos. avec une data-base en constante évolution et amélioration.

Je pense que se référer et s'inspirer à une structure existante similaire pourrait apporter bcp à la réflexion. Ainsi cela parlerai plus à de potentiel sponsor ou investisseur.

 

bon ciel

[purpose]

super idée.

je veux bien faire parti aussi des "imageurs".

mon matos: eos 450d

newton 200/1000 

j'espère qu'on sera une dizaine avec le même matos