Tech En finir avec la trame ?

[Roch]

Bonsoir tout le monde  

Je vous préviens, ce sera long  donc pour ceux qui souhaiteraient simplement suivre l'essentiel du propos, ne lisez que ce que j'ai mis en gras
 

Ceux qui me connaissent le savent, j'ai souvent quelques soucis de trame sur mes images ciel profond en poses rapides. Derniers exemples en date, mes images de M1 et B33 postées il y a deux semaines dans la galerie.

Il y a quelques temps j'avais d'ailleurs ouvert ce sujet : 

Beaucoup d'entre vous ont adopté des approches diverses pour contourner le problème. La plupart optent actuellement pour le dithering, mais c'est une technique qui s'adapte assez mal aux poses courtes dans l'état actuel des choses et possède ses contraintes.

 

Je me suis beaucoup interrogé sur la "persistance" dans le temps du signal de dark d'une caméra de ce type. On part toujours du principe que le signal ne varie pas beaucoup dans le temps, et qu'une fois qu'on a la bonne "carte" de dark tout est ok. Seulement si tel était le cas, on n'aurait pas besoin de faire du dithering... non ?

L'autre soir, ma mise en station était parfaite, et là je me suis dit : c'est quand même trop nul de devoir volontairement sacrifier une mise en station si réussie. En plus ça signifiait des recadrages fréquents, donc sortir dehors dans un froid polaire...

Bref. J'ai beaucoup réfléchi à la question, et j'ai eu une idée.
 

Donc afin de capter pleinement votre attention , une démonstration valant tous les discours du monde, j'ai voulu mettre mon idée en application.

Voici une première image de M1, seuils tirés, constituée d'une somme de 500 brutes de 2s sans retrait du dark. Juste une correction cosmétique légère sur les pixels les plus "chauds".

Une deuxième image constituée des même 500 brutes, auxquelles j'ai soustrait un dark acquis de manière classique. Pas d'offset, celui-ci étant "inclus" dans le dark.
La caméra est non-refroidie, donc c'est toujours délicat d'obtenir le dark à la bonne température... ce dernier a été réalisé à la suite des acquisitions, soit environ 3h après ces 500 images qui sont au début d'une longue série.
Comme pour la première, une légère correction cosmétique est ajoutée ensuite pour se défaire des pixels "extrèmes". 

Et enfin, une image constituée des même 500 images brutes auquel j'ai soustrait un dark fabriqué maison, avec ce que j'appellerai désormais, en toute modestie, la "méthode Roch"
Toujours la même correction cosmétique appliquée ensuite.

Comme vous pouvez le voir, le résultat se passe de commentaires... notamment sur le fond de ciel. Il y a encore une trame bien présente sur quelques zones plus brillantes, et également dans les coins, mais c'est un problème qui devrait être réglé avec la "méthode Roch 2.0"

Là, normalement, vous vous dites : "bon il commence à nous bassiner celui là, avec ses grands airs et sa méthode machin, elle est ou l'arnaque ?"

Alors voilà, laissez moi vous expliquer le principe de la "méthode Roch"

En réalité, c'est pas bien compliqué. Par contre, pour la réalisation, pour le moment, faute de logiciel adapté, c'est l'USINE A GAZ !
D'ailleurs je ne suis certainement pas le premier à expérimenter ça. Mais bon, comme je n'en ai jamais entendu parler d'un tel procédé jusqu'à présent, zut à la fin. C'est vrai quoi, de nos jours on ne peut plus rien inventer, alors je rendrai la "méthode Roch" à César si besoin est plus tard.
 

Je suis parti du postulat suivant, qui me semble assez logique : Une image de calibration parfaite ne devrait engendrer aucune trame.

Vous imaginez ? Ce serait génial non ? Plus besoin de se geler toutes les demi-heures pour recadrer le machin, plus besoin de dithering qui plante parce que "yavait un nuage"... etc.
Sauf que pour avoir un dark parfait, il faudrait le réaliser dans les conditions EXACTES de l'acquisition, ce qui parait impossible... 

...à moins d'utiliser directement les images d'acquisition pour le prétraitement.

Parce que si on y réfléchit quelques minutes, la plupart du temps, une majeure partie de nos chères images est constituée... de fond de ciel, ce qui équivaut à une image de calibration parfaite, combinant offset, dark et flat. 

Pour se servir convenablement cette proportion "utile", il suffit donc d'isoler sur chaque image la partie en question, et de s'arranger pour qu'en utilisant un nombre important d'images, toute la surface du capteur soit couverte à un moment ou à un autre.

Cela tombe bien, en poses courtes, on dispose d'un nombre de brutes conséquent. Si l'image gigote suffisamment dans le champ, il paraît possible de réaliser une "carte" sur toute la surface du capteur.

Allez, on liste rapidement quelques avantages que cette solution apporte

- Plus besoin d'images de prétraitement spécifiques
- On peut même traiter les anciennes images qu'on trouvait toutes tramées à postériori
- On peut réaliser une image de calibration évolutive sur la soirée. Par exemple se baser sur les 500 premières images pour prétraiter les 500 premières images, puis les 500 suivantes pour les 500 suivantes, etc, etc.
- Et si ça ne suffit toujours pas ( ce dont je doute fort ), on peut même réaliser une carte "glissante" en utilisant, pour chaque image à calibrer, par exemple les 50 précédentes et les 50 suivantes.

Bon alors évidemment, on note deux gros inconvénients à résoudre. 

Le premier c'est qu'il est fort possible de n'avoir que très peu de fond de ciel disponible au sein d'une image... mais je reviendrai là dessus dans un autre post, on peut tout à fait contourner le problème.

Le deuxième problème, et non le moindre, c'est que le procédé n'est absolument pas viable dans l'état actuel des logiciels de traitement.
La démarche que j'ai suivie est extrêmement fastidieuse, et ce d'autant plus que le nombre d'images a traiter est élevé ; ça demande du bidouillage de haute volée, et certains comprendront peut être pourquoi j'utilise encore IRIS, et pas Siril par exemple... tout simplement parce qu'il permet vraiment tous les bidouillages possibles et inimaginables .

Voici la démarche suivie, étape par étapes. Je ne rentre pas vraiment dans les détails puisque c'est vraiment trop long à faire, c'est juste pour que vous ayez une idée.

- Alignement des images non prétraitées
- Empilement des 500 images en question 
- A l'aide de l'image obtenue, création d'un masque défini par une valeur maximale des pixels. ( commande BIN_DOWN )
-Alignement du masque sur les 500 images ( commandes MIRRORX puis MIRRORY pour retourner l'image, puis FILE_TRANS pour réaliser un décalage de l'image avec les mêmes paramètres que pour l'image précédente ; enfin, de nouveau MIRRORX et MIRRORY )
- Application du masque sur l'ensemble des images, chacune ayant son propre masque aligné sur l'objet. C'est là où ça a été le plus long, je n'ai pas trouvé de commande permettant de soustraire une séquence d'images à une autre séquence ; j'ai donc dû y aller "à la main", image par image
- Normalisation de tous les pixels rejetés par le masque sur la valeur moyenne du fond de ciel ( commande CLIMPIN )
- Empilement des 500 images de prétraitement ainsi obtenues.

Tout cela me donne mon image de prétraitement maître, que je peux utiliser pour poursuivre un prétraitement/traitement classique a partir des images brutes.

Note : En premier lieu, j'ai voulu réaliser une médiane des images de prétraitement, pensant que le résultat serait meilleur... ce n'est pas le cas, loin de là. Pourtant, d'après mes connaissances, si le bruit associé à notre signal de dark/offset/flat est réellement aléatoire, une médiane devrait donner un résultat similaire à une moyenne ( ça doit avoir un rapport avec la loi de poisson ou quelque chose comme ça )
Sans trop vouloir tirer des plans sur la comète, il me semble que cela va donc dans le sens d'une distribution non aléatoire des valeurs, que certains ici pourraient peut être m'expliquer  

Mais bon, je me suis donc résolu à utiliser la moyenne. Cela implique que la carte finale de prétraitement n'est réellement efficace que sur les zones couvertes par du fond de ciel 100% du temps ; en effet, puisque j'ai remplacé les zones "inutilisables" par une valeur fixe sur chaque image, cela doit nécessairement réduire la précision de la correction de certains pixels chauds par exemple.
D'ailleurs, au centre de l'image, M1 étant toujours dans les parages, la zone n'est jamais utilisable, ce qui explique la trame bien apparente sur la nébuleuse. On voit également bien la trame dans le coin supérieur droit ùu l'amp-glow commence à faire des siennes.

Pour pallier en partie au problème, plutôt que de remplacer les zones inutilisables par une valeur moyenne, il faudrait tout simplement les écarter du calcul. Par exemple, si un pixel est situé à l'emplacement d'une étoile brillante sur 50 images, on pourrait donc écarter complètement ces 50 images du calcul final pour le pixel en question, et donc faire la moyenne des 450 autres. Mais ça, je ne pense pas que ce soit faisable avec IRIS.

Ce qui m'amène au but final de ce post.

Pour  moi il y aurait énormément à gagner en poussant plus loin les logiciels de traitement actuels. Même si on a d'anciens logiciels qui ont fait leurs preuves ( IRIS ou autre ) et de nouveaux logiciels intéressants ( SIRIL, AS3 ) ; pour moi aucun n'est réellement adapté à l'immense étendue de prétraitements et traitements possibles qu'offre, notamment, la prise de vue en poses courtes. Je pense qu'il ne se passe pas un mois sans que me vienne à l'esprit une nouvelle idée pour améliorer la chose ; je peux mettre en oeuvre certaines avec IRIS mais le logiciel vieillit et commence à montrer ses limitations sous des aspects très différents.
Donc l'idée c'est d'essayer de faire évoluer un peu tout ça. De quelle manière ? Je ne sais pas encore, mais en attendant je vais continuer les petits essais dans mon coin et voir ce que vous en dites  

Je prépare un traitement de mon autre image récente toute tramée, la tête de cheval, avec la "méthode Roch 2.0"  qui devrait régler l'ensemble des problèmes de trame résiduels sur celle-ci. Ça va me demander un temps fou, mais je pense que ça vaut la peine de montrer ce que l'on pourrait obtenir avec un logiciel de traitement à son plein potentiel  

En attendant, je suis ouvert à toutes les remarques... n'hésitez pas.
Merci à ceux qui m'ont lu jusqu'au bout !

Romain

Modifié 1 décembre 2018 par Roch

[Ryo]

Salut belle initiative mais je suis un peu paumé avec ces commande iris 

[lock042]

Il y a 14 heures, Roch a dit :

L'autre soir, ma mise en station était parfaite, et là je me suis dit : c'est quand même trop nul de devoir volontairement sacrifier une mise en station si réussie. En plus ça signifiait des recadrages fréquents, donc sortir dehors dans un froid polaire...

Un dithering ne te détruit pas ta mise en station. Ni le cadrage. Un coup de raquette minuscule suffit. Il suffit de s'écarter d'un pixel en théorie pour que ca soit bon.

Et sinon tu as des softs de capture qui te réalise le dithering a chaque prise. Du coup tu ne t'occupe de rien et tu ne vois rien.

Modifié 1 décembre 2018 par lock042

[Pulsar59]

Les softs de capture pose longue gèrent bien le dithering automatisé mais en courtes c'est pas pareil

Il faudrait demander un développement, somme toute assez simple, dans Firecapture :

- autoguidage sur une étoile du champ (mais avec une fréquence de rattrapage faible : disons 10-20 secondes, c'est juste pour rattraper le cadrage et contrer la dérive). Ca existe peut-être déjà (en planétaire ca marche)

- couplé à un dithering AUTOMATISE et aléatoire de 1 à 3 pixels (pour qu'on puisse roupiller pendant la capture du SER)

Sujet débattu ici : https://www.webastro.net/forums/topic/155520-partage-dune-petite-solution-pour-combattre-la-trame-en-poses-rapides/

 

Modifié 1 décembre 2018 par Pulsar59

[lock042]

Il y a 2 heures, Pulsar59 a dit :

Les softs de capture pose longue gèrent bien le dithering automatisé mais en courtes c'est pas pareil

Généralement on fait la pose courte sans autoguidage, donc le dithering est fait naturellement

[xs_man]

Salut Romain,

 

Tu te prends bien la tête pour rien, un coup de raquette aléatoire en AD et DEC au moins toutes les

5 minutes  et ça règlera le problème.

 

Je n'ai pas de soucis de trames avec la 290 mais en effet ça  apparait s'il n'y a pas assez de

déplacements aléatoires. En plus l'absence de refroidissement de la caméra va dans le mauvais sens,

 

Albéric

[Pulsar59]

oui mais non car le plus souvent dans ce cas la dérive n'est pas aléatoire d'où précisément l'apparition de la trame qu'on souhaite éviter (cf les nombreux essais réalisés par les défricheurs de la pose courte... et aussi les clichés APN de ceux, dont moi à une époque, qui faisaient de la pose longue sans autoguider.)

L'automatisation du dithering dans Firecapture serait un grand progrès pour les fainéants (dont je fais partie)

Modifié 1 décembre 2018 par Pulsar59

[Pulsar59]

non car ca déclenche un dithering à l'arrivée d'un fichier (d'une pose) dans un dossier

Si tu fais du SER en pose courte, ca ne peut pas fonctionner par définition

[lock042]

il y a 46 minutes, Pulsar59 a dit :

L'automatisation du dithering dans Firecapture serait un grand progrès pour les fainéants (dont je fais partie)

Il suffit d'envoyer un mail au développeur. Il répond toujours

[Pulsar59]

bonne idée, je vais le faire, et si les autres intéressés le font aussi ce sera d'autant mieux.

[Pulsar59]

il y a 2 minutes, Utopix a dit :

Ouais mais Felopaul serait surement intéressé pour adapter son soft ? Ca doit pas être compliqué de mettre un timer ?

 

ca suppose que tu autoguides avec PHD2 et ca m'étonnerait que tu puisses à la fois envoyer le signal de la cam à PHD2 en même temps que tu enregistres un SER avec Firecapture, mais avec une deuxième caméra ca pourrait le faire.

[Dav78]

Salut,

 

Pour ma part, c'est dithering manuel, ça marche mais c'est chiant 🤔

Du coup je suis en train de réfléchir à concevoir un petit boitier arduino, qui pilotera mon APN via une fonction intervallomètre, et qui enverra des pulses via ST4 à la monture pour faire du dithering, selon une durée et une fréquence définie.

Mais ce boitier ne fonctionnera évidemment pas avec une solution d'autoguidage (il y a le lacerta mgen pour ça).

 

A+

 

[Roch]

Merci aux participants.
J'ai édité mon post de départ pour qu'il soit plus lisible

Mais alors, juste, dites, vous voulez pas arrêter 5 secondes avec le dithering ?

Je vous présente une méthode pour se passer de dithering, de darks, d'offsets, de flats et de tout le tintouin, tout en ayant une image propre à la fin, et c'est moi qui me complique la vie ?
Certes l'image n'est pas encore totalement propre et la méthode n'est pas encore viable. Mais je vous garantis que si on sortait un logiciel capable d'automatiser le processus ( et c'est totalement faisable ), un grand nombre de personnes l'adopteraient illico.

Alors oui, ça me prend du temps mais je pense que ça vaut la peine  

Je pourrais passer 20 paragraphes supplémentaires à expliquer pourquoi je n'aime pas le dithering, pourquoi je ne peux pas en faire à l'heure actuelle, ou pourquoi je n'ai pas envie de me les geler dehors toutes les 5 minutes pour recadrer... mais encore une fois ce n'est pas le sujet

Romain

[Pulsar59]

bon, pour en revenir au sujet

le souci que j'ai avec ta proposition c'est ça :

" D'ailleurs, au centre de l'image, M1 étant toujours dans les parages, la zone n'est jamais utilisable, ce qui explique la trame bien apparente sur la nébuleuse"

En effet, on la voit bien, et je ne vois pas moi comment récupérer l'info "défauts" "sous" cet objet

c'est pourquoi mon opinion actuelle est qu'un dithering AUTOMATIQUE (je répète, pour les fainéants) bien programmé dans FC marcherait mieux, comme c'est le cas en pose longue d'ailleurs.

 

Modifié 1 décembre 2018 par Pulsar59

[xs_man]

 

il y a 18 minutes, Roch a dit :

Mais alors, juste, dites, vous voulez pas arrêter 5 secondes avec le dithering ?

Je pourrais passer 20 paragraphes supplémentaires à expliquer pourquoi je n'aime pas le dithering, ...

 

 

Il y a 23 heures, Roch a dit :

En attendant, je suis ouvert à toutes les remarques... n'hésitez pas.

 

Romain,

 

Et si au  lieu de dithering, du faisait du RMA (Recentrage Manuel Aléatoire) ? 

C'est sympa comme désignation, non ?

Bon OK, je file...

 

Albéric

 

[Dav78]

Je ne sais pas si c'est équivalent à ta méthode Romain, mais dans le logiciel APP, on peut créer une Bad Pixel Map, qui est un master complétant les masterdark/flat pour la calibration des brutes. C'est apparemment efficace pour les trames.

[Roch]

 

il y a 28 minutes, xs_man a dit :

Romain,

 

Et si au  lieu de dithering, du faisait du RMA (Recentrage Manuel Aléatoire) ? 

C'est sympa comme désignation, non ?

Bon OK, je file...

 

Albéric

 

 

Albéric, la réponse était dans la suite de la phrase que tu as citée  pas envie de me les geler toutes les 5 minutes pour aller recadrer.  Avec mon image du cheval, en 4h de temps, la mise en station était tellement bien que je n'ai pas dû aller recadrer une seule fois.  Je savais bien à quoi m'attendre niveau trame, mais c'était d'un confort...
Autres raisons, ça signifie couper les poses régulièrement ( ou supprimer la/les poses en question à posteriori ) , et donc perdre un peu de temps de pose, j'aime pas ça
Mais j'approuve ta désignation

 

il y a 49 minutes, Pulsar59 a dit :

bon, pour en revenir au sujet

le souci que j'ai avec ta proposition c'est ça :

" D'ailleurs, au centre de l'image, M1 étant toujours dans les parages, la zone n'est jamais utilisable, ce qui explique la trame bien apparente sur la nébuleuse"

En effet, on la voit bien, et je ne vois pas moi comment récupérer l'info "défauts" "sous" cet objet

c'est pourquoi mon opinion actuelle est qu'un dithering AUTOMATIQUE (je répète, pour les fainéants) bien programmé dans FC marcherait mieux, comme c'est le cas en pose longue d'ailleurs.

 

il y a 21 minutes, Utopix a dit :

Montre nous une image terminée avec cette méthode ?

Il y aura un fdc parfait, mais une trame sur certaines zones.

Ta solution n'en est pas une.

Il faut créer un décalage lors de la capture. On l'a tous bien compris, il faut chercher en ce sens.

Sur ce point vous avez raison, mais j'ai trouvé la parade ; je m'expliquerai plus en détail dés que j'aurai fini de traiter B33 avec cette méthode, pour vous la montrer en exemple. Le souci c'est que ça demande pas mal de temps...  donc peut être que j'aurai fini demain soir, mais pas sûr.
Utopix, tu es bien catégorique  

Je suis d'accord sur le fait qu'il faille créer un décalage. Simplement, l'erreur périodique s'en charge déjà, et à mon sens cela suffit.
Après, avec un suivi parfait cette méthode ne marcherait pas, puisqu'il serait impossible de différencier le signal thermique du signal de l'objet. Sauf qu'à moins d'autoguider, l'objet se déplace toujours un minimum sur les images. ( en cause l'erreur périodique, la mise en station, la réfraction atmosphérique, les flexions de la monture, etc... )
 

il y a 24 minutes, Dav78 a dit :

Je ne sais pas si c'est équivalent à ta méthode Romain, mais dans le logiciel APP, on peut créer une Bad Pixel Map, qui est un master complétant les masterdark/flat pour la calibration des brutes. C'est apparemment efficace pour les trames.

Je peux me tromper, mais il me semble que cela s'apparente à une "correction cosmétique" classique. On remplace les pixels les plus "chauds" d'une image par la valeur moyenne des pixels adjacents, ça marche effectivement pour limiter un peu la trame. Cependant, il y a des limites au procédé.
J'ai d'ailleurs déjà utilisé ce genre de procédé sur les images ci-dessus.

Romain


 

[Roch]

il y a 9 minutes, Utopix a dit :

 

J'suis un emmerdeur, tu peux le dire, ma femme ne se gène pas ! 🤣

 

L'erreur périodique ne s'en charge que dans un sens, le sens du suivi, d’où la trame. Si on avait autant d'erreur périodique dans l'autre sens, on aurait pas de trame !

Je ne dis pas le contraire, je dis juste le décalage induit par l'EP ( ou autre ) suffit à isoler le signal parasite du signal réel. Et donc à créer une image maître de prétraitement parfaite à partir des images d'acquisition. Et donc à supprimer purement et simplement la fameuse trame.

Modifié 1 décembre 2018 par Roch

[Pulsar59]

Je vais encore parler de dithering donc pas bien 😃

J'aurais peut-être une solution, bien qu'un peu capillotractée :

- monter un chercheur d'autoguidage avec une cam sur le télescope (qui lui acquiert les poses courtes avec FC)

- connecter PHD2 sur cette cam et sur la monture par EQMOD, et autoguider sur une étoile du champ

- en parallèle : brancher un APN (même avec son bouchon) sur le PC d'acquisition (juste raccordé au PC, pas monté sur le télescope)

- avec un intervallo ou EOS Utility, demander une pose toutes les 10 ou 20 secondes et envoyer ces poses dans le directory surveillé par PhDMax, toujours pendant que le télescope continue à acquérir les poses courtes en SER avec FC

- PHDMax du coup va envoyer l'ordre de dithering qui va bien

- aller au lit

 

Il faut 2 cams et un reflex, ok... mais au moins sur le papier ca marche

Modifié 1 décembre 2018 par Pulsar59

[Pulsar59]

Faut ski faut !

n'empêche que c'est peut-être pas si c.n que ça

Modifié 1 décembre 2018 par Pulsar59

[kiwi74]

C'est à l'opposé de la philosophie de l'A7s sans prise de tête !!!!

 

Une lunette, un A7s, une MES volontairement approximative :

 

Et voilà le résultat en 1h30 à peine à coup de poses de 30s :

 

Vraiment simple et efficace et pas de trames  

[kiwi74]

Non mais je sais je trollais un peu. Le but c'était juste de contraster avec la config usine à gaz proposée par Pulsar59  

[Pulsar59]

Tu trollais oui, et à l'envers en plus  😃

sinon pour l'usine à gaz, si on y réfléchit un tantinet on se rend compte que c'est pas si pire.

Modifié 1 décembre 2018 par Pulsar59

[Tromat]

Hello,

 

le problème, outre la complexité de l'opération, c'est que la création de ton dark repose sur un masque dont la valeur est déterminée au pif à priori.

Quand on compare les deux images on voit que tu perds du signal sur le pourtour de M1, donc en plus de laisser un peu de trame sur les parties lumineuses tu perd de l'information.

Il y a peut être quelque chose à creuser mais en l'état ça ne me parait pas viable, ou alors sur des cibles lumineuse qui se détachent nettement du fond de ciel.

 

Pour ma culture personnelle, qu'est-ce qui empêche d'utiliser l'autoguidage et le dithering en pose rapide ? Tu n'est pas obligé de bouger la monture entre chaque pose. Sur 4h de poses de 1s, le faire toutes les 50 , 100 ou 1000 poses ne devrait pas créer tant que ça de perte avec un gain en simplicité et surtout en efficacité qui est bien réel. Au pire tu perds les quelques poses pendant le déplacement de la monture, mais vu la quantité totale la perte est négligeable.

Je guide (en pose longue) avec PDH2 et PHDMax, dans ce dernier tu précise de combien tu veux déplacer la monture et surtout toute les x images reçues. Après je suppose que tu capture en *.ser mais dans ce cas il suffit de saucissonner les captures. Ya un truc que j'ai pas compris ?

[lock042]

il y a 7 minutes, Tromat a dit :

Après je suppose que tu capture en *.ser mais dans ce cas il suffit de saucissonner les captures.

De toute façon je conseille de saucissonner pour éviter de se retrouver a enregistrer un seul SER de 200Go .....
Libre ensuite de les fusionner dans PIPP ou SIRIL (mais s'il utilise IRIS, je pense pas qu'il les fasse en SER par contre [ce qui est dommage]).