[Siril] Problème d'ampglow résiduel

[morbli]

Bonjour,

j'ai un problème d'amp glow résiduel dont je n'arrive pas à me débarrasser sous Siril alors qu'il disparait sans problème sous PixInsight.

J'utilise une caméra mono QHY178M refroidie. Cette caméra, comme beaucoup de ses consœurs, est affectée d'un ampglow non négligeable.

 

Toutes les vues ont été faites au même gain, offset et à la même température (-20°C)

43 lights de 300s

15 flats

101 bias

101 darks de 300s

 

Détail du process

Master Bias:  Moyenne sans normalisation et réjection Winsorized Sigma Clipping
Empilement des darks non calibrés: Moyenne sans normalisation avec réjection Sigma Clipping
Calibration des flats avec masterbias
Empilement des flats calibrés: Moyenne avec normalisation multiplicative et réjection Percentile Clipping
Calibration des brutes avec masterbias, masterdark et masterflat: optimisation des darks
Alignement ciel profond
Empilement des brutes alignées: Moyenne avec normalisation additive avec mise à l'échelle et réjection Linear Fit Clipping

 

J'ai déposé sur ce dropbox 5 fichiers de chaque DOF et 5 brutes

 

Une brute

 

Comparaison entre une brute calibrée sous PixInsight (à gauche) et Siril (à droite)

 

Comparaison entre résultat empilé sous PixInsight (à gauche) et Siril (à droite)

 

A noter que j'ai essayé aussi avec AstroPixelprocessor. Même comportement qu'avec Siril, impossible de se débarrasser de cet ampglow.

Je ne sais pas comment PixInsight se débrouille pour calibrer les brutes mais il est sacrément efficace.

 

 

 

 

[ChristianHJ]

Bonjour morbli,

 

Je me suis permis de récupérer tes 20 fichiers sur dropbox. En suivant ton process, j'ai aussi de l'amp-glow résiduel avec Siril (0.9.9)... mais pas dans le même quadrant que toi (?!), ce que je trouve bizarre et n'ai pas compris. Dans ton process, je ne suis pas certain de comprendre pourquoi tu utilises l'optimisation des darks pour calibrer les brutes, alors que le master-bias n'a, me semble-t-il, pas été soustrait du master-dark au préalable (c'est moi qui n'ai pas compris, ce n'est pas du tout une critique du process !). Il me semblait qu'avec des brutes et des DOFs réalisés à la même température, contrôlée avec consigne, tu pouvais peut-être te dispenser d'optimiser les darks au pré-traitement, non ? Ou alors je me goure et n'ai pas compris tout ton process...

 

Bref, j'ai essayé aussi de ne pré-traiter tes brutes qu'avec un master-dark non optimisé, dans lequel j'ai laissé l'offset qui s'y trouvait. (Donc un pré-traitement basique sans master-offset ni master-flat.) En procédant comme ça, Siril produit un empilement de brutes où je ne décèle plus aucun résidu d'amp-glow. En revanche, il reste une sorte de trame horizontale (que Siril règle assez bien, je trouve), très visible en histo et encore assez bien perceptible en auto-ajustement.

 

Je ne sais pas si ce que j'indique ici peut aider en quoi que ce soit, mais je peux aussi faire d'autres essais de mon côté si tu veux.

[lock042]

On ne fait pas d'optimisation de dark si on ne supprime pas l'offset du dark avant en effet.

[morbli]

@ChristianHJ, merci pour tes investigations et tes explications.

Tout d'abord, si l'ampglow n'est pas dans le même quadrant c'est parce que les copies d'écran que j'ai présentées sont celles résultant de l'empilement des 43 brutes au milieu desquelles il y a eu un retournement au méridien.

 

Je vais refaire les tests ce soir en suivant tes préconisations notamment en supprimant l'optimisation des darks qui n'est pas nécessaire.

Donc, si j'ai bien compris, pour résumer,

MasterDark avec des darks non calibrés

MasterFlat des flats calibrées

Calibration des lights avec MasterDark, MartesBias et MasterFlat

[ChristianHJ]

Re,

 

J'ai fait un nouvel essai. Jusqu'ici, je ne parviens pas à utiliser correctement les cinq images d'offset : je les ai donc laissées de côté... J'ai fait un master-dark « au plus simple » (empilement médian, aucune normalisation) et un master-flat « idem » (empilement médian, normalisation multiplicative avec mise à l'échelle). Chacun des deux contient donc le signal d'offset (sauf erreur de ma part). Ensuite, j'ai pré-traité les brutes en utilisant le master-dark (sans optimisation, puisque température régulée) et le master-flat, en activant la correction cosmétique via le master-dark (en sigma froid, ça ne corrige qu'un seul pixel ; en pixels chauds, à peu près 1600 pixels sont corrigés). Après, alignement global (ciel profond, degrés de liberté en translation et en rotation). J'ai empilé les cinq brutes alignées, en utilisant la moyenne avec rejet des pixels déviants (normalisation additive avec mise à l'échelle, rejet des pixels déviants par Linear Fit Clipping).

 

Même en histo, je trouve qu'il ne reste aucun résidu d'amp-glow. Le quadrant inférieur droit présente un fifrelin de gradient (?), que Siril retire (par soustraction) sans problème. Le gros hic, c'est cette trame horizontale qui est évidente en histo et encore perceptible en auto-ajustement. Mais, à nouveau, Siril s'en occupe très bien, je trouve (Traitement de l'image > Réduction de la trame > Protection des hautes lumières). L'image est bruitée (normal avec cinq poses en Ha...), mais je trouve que le fond de ciel est très propre (je veux le même ! ;)). Mon retrait de gradient était assez hasardeux, parce que Pacman occupe une très grande partie de l'image.

[ChristianHJ]

Voilà ce que j'obtiens. Tout le prétraitement, alignement et empilement sous Siril, de même que la réduction de la trame horizontale et le retrait du gradient. Sous Siril, j'ai mis le maximum de l'histogramme vers 20% (balance des tons moyens) et j'ai exporté vers .tiff (en 8 bits). The GIMP uniquement pour transformer en .jpg.

 

EDIT : J'aurais dû dupliquer par reflet gauche/droite, pour comparer plus facilement avec ton résultat sous PI. Et j'ai sans doute eu la main lourde dans le retrait du gradient : les zones les plus faibles de la nébuleuse sont un peu mangées.

 

Modifié 18 décembre 2018 par ChristianHJ

[morbli]

Merci beaucoup pour toutes tes investigations.

Effectivement, les bias sont nuisibles. Faudrait comprendre la raison, peut-être est-ce dû à l'offset de 250 🤔

 

J'ai refait un prétraitement complet des 43 lights avec les 101 darks et15 flats.

J'ai utilisé Sirilic pour générer le script

En sortie d'empilement, sans autre traitement, ça donne ça. C'est super propre (même en zoom 100%) 😃

 

zoom 100%

[ChristianHJ]

Oui, pour confirmer du côté des bias, je viens de regarder l'histogramme du master-dark non calibré et celui du master-dark calibré. Le master-dark non calibré me semble normal : son histogramme n'est écrêté nulle part. En revanche, l'histogramme du master-dark calibré avec le master-offset est sévèrement écrêté du côté gauche. J'ai peut-être fait une faute grossière en calibrant les darks, mais je ne vois pas très bien où ni comment...

 

Ton zoom à 100% montre encore un peu de cette trame horizontale, mais déjà moins qu'avec seulement cinq brutes en sortie d'empilement et sans traitement ultérieur. Je pense que ce sera peanuts de régler ça avec Siril. Ce qui est rageant, c'est qu'on voit très bien cette trame sur les bias, et donc qu'en tenir compte en prétraitement devrait régler le problème en amont..?

Modifié 18 décembre 2018 par ChristianHJ

[morbli]

Par acquis de conscience, je vais refaire l'acquisition d'un lot de bias

[acmalko]

Je propose une alternative:

 

en présence d'amglow, j'ai pour habitude d'utiliser des darks de flat à la place des bias. L'amglow ne réagit pas de manière proportionnelle au temps de pose comme le fait le signal thermique des darks, c'est pour cette raison aussi qu'on n'optimise pas les darks.

Empilement des Darks_Flats
Empilement des darks non calibrés
Calibration des flats avec Master Dark_flats
Empilement des flats calibrés: Moyenne avec normalisation multiplicative et réjection Percentile Clipping
Calibration des brutes avec masterdark (sans optimisation ni calibration) et masterflat

[ChristianHJ]

Je viens de regarder les métadonnées des fichiers .fits de morbli. Pour les flats, ce sont des poses de 4,88 secondes. Durée d'exposition assez importante pour des flats, sans doute parce qu'il s'agit de flats en narrow band. Du coup, c'est vrai en effet que des darks de flats permettraient de calibrer les brutes en s'épargnant les offsets (brutes calibrées = (brutes - master-D) / (master-F - master-D-F)).

 

Bon, on ne sait toujours pas comment PI parvient à une bonne calibration avec les données de départ... La calibration avec PI élimine-t-elle la trame horizontale (sans devoir intervenir au traitement) ?

[morbli]

Bon, j'ai refais les bias. Rien à signaler, ce sont les mêmes que précédemment.

 

Maintenant, grâce à ta remarque concernant l'écrêtage des darks, je pense avoir trouver le problème:

Sous PixInsight, il y a un paramètre Pedestal à l'intégration. Je cite

Citation

A pedestal is a small quantity added to the result of an image calibration process to ensure positivity of pixel values. Negative pixel values may result from subtraction of overscan regions and bias frames. Normally, negative values are statistically irrelevant and are truncated to zero by default without further consequences. However, there are situations where the amount of zero-truncated pixels is too large in the calibrated result, especially in master calibration frames, and this can be a problem for subsequent image calibration tasks. In these special cases, adding a small pedestal to the result --usually in the range from 50 to 200 ADU-- solves the problem.

 

Si je mets Pedestal à 100, l'histogramme d'un dark calibré sous PixInsight est

tandis que si je le mets à 0, on retrouve le même histo qu'un dark calibré sous SiriL

 

Pour valider cette hypothèse au niveau de SiriL et n'ayant pas trouver de commande pour ajouter un offset à un ensemble de fichiers, j'ai contourné en soustrayant un offset au MasterBias avec la commande

offset -100

Et le résultat confirme l'hypothèse, on retrouve un dark calibré conforme à nos attentes

 

CQFD 😎

 

@lock042s'il était possible intégrer cette notion de pedestal à l'empilement, ce serait magnifique

 

  

Modifié 18 décembre 2018 par morbli

[acmalko]

Je lis assez fréquemment que certaines cmos ont des niveaux d'offset > au niveau des darks et justement ce pedestal sert à ça. Bien joué.

Modifié 18 décembre 2018 par acmalko

[lock042]

Le pedestal est un truc déjà dans les tuyaux. Mais j'ai peur qu'on ne puisse pas l'intégrer avant de passer siril en full 32bits....

[ChristianHJ]

Oui, bien joué et merci à morbli, Cyril et acmalko en tout cas : j'aurai compris l'origine d'un truc sur lequel je me suis parfois cassé les dents sans comprendre d'où venait le souci.

[vinvin]

Merci pour l'investigation, ce n'était pas simple...

[morbli]

il y a 1 minute, vinvin a dit :

Merci pour l'investigation, ce n'était pas simple...

heureusement que j'avais un process icon de PixInsight qui fonctionnait bien pour faire du "reverse engineering" 😎