tech Sigma Low et Sigma High sous PixinSight

Hello !

Petite question :

j'ai commencé à tester Pixinsight pour traiter mes images d'APN, et après quelques heures (enfin, de longues heures...) de visionnage de vidéo, de lecture de tutos et autres pages sur les forums, je me demande ce que représentent exactement les paramètres Sigma Low et Sigma High qu'il faut régler dans le menu Rejection (2) quand on additionne des images ?

Comment les déterminer ? Y a t'il une méthode ou est-ce que l'on fait juste des essais ? Comment savoir ce qu'il faut obtenir ?

J'ai vu quelque part un réglage avec Sigma Low = 4 et Sigma High = 3. Je ne pensais pas que le Low puisse être supérieur au High ?

Bref, si quelqu'un pouvait éclaircir ma lanterne ...

Bonsoir,

L'objectif de cette étape est d'ignorer tout les pixels déviants et seulement les pixels déviants pour conserver un rapport signal sur bruit maximal après addition.

je me demande ce que représentent exactement les paramètres Sigma Low et Sigma High qu'il faut régler dans le menu Rejection (2) quand on additionne des images ?

Ces paramètres représentent grosso-modo la quantité de pixel que l'on va écarter lors de l'addition. Plus le paramètre va être élevé, plus on va être tolérant et laisser passer des pixels.

Pour illustrer le truc, une image de Wikipedia :

Le sigma est en réalité l'écart-type du "tas" de pixel que l'on veut empiler.

Pour une courbe gaussienne (ce qui n'est pas le cas de nos données), un sigma de 1 écarterais un peu mois de 32% des pixels. Un sigma de 2 en rejète 4,6%, etc ...

Dans Pixinsight, on renseigne un multiple de cet écart-type. (quand on donne un sigma_high de 2, ça veut dire qu'on écarte tout les pixels au-delà de +2σ sur la courbe au dessus).

Sur un set de donnée que l'on peut avoir en astro, ça donnerai ça :

Toutes les valeurs au-dessus du sigma high et en-dessous du sigma low seront rejetées.

En augmentant le paramètre sigma high, on va faire monter la ligne rouge "σhigh" et donc éliminer moins de pixels.

Si on augmente le paramètre sigma low, la ligne du bas notée "σlow" va descendre et on va aussi laisser passer plus de pixels.

Rapidement pour le LinearFit : Il est théoriquement le plus performant, mais il lui faut un grand nombre d'image (>25) pour avoir une bonne approximation de la pente.

Le reste du temps le Winsorized SigmaClipping (courbe du haut) fonctionne très bien.

J'ai vu quelque part un réglage avec Sigma Low = 4 et Sigma High = 3. Je ne pensais pas que le Low puisse être supérieur au High ?

Les pixels déviants sont plus présents dans les valeurs supérieurs (rayons cosmiques/pixels chauds/satellites/etc ...), ce qui oblige à être plus sélectif (i.e. sigma plus faible) pour les ignorer correctement.

Les autres logiciels du même type ne donnent accès qu'à un seul réglage de "sigma". En faisant ainsi, on est obligé de choisir entre avoir un rapport signal sur bruit faible mais supprimer tous les pixels déviants (en réglant un sigma faible) ou alors avec un bon RSB mais laisser passer la plupart des pixels déviants (en réglant un sigma élevé).

Comment les déterminer ? Y a t'il une méthode ou est-ce que l'on fait juste des essais ? Comment savoir ce qu'il faut obtenir ?

Pas vraiment de méthode, c'est par essais successifs. La manière dont je procède généralement :

Je fais une moyenne classique que je garde en mémoire, puis je fais deux autres additions avec une méthode de rejet Linear fit ou Winsorized.

Via le raccourci CTRL+Page down, je blink l'image sans rejet et celle avec pour voir les déviants s'estomper.

Il y a toujours une méthode entre LinearFit et Winsorized qui donne de meilleur résultat (il reste souvent pas mal de point noir avec l'une ou l'autre), c'est là que je choisi la méthode.

Ensuite il suffit d'augmenter progressivement les tolérances (sigma low et sigma high) jusqu'à revoir apparaître les pixels déviants. Il suffit de se caler juste en dessous pour avoir un résultat pas trop mauvais.

Généralement la tolérance "low" est bien plus élevée que la "high".

Ne pas hésiter à utiliser l'onglet "Region of interest" pour accélérer la recherche des meilleurs tolérances, cela permet de ne faire le calcul que sur une petite partie de l'image (viser une trace de satellite ou autre).

>A quoi doit-t-on faire attention en observant les rejections low et high...?

low : vérifier que des points noirs n’apparaissent pas quand on augmente la tolérance.

high : à augmenter jusqu'à voir apparaître les pixels chauds/satellites/rayons cosmique & Co puis se régler juste en dessous.

Choses à vérifier sur l'image entière.

Avec le nouvel outil d’intégration, le choix de l'estimateur est aussi important, de même que celui de l'image de référence.

Pour le vérifier rapidement, il faut faire défiler via l'outil "Blink" les images pour repérer la moins bonne et la meilleur niveau du contraste.

Choisir l'image la plus contrastée en référence par le bouton "Set Reference" du menu Integration.

Lors de l'intégration, vérifier que le "Weight" (dans la console) de l'image la moins bonne est bien inférieur à 1. C'est à dire que son apport à l'image finale sera plus faible en raison de sa faible qualité. Pour ce faire il faut choisir l'estimateur le plus adapté. Chez moi c'est souvent le "Sn estimator of Rousseeuw and Croux", mais celui par défaut n'est pas forcément mauvais.

Comment savoir ce qu'il faut obtenir ?

Il n'y a pas de pourcentage de rejet type à obtenir, cela dépend entièrement du matériel/localisation/PL/shoot sur plusieurs nuits/etc ...

Le résultat est bon lorsqu'il ne reste plus aucunes traces de satellites ou de pixels chauds ET lorsque le rapport signal sur bruit est maximal (i.e. le plus proche d'une addition sans rejet).

En gros il faut faire une addition sans rejet, noter la valeur "Reference noise reduction" puis trouver les paramètres sigma high/low adéquats et enfin vérifier que le nouveau "Reference noise reduction" n'est pas trop éloigné de l'ancien.

Je conseille la lecture de la doc de l'outil ImageIntegration, un peu de math mais tout le fonctionnement y est expliqué précisément.

Désolé si ça radote par moment.

Tiflo

Bonsoir à vous,

Merci à Dominik d'ouvrir se post car j'ai également un problème au niveau de la réjection.

Dans le tuto de l'AIP, il parle d'obtenir une valeur <1% et je n'y arrive pas du tout avec mes darks........

Et quand je fais le pré-traitement de mes brutes, mes brutes sont devenus flashies et très dur au niveau traitement???

Une chose très pratique en plus de la théorie de Tiflo.

Tu fais une addition SANS rejet pour avoir une addition brute.

Ensuite tu repères les pixels chauds (ils font des traces beurk sur l'addition et les traces diverses comme satellites et avions ou rayons cosmiques)

Tu augmentes ton sigma haut pour les virer (avec un bon PC ça prend pas tant de temps) puis tu redescends doucement jusqu'à les revoir apparaitre, tu dois alors ne pas être loin.

Pour les sigma bas, tu recherches les points sombres (doit pas y en avoir tant que cela avec de bon darks et offsets)

Toujours afficher la carte des pixels chauds et froids rejetés pour avoir une idée de ce que tu vires (et éviter de virer du gradient ou une partie de l'objet, des étoiles).

Avec le nouvel outil d’intégration, le choix de l'estimateur est aussi important, de même que celui de l'image de référence.

Pour le vérifier rapidement, il faut faire défiler via l'outil "Blink" les images pour repérer la moins bonne et la meilleur niveau du contraste.

Choisir l'image la plus contrastée en référence par le bouton "Set Reference" du menu Integration.

Lors de l'intégration, vérifier que le "Weight" (dans la console) de l'image la moins bonne est bien inférieur à 1. C'est à dire que son apport à l'image finale sera plus faible en raison de sa faible qualité. Pour ce faire il faut choisir l'estimateur le plus adapté. Chez moi c'est souvent le "Sn estimator of Rousseeuw and Croux", mais celui par défaut n'est pas forcément mauvais.

Sinon pour avoir la meilleure image référence, il y a le script Subframeselector 0.7

Hello

Très bonne explication de Tiflo

la quantité de réjection dépend entièrement de la qualité de tes images et la quantité.

Tu peux sélectionner différents algorithmes pour tester le meilleur rendu

Pour Subframeselector, c'est maintenant la 0.9

Philippe

Merci à vous les zamis, j'ai réussi à faire ma rejection sur mes darks en utilisant "linear fit"

@ Didou : je sais que c'est Lundi mais pourrais-tu être plus précis (si possible hein ) car j'ai pas bien saisi ton raisonnement mais également les manips

Désolé si ça radote par moment.

Tiflo

Non, non, merci de ta réponse, tu ne radotes pas , en tout cas pas pour moi qui débutes en PixinSight, en lisant ta réponse j'ai l'impression d'avoir tout compris (sans doute une douce illusion ... ).

Merci beaucoup ! Déjà j'ai compris qu'en augmentant les sigma, on rejette moins de pixels (rien que cela, je ne l'avais pas forcément compris déjà) et que en augmentant le high, on fait "monter la limite supérieure" du rejet et en augmentant le low, on fait "baisser la limite inférieure" du rejet... c'est bien cela alors ?

Ceci m'explique donc pourquoi le low peut avoir une valeur supérieure au high... Alors que quand je voyais un réglage avec low = 4 et high = 3, je pensais que le low se retrouvait alors au-dessus du high ... je sais pas si clair ce que je dis là ...

Dans le tuto de l'AIP, il parle d'obtenir une valeur <1% et je n'y arrive pas du tout avec mes darks........

Au début moi non plus... Et en fait j'avais fait un truc con, j'avais mélangé mes dark avec mes flats en additionnant les fichiers, tu n'aurais pas fait une manip de ce genre ?

Sinon tu as bien retiré ton offset de tes dark ? Bien sélectionné les darks calibrés ?

EDIT : trop tard, tu m'as grillé pendant que je tapais ma réponse !! Content pour toi que ça marche !!

u début moi non plus... Et en fait j'avais fait un truc con, j'avais mélangé mes dark avec mes flats en additionnant les fichiers, tu n'aurais pas fait une manip de ce genre ?

 

Sinon tu as bien retiré ton offset de tes dark ? Bien sélectionné les darks calibrés ?

Oui, j'ai tout bien fais. J'avais refait la manipulation des dizaines de fois... MOn APN était à 20°C donc beaucoup de bruit de fond.

J'ai donc utilisé la méthode "linear fit" est j'ai pu obtenir les <1% maintenant je passe à la partie traitement ce soir.

Magnifique les gars, magnifique !

SUPERBES explications !

c'est très clair...BRAVO.

Ahhhh si ! j'ai une question qui me travail depuis hier soir :

le but d'une réjection c'est de virer les "pixel déviants" ok!

les pixels déviants dans l’intégration des images brutes c'est par exemples les traces d'avions, satellite, point chaud etc... ok !

mais que représente la réjection des pixels déviants dans l’intégration des flats ??? des darks ???

je crois savoir que pour les offset on fait pas de réjection si je ne me trompe pas.

merci d'avance.

idir

Svp où peut on trouver subframeselector 0.9 ?

comment ça marche ?

j'arrive pas à trouver de la doc là dessus.

Déjà j'ai compris qu'en augmentant les sigma, on rejette moins de pixels (rien que cela, je ne l'avais pas forcément compris déjà) et que en augmentant le high, on fait "monter la limite supérieure" du rejet et en augmentant le low, on fait "baisser la limite inférieure" du rejet... c'est bien cela alors ?

Oui c'est ça.

mais que représente la réjection des pixels déviants dans l’intégration des flats ??? des darks ???

Pour chaque image tu peux avoir des pixels chauds "solitaires" qui apparaissent plus ou moins aléatoirement.

Pour les flats, certains le font sur le ciel ce qui laisse des traînées d'étoiles qu'il faut supprimer. Pour les flats "longs" de plusieurs secondes (90s en Ha ici), tu auras des traces de rayons cosmiques un peu partout.

Pour les feignants dans mon genre qui ne font que 3 flats (20s de lecture à chaque fois ...), c'est indispensable (percentil clipping )

je crois savoir que pour les offset on fait pas de réjection si je ne me trompe pas.

Pour les offsets ont fait aussi du rejet, si tu fais défiler tes offsets, tu verras des points qui apparaissent aléatoirement pour X raisons (pixels chauds solitaires, rayons cosmiques, etc ...).

Il existe aussi sur la plupart des APN et CCD un signal semi-aléatoire dans le bruit de lecture (très prononcé sur les Canon).

Ce machin est impossible à supprimer, mais on peut limiter les dégats en isolant proprement le vrai signal d'offset ... ce qui demande d'empiler un paquet d'offsets et d'utiliser les méthodes de rejet pour s'en débarrasser (sur l'offset maître hein, le retirer des brutes c'est juste impossible)v.

Voilà la chose dont je parle, 13 offsets issus de mon 500D (et ce n'est pas le pire) :

http://tifloastro.free.fr/banding.wmv ( 8Mo, impossible sur youtube, il dégrade trop la qualité)

Sur la QSI : http://tifloastro.free.fr/banding_qsi.wmv, rien de visible mais juste en haut à gauche on voit un rayon cosmique apparaître, d'où le rejet (mais il se fait tout seul avec une moyenne simple si on fait suffisamment d'image). Sur les 13 images qui défilent j'en ai au moins 3. Si tu fais une moyenne des 13 sans rejet, tu les verras ressortir obligatoirement.

On voit le signal d'offset qui forme les bandes verticales en fond et des bandes horizontales "mouvantes" qui changent à chaque image, c'est ça le banding.

(c'est aussi pour ça que je doute fortement des <1% de rejet indispensable, faut voir la quantité de daube qu'il y a sur un offset d'APN.)

Au passage, la chose importante pour les darks/offsets est qu'il ne faut pas les normaliser (le niveau est en théorie constant, tout écart est un défaut). ça veut dire mettre "No normalization" dans les onglets Image Integration et Pixel Rejection.

Merci à vous les zamis, j'ai réussi à faire ma rejection sur mes darks en utilisant "linear fit"

Aucune raison d'utiliser le linear fit. Une variation du niveaude dark ça veut dire un changement de température assez important ... donc ça ne fera pas un bon dark maître.

Svp où peut on trouver subframeselector 0.9 ?

comment ça marche ?

Tu le trouveras ici avec plein d'autres scripts utiles :

http://pixinsight.com/forum/index.php?topic=5712.0

Pour avoir utiliser la version qui fonctionnais sur PI1.7, je trouvais ça super long pour pas grand chose au final. Le plus rapide : le "blink" et une paire de noeilnoeil (si y a pas 200 images à trier bien évidemment )

Aucune raison d'utiliser le linear fit. Une variation du niveaude dark ça veut dire un changement de température assez important ... donc ça ne fera pas un bon dark maître.

Le problème est que si j'utilise la méthode par default, lorsque que j'applique les darks sur mes brutes, tout le signal est mangé !

Avec le linear fit, la réjection est nickel et quand j'applique les darks, je vois la différence (plus de points chauds/froids) entre les deux brutes.

Le problème est que si j'utilise la méthode par default, lorsque que j'applique les darks sur mes brutes, tout le signal est mangé !

Avec le linear fit, la réjection est nickel et quand j'applique les darks, je vois la différence (plus de points chauds/froids) entre les deux brutes.

Ton histoire est vraiment curieuse, je vois pas d'où ça peut provenir.

Par curiosité, fait défiler des images de dark avec la menu blink".

ça appliquera une seule STF pour tout le stack, tu verras directement si tu as une brebis galeuse dans le tas.

Merci Tiflo

t es vachement clair dans tes explications...cool

vraiment merci beaucoup

j'ai installé subframeselector, mais j'ai le message d'erreur. ci dessous

pourquoi il veut et ne trouve pas stardetector ? que puis je faire ?

"run --execute-mode=auto "C:/Program Files/PixInsight/src/scripts/SubframeSelector.0.9/SubframeSelector.0.9/src/SubframeSelector.0.9.js"

Processing script file: C:/Program Files/PixInsight/src/scripts/SubframeSelector.0.9/SubframeSelector.0.9/src/SubframeSelector.0.9.js

*** Error: C:/Program Files/PixInsight/src/scripts/SubframeSelector.0.9/SubframeSelector.0.9/src/SubframeSelectorMeasure.js, line 45: include file not found: pjsr/StarDetector.jsh"

desolé dominique de squatter ton post, j'espere que tu m'en voudra pas

@ tiflo : j'ai regardé mes DARKS avec le process "blink" rien de spécial

PS : va voir mon post avec ma 1er image sortie de PIXINSIGHT et 1er image sur mon newton (suis vraiment néophyte )

[url=]http://www.webastro.net/forum/showthread.php?t=110694[/url]

desolé dominique de squatter ton post, j'espere que tu m'en voudra pas

Non, j'apprends plein de choses, c'est génial !

Et puis tu te feras pardonner en me prêtant ton filtre H-Alpha ou ton UHC ...

un petit hop,.... dans l’espoir d'avoir une aide pour le script.

La dernière version SubFrameSelector 0.95 disponible par l'UPDATE de pix il y a 10 jours fonctionne sans problème.

Merci CCD1024 pour l'info

Petite question, on peux mettre directement les brutes dans le scrip où faut-il les calibrer ?

l'idéal est quand-meme de mettre les calibrées ! Le calcul sera plus précis.

Merci pour très précisions CCD1024.

Donc ensuite grâce aux résultats, je pourrais trier mes brutes.

Quels sont tes critères sélectifs (que tu regardes en priorité) ainsi que tes valeurs min/maxi ?