Supprimer le signal dark/offset ....... sans darks et offsets ^^

[_stephane_]

Bonjour à tous

 

Une idée toute bête vient de me traverser l'esprit.

Pourquoi ne pas filtrer le signal dark/offset par simple rotation du capteur ?

 

C'est tellement simple comme idée, que je ne dois évidemment pas être le premier ni même le dernier à l'imaginer. Et cette méthode implique peut-être des biais de calculs rédhibitoires dont je n'ai pas conscience.

 

Explication de la méthode.

Si j'ai prévu de faire environ 3H de poses unitaires (simple exemple), je vais faire :

 

1H30 de pose en configuration (a)

1H30 de pose en configuration (

 

La configuration ( étant simplement la rotation de l'APN/caméra de 180°.

 

 

Après l'alignement des étoiles par le logiciel (qui va annuler la rotation de 180° de la moitié de la série), il ne reste plus qu'à ajouter un algo de suppression du signal dark/offset avec des seuils réglables.

 

Ex. vulgarisateur : Tout signal doublement distinct et itératif sur 30% de la série ayant subi une rotation de +/-180° par rapport à l'alignement des étoiles doit être supprimé.

 

 

 

 

Je laisse les experts critiquer mon raisonnement ................ voir l'enterrer

[TIbasic]

Ça existe déjà, c'est ce qu'on appelle le dithering, c'est très utile pour compléter des dark flat offset mal calibrés, mais les remplacer complètement est imprudent... Vaut mieux faire les choses proprement et tenter de rectifier en cas de problème...

[_stephane_]

Ah d'accord, c'est ça le dithering. J'ai déjà rencontré ce terme plusieurs fois sur le forum sans avoir cherché en quoi consistait cette "option".

 

Donc c'est en gros une différenciation du signal hardware du capteur et photonique par principe de translation (le signal photonique est en translation, le signal hardware est fixe) ?

J'ai bon ?

 

Et cette technique ne permet pas du tout d'avoir les résultats qu'offre une série de darks ? même si on optimise avec une rotation du capteur à 180° ?

[TIbasic]

En fait, le dithering permet de rendre efficace les méthodes d'empilement avec réjection contre les pixels chauds résiduels, mais comme je te le disais, il vaut mieux quand même faire des darks. L'offset, il vaut mieux le soustraire de toute façon, que ce soit par le dark ou directement.

 

De toute façon, je ne fais pas d'autoguidage, et j'empile par somme pour récupérer de la dynamique perdue par les poses courtes, donc je fais mes darks soigneusement et tout se passe bien ! (t'as qu'à aller voir dans ma galerie ! )

[dolguldur]

Pour resumer simplement:

-l'offset est un signal

-les pixels chauds et autres amp glow, etc sont des signaux

-l'image est un signal

-le bruit c'est du bruit (mais il peux y en avoir differents types)

 

Separer le bruit du signal c'est un probleme inverse qui s'appelle le debruitage

Determiner l'origine d'un melange de signaux, c'est un probleme inverse qui s'appelle de la separation de source.

Dans la pratique, on considere presque toujours le probleme de separation en presence de bruit, car c'est ce qui se passe en cas reel.

 

Resoudre un probleme inverse correctement c'est generalement couteux (en temps de calcul et en complexite de parametrage du solveur).

Dans le cas du bruit, tu sais que tu peux en avoir une bonne approximation avec un modele de bruit blanc gaussien additif, c'est ce que la pluspart des algo de debruitage utilisent comme apriori en tout cas.

Dans le cas de la separation de source, tu suppose que tu sais estimer la transformation lineaire (l'algo de rotation) qui te permet de passer d'une image a une autre, et qu'il existe un bruit ajoute sur le resultat (aller tant qu'a faire ce bon vieux bruit blanc gaussien, si tes echantillons sont heteroscedastiques mais que tu connais leur variance t'as droit a un point bonus).

 

Grosso modo tu cherche a resoudre

(A C) * ( + epsilon = acquisition

_______(x)

Si n est la taille de l'image, et k le nombre d'images on a:

A decrit les rotation appliquees aux differentes prises de vue: c'est une matrice de taille kn * n

b l'image finale de-darkee et debruitee que l'on voudrait, donc un vecteur de taille n

x l'image de dark+offset de taille n

C une matrice qui replique x en k exemplaire, donc aussi de taille kn * n

dans la pratique C est un empilement de k matrices n-identite

epsilon est un vecteur contenant le bruit, sa taille est kn

 

Le probleme que je pose ici est une seule possibilite, c'est le plus simple car celui qui propose le moins d'inconnues. En effet on peut aussi vouloir choisir de dedarker/debruiter independamment les k images, et ensuite compositer les resultats avec un estimateur type moyenne/sgima rejection.

 

Si on regarde ce qui se passe, on voit que la largeur de la matrice (A C) te donne la taille de l'inconnue, et que sa hauteur te donne le nombre d'equations.

On voit que le rajout de la matrice C rajoute des inconnus sans rajouter d'equations, dommage.

Par contre, comme l'inconnue est de taille 2n, il suffit theoriquement de seulemt 2 acquisitions avec une transformation entre les deux (dithering) pour rendre le probleme soluble: dans ce cas on a kn=2n et la matrice (A C) est carree.

 

Mais au niveau statistique tout le monde sait que 2 acquisitions c'est pas terrible pour augmenter son rapport signal/bruit

 

EDIT: j'ai enleve quelques commentaires car il n'avaient pas forcement de sens suivant le probleme choisi

 

Pour resoudre ce probleme, dans la pratique on va pas faire les foufous, mais utiliser un moindre carre, donc plutot considerer le probleme

min ||(A C) ( - acquisition||^2

____||_____(x)___________||

 

On pourrait s'interesser maintenant prendre une approche plus "realiste" et s'interesser au conditionnement de (A C)^t (A C) plutot que de compter betement le nombre d'equations/d'inconnus.

 

A vu de nez, je dirais que si A represente un groupe de transformations differentes (rang eleve) ca devrait pas trop mal se passer car C a une structure sympa MAIS

si tu ne fais que des rotations (pas de translation) le pixel du milieu se retrouve un peu ni*** et le conditionnement de la matrice va exploser.

Avec les mains je dirai qu'utiliser un max de transformations differentes va avoir tendance a distribuer les valeurs propre de cette matrice autour de quelques valeure pas trop eloignees les unes des autres.

Si l'on choisi juste 2 transformations, on va avoir tendance a obtenir peu de valeurs propre qui totalisent une energie beaucoup plus importante, et donc le conditionnement global devrait etre deteriore.

 

Bref tout ca pour dire que c'est theoriquement possible de resoudre le probleme de compositage sans dark avec les bons outils (j'en garde quelques uns dans ma besace), mais que sa demande de resoudre un probleme plus complique que si l'on connait deja ses darks.

 

J'espere m'atteler a ce projet d'ici quelques temps, faut "juste" que j'arrive a coder l'algo de registration pour modeliser la matrice A correctement.

 

A vous les studios

Modifié 22 septembre 2017 par dolguldur

[_stephane_]

Heureusement que ton message commence par "pour résumer simplement"

 

 

Merci pour tous ces efforts de vulgarisations ....... même si mon petit esprit mathématique a du mal à bien appréhender toutes les notions décrites

J'arrive quand même a saisir les bases

 

 

 

Sur ce, tes équations m'ont donné une soudaine envie ..................... de faire des darks à la pelle

[dolguldur]

Oui, desole pour le contenu un peu velu, mais au moins ca offre un angle de vision mathematique (il peut y en avoir d'autres dont je n'ai pas parle) pour comprendre ce qu'il se passe.

 

Tant que personne n'a fait le test on ne peut pas franchement savoir quelle est la meilleure approche, entre prendre des darks de qualite moyenne (APN a temperature variable) et estimer les darks depuis l'image, sachant qu'on a la encore plusieurs possibilites (estimer un dark maitre pour toute la stack versus un groupe de 10/20 darks differents pour suivre le changement en temperature du capteur durant la nuit).

 

En pratique y a pas mal de parametres qui interviennent:

-melange de bruit poissoniens et gaussien

-variabilite des dark selon les images

-role de l'algorithme d'interpolation lorsque l'on fait le re-echantillonage des images sur une grille commune

- ...

 

Des que j'ai un peu plus de temps, je pense veritablement m'atteler au probleme pour voir si on peux gagner quelque chose en dithering tilt sur des acquisitions couleur non refroidies (type APN). Je compte pour cela etudier les sources de Siril, qui est une mine d'informations interessante.

Si ca marche c'est jackpot car on aurait un algo mathematiquement elegant car capable de resoudre plusieurs probleme en meme temps automatiquement (debruitage des dark+ debruitage/compositage des images).

 

Question subsidiaire, toute bete connaissez-vous un logiciel astro qui permette de gerer des defectmap en plus des dark ?

Modifié 22 septembre 2017 par dolguldur

[lock042]

Siril repère les pixels défectueux dans le master dark et les corrige lors du pré-traitement (c'est ca que tu appelles le defectMap ?).

Cependant, on peut aussi lui associer un outil de detection automatique des pixels défectueux.

[Fred_76]

Iris le fait aussi avec le traitement "cosmétique".

 

DSS le fait automatiquement.

 

Pixinsight le fait aussi (de plein de façons différentes).

[Fred_76]

Le signal utile des photos est dégradé par plein de bruits et signaux parasites. Les principaux qui relèvent du capteur sont :

- le bruit de lecture (read out noise ou shot noise) : complètement aléatoire d'une photo à l'autre, même s'il peut prendre un aspect de bandes plus ou moins sombres. On le traite

- le signal thermique : proportionnel au temps de pose, et varie exponentiellement avec la température.

- les pixels déviants, morts ou chauds : dont la réponse n'est pas proportionnelle à l'illumination, et souvent très dépendante de la température.

 

Le signal thermique ne dépend que de la température et du temps de pose. Rien n'empêche donc de corriger une photo avec un dark effectué avec un autre temps de pose et température. Mais il faut au préalable avoir déduit l'offset. Les logiciels assez évolués (Iris, Pixinsight...) le font très bien.

 

Avec le bruit de lecture qui indépendant du temps de pose et (presque) de la température, on peut préparer un offset maître qu'on pourra utiliser pendant quelques mois voire années. Sur mon 1000D j'ai regardé les offsets que j'avais pris pendant 4 ans et noté aucune évolution du niveau de bruit. Donc les offsets sont très stables.

 

Les pixels déviants sont plus problématiques. Il y a les pixels morts (toujours éteints) et chauds (toujours saturés). Ceux là sont vite retirés avec le traitement cosmétique. Mais les pixels intermédiaires ont une réponse qui dépend non seulement de la température mais aussi de l'illumination : un dark ne verra rien (pas de lumière) surtout s'il fait froid. Il faudrait faire un "presque dark" pour les débusquer. C'est pourquoi il existe des algorithmes spéciaux dans PixInsight & co. pour retirer ces pixels déviants.

 

Pour en revenir à l'objet de ce fil de discussion, croiser des images à 180° ne va rien arranger. Au mieux on réduit un chouya le bruit. Il est bien plus utile de faire le prétraitement DOF classique.

[Thierry Legault]

La question porte sur les prétraitements, qui sont destinés (hors flat) à éliminer des signaux : signal d'offset et signal thermique. Donc je ne vois pas très bien pourquoi les bruits sont évoqués dans ce fil

 

L'idée n'est pas idiote je trouve, mais dans la pratique je pense que ça va poser pas mal de problèmes.

 

Pour l'offset, deux cas. Soit l'offset est bien plat, sans zone brillantes et sans stries (cas de l'APN sans électroluminescence), dans ce cas on peut déjà le remplacer par une image "constante" à la valeur moyenne de l'offset. Je fais ça souvent avec mon 6D, avec un offset constant à 2048. Soit l'offset n'est pas plat ou comporte des colonnes ou lignes proéminentes (banding typique sur certains CMOS, ou offset avec gradient sur caméra CCD à lecture lente), dans ce cas il faut absolument un offset et j'ai peur que combiner deux séries d'images dont l'offset "penche" dans un sens donné puis à 180° va donner des choses ingérables au niveau traitement et fond de ciel.

 

Pour le dark, on peut penser que ça va marcher si les pixels chauds sont très peu nombreux et avec un algo de combinaison par réjection (médiane, sigma clipping), sinon après rotation à 180° certains pixels chauds de la série 1 vont se mélanger avec d'autres de la série 2 et ça va être un beau bazar aussi.

 

Le dithering c'est un décalage aléatoire de quelques pixels, pas besoin de faire une rotation de 180°. Mais ça ne remplace pas les prétraitements, ça les complète.

 

Modifié 22 septembre 2017 par Thierry Legault

[lock042]

Pré-traiter une image ne réduit pas son bruit. Au contraire cela en rajoute (c'est pour cela d'ailleurs qu'on fait plein de dark ou d'offset pour minimiser l'ajout de bruit). C'est un signal qu'on enlève.

[TIbasic]

Je pense que ça serait beaucoup plus clair pour les photographes si la fonction bien connue dans leur apn "réduction du bruit pose longue" s'appelait "augmentation du bruit pose longue avec réduction des pixels déviants" !

Modifié 22 septembre 2017 par TIbasic

[Thierry Legault]

Je pense que ça serait beaucoup plus clair pour les photographes si la fonction bien connue "réduction du bruit pose longue" s'appelait "augmentation du bruit pose longue avec réduction des pixels déviants" !

 

oui ! Surtout que cette fonction, mine de rien, augmente de bruit de lecture de 40% (combinaison de 2 images => multiplication du bruit par racine de 2)

[lock042]

Je pense que ça serait beaucoup plus clair pour les photographes si la fonction bien connue dans leur apn "réduction du bruit pose longue" s'appelait "augmentation du bruit pose longue avec réduction des pixels déviants" !

 

Tu feras pas commercial toi

[TIbasic]

oui ! Surtout que cette fonction, mine de rien, augmente de bruit de lecture de 40% (combinaison de 2 images => multiplication du bruit par racine de 2)

 

J'ai fait le test une fois sur une photo one shot de la VL, le carnage ! Je préfère supprimer à la main les deux où trois pixels qui se voient sur l'image, surtout qu'avec les boitiers récents, sur une pose de 30s en paysage nocturne, faut les traquer les pixels chauds et morts !

[TIbasic]

Tu feras pas commercial toi

 

Je me suis imaginé vendeur à la fnac une fois...

 

"Mais n'achetez pas ça la bonsang, regardez, pour 700€ au lieu de 1000, d'occasion comme neuf avec boite et facture, encore sous garantie !"

 

"L'extension de garantie sur le boitier là ? AHAHAHA ! Ça va vous couter 300 balles maintenant pour garantir une opération de la seule pièce qui peut lacher qui n'arrivera sans doute JAMAIS mais qui au pire vous aurait coûté 450 boules de votre poche, faut pas être c** !"

 

"Ce PC ? Nan mais soyons sérieux, vous allez le prendre tout monté comme ça ?"

 

Tu me diras, les vendeurs, ils pensent exactement ce que je viens de dire, ils peuvent juste pas te le dire... :/

[_stephane_]

Merci à tous les intervenants sur ce fil, avec :

 

dolguldur, Thierry, Fred et lock042 dans le rôle du bruit

TIbasic dans le rôle du pixel déviant

 

 

J'ai maintenant tout compris grâce à votre subtile mise en scène

[_stephane_]

Plus sérieusement, merci à tous les intervenants pour avoir pris la peine de donner un peu de votre temps en partageant vos connaissances

 

C'est toujours agréable d'apprendre et partager avec des passionnés comme vous

[litobrit]

Mais il peut être utile de faire des poses équilibrées de chaque coté du méridien.

Avec une monture allemande.

Les poses sont inversées de 180°. Ca tombe bien c'est comme cela que l'on obtient le plus de temps de pose par nuit.

Avec un algorithme de rejection adapté par exemple sigmaclipping cela permet d'atténuer certains défauts sur le signal utile par exemple réduire les effets sur les étoiles d'un tilt.

[TIbasic]

Merci à tous les intervenants sur ce fil, avec :

 

dolguldur, Thierry, Fred et lock042 dans le rôle du bruit

TIbasic dans le rôle du pixel déviant

 

 

J'ai maintenant tout compris grâce à votre subtile mise en scène

 

J'espère que tu vas faire une moyenne, si tu fais une médiane, je dégage !