divers Prétraitement optimisé - PixInsight.fr

[Aware]

Salut,

 

Ca peut paraître évident pour certains mais je ne trouve pas de réponses qui me conviennent sur le net.

Sur cette page: http://www.pixinsight.fr/pretraitementccd.html

 

Il est dit qu'il faut ajuster les sigma High et Low et faire des tests (Cf. "2. Génération des Master BIAS").

 

Mais faire des tests dans le but d'obtenir quoi exactement ?

 

Les rejections High et Low les plus basse ?

Les rejections High et Low et plus haute ?

...?

 

(Je prend l'exemple des Master Bias mais c'est valable aussi pour les autres étapes de traitement.)

 

 

Une 2ème question:

Les Bias doivent être fait à la même température que la température d'acquisition ?

Je pensais que la température n'avait pas d'importance pour les bias.

 

 

Merci d'avance

Modifié 21 janvier 2013 par Aware

[Tiflo]

Bonjour,

Pour un master offset, pas besoin de t'embêter avec les rejections. Il suffit d'en faire un grand nombre pour avoir une bonne stat lors de l'addition sigma-clipping (tu me diras ça fait une rejection aussi ... ).

Pour le reste je ne connais pas le prétraitement avec Pixinsight.

 

Il faut faire les darks et les offsets à la même température sans quoi la correction ne sera pas bonne.

 

Les Bias doivent être fait à la même température que la température d'acquisition ?

Il faut faire les darks et les offsets à la même température sans quoi la correction ne sera pas bonne.

La preuve par l'image ici (l'offset est un master de 1000 images) :

Dark de 10min à -35°C avec un offset à -20°C soustrait (température différente)

 

Dark de 10min à -20°C avec un offset à -20°C soustrait (même température)

Modifié 21 janvier 2013 par Tiflo

[vincent14]

Salut,

 

Ca peut paraître évident pour certains mais je ne trouve pas de réponses qui me conviennent sur le net.

Sur cette page: http://www.pixinsight.fr/pretraitementccd.html

 

Il est dit qu'il faut ajuster les sigma High et Low et faire des tests (Cf. "2. Génération des Master BIAS").

 

Mais faire des tests dans le but d'obtenir quoi exactement ?

 

Les rejections High et Low les plus basse ?

Les rejections High et Low et plus haute ?

...?

 

(Je prend l'exemple des Master Bias mais c'est valable aussi pour les autres étapes de traitement.)

 

 

Une 2ème question:

Les Bias doivent être fait à la même température que la température d'acquisition ?

Je pensais que la température n'avait pas d'importance pour les bias.

 

 

Merci d'avance

 

La logique est d'empiler sans rejection pour noter les estimations calculées de rapport signal/bruit. Puis de changer les paramètres de rejection sigma pour garder le meilleur chiffre de RSB en eliminant les pixels chauds et froids résiduels du prétraitement mais aussi des pixels sans infos qui sont invisibles sur l'image.

 

Par exemple dans ma NGC 891 récement avec 145 poses de 1 min à l'hyperstar les chiffres de rejection étaient haut en linea fit clipping aux alentours de 7 en pixels froid et 8,5 en pixel chauds. Avec moins de poses exemple 25 poses les sigma sont le plus souvent de 4à 5. Le taux de pixels à rejeter vari de 0 % à 0,3% mais là encore pas de rectte chaque image est unique.

 

Dans le cadre des masters l'opération est la même mais il n'est par rare en pratique de garder presque tous les pixels.

 

En pratique j'ai fais un masterbias avec 200 pose à -17, -25 et -35 qui correspondent aux principaux palier de temperature avec ma CCD.

Les masterdark aux memes temperatures avec 50 à 80 poses.

 

CCD1024 nous a "promis" de nouveaux modes d'empilement avec la version 1.8 de pixinsight au stage AIP de Besançon, affaire à suivre....

 

Que l'on me fouette si je dis des bêtises !!!!:D

 

Salut vincent

Modifié 21 janvier 2013 par vincent14

[Aware]

Ok, je comprend maintenant.

Mes offsets sont à 20°c alors que ma cam est à -30 la plupart du temps.

Je comprend pourquoi je voyais plein de mauvais trucs sur mes images...

 

Je vais regarder les effets du sigma clipping sur mes prochaines images.

Va falloir que j en retraite quelques unes...

 

Merci pour ces infos précieuses.

À plus.

[teddelyon]

??? Je croyais que les offsets servaient uniquement à soustraire le "bruit de lecture" du capteur ? Donc pour moi ils ne contiennent pas de signal thermique à proprement parler et peuvent donc être réalisés n'importe quand ?

[vincent14]

Je ne suis ni physicien ni electronicien mais il me parait logique que l'"activité" electronique soit toujours dépendante de la temperature ambiante (comme tout phénomène se produisant au dessus du zero absolu).

 

L'offset à un temps de pose, en tout cas pour l'APN : 1/8000 5D2 ou 1/4000 1000D c'est sur.

 

Pour la CCD la durée de pose est elle nulle ? ça m'étonnerait... mais je ne sais pas . Ca depent surement aussi beaucoup des caractéristiques de la camera, courant d'obscurité ? et bruit de lecture ? sont des caracteristique à prendre en compte à l'achat.

 

En tout cas comme le dit tiflo on voit la différence quand l'offset est bien caractérisé avec pleins de poses. Il est vital, il rentre dans le prétraitement de toutes les images de calibration et des masters, il faut le soigner ++.

 

je suis d'accord que pour le commun des traitements ça peut paraitre inutile ou abstrait, j'ai parfois pas fais d'offset à l'APN, puis des offset à 25 degré pour des poses à - 10, c'est moins bien.

 

A plus !

Modifié 21 janvier 2013 par vincent14

[teddelyon]

Je n'ai pas dit que l'offset était inutile, loin de moi cette idée

 

Faire un offset maître avec plein de poses est essentiel pour moyenner le bruit de lecture à soustraire aux images, darks et flats, là on est d'accord.

 

Par contre, je pensai que la très courte durée de pose des offsets permettait de caractériser uniquement un "bruit de lecture" indépendamment donc de toute température... le bruit thermique doit être vraiment négligeable et je pense que plus que la température de prise des offsets, c'est plutôt le nombre d'images à moyenner qui doit faire la qualité d'un offset maître ? Bon, en même temps, on peut se permettre de les refaire à chaque séance vu le temps que ça prend...

 

Je serais quand même curieux de savoir ce que pense Thierry LEGAULT de l'influence de la température sur les offsets surtout niveau du résultat final ?

[yaplusdenuit]

??? Je croyais que les offsets servaient uniquement à soustraire le "bruit de lecture" du capteur ? Donc pour moi ils ne contiennent pas de signal thermique à proprement parler et peuvent donc être réalisés n'importe quand ?

 

Bonjour teddelyon

Aucune image de correction ne peut servir à soustraire le bruit, au contraire elle ne fait qu'en ajouter.-

-on ne peut soustraire le bruit puisqu'on ne peut pas l'enregistrer, car il est aléatoire (par définition je dirais presque) - ce serait trop facile.

Seule l'augmentation de la durée totale de pose permet de réduire le bruit aussi bien sur l'image de l'objet que sur les images de correction.

Le role des darks et offsets est uniquement de supprimer, par soustraction , les signaux parasites (signal de lecture pour l'offset) - en aucun cas ils ne réduisent le bruit de l'image de l'objet .

 

Un lien si tu veux en savoir plus:

http://astro38.free.fr/yaplusdenuitflash/photographie-ciel-profond.pdf

 

vois en particulier pages 2 et 6

 

Bon ciel, je crois qu'on est un peu voisin

[Aware]

TeddeLyon, je suis d'accord avec les autres.

 

Je l'ai observé plusieurs fois sur mes images, particulièrement quand le nombre de poses est faible.

J'avais fait un test de 5x5min sur IC434 pour régler mon problème de tilt, regarde les lignes horizontal au dessus et sur le cheval:

 

 

 

Elles sont identiques à ce que Tiflo disait:

(...)

La preuve par l'image ici (l'offset est un master de 1000 images) :

Dark de 10min à -35°C avec un offset à -20°C soustrait (température différente)

(...)

 

 

Va falloir que je la finisse cette tête d'ailleurs

 

Encore merci pour les infos, c'est pas toujours évident !

A bientôt.

[T350]

Discussion intéressante.

J'y mais mon grain de sel au risque de raconter des bétises (bah, vous me reprendrez...)

La calibration par flat offset et dak n'est pas suffisante pour rattraper tout les défauts des capteurs de classe 2 que nous utilisons. Ce que tu nous montre là resemble à une colonne plus ou moins défectueuse du capteur. Pour cela, il n'y a qu'une solution: le dithering. Ca l'info sur cette ligne est perdue quoiqu'il arrive. En bougeant de quelques pixels enre chaque pose, tu moyenne cela et élimine le problème.

 

a+

[T350]

" Pour la CCD la durée de pose est elle nulle ? ça m'étonnerait... "

 

Vincent,

cela n'a pas vraiment de sens de parler de temps de pose en CCD pour un offset. Le but de l'offset étant de mesurer le bruit de lecture de chaque pixel on ne veut aucun signal thermique provenant des pixels. Donc logiquement, le soft d'acquisition fait une première lecture de la matrice pour la vider, puis une 2éme tout de suite après (tout de suite en temps électronique, c.à.d très vite). Cette 2ème lecture ne contient que le bruit associé au ccd ainsi qu'à l'ampli et au CAD (convertisseur analog digital qui te donne les ADU!) de la matrice.

Tu noteras en passant que seule la T° de la matrice est controlée. La température des composants associés à la lecture est ambiante car ceux-ci résident sur le circuit imprimé et non sur le "doigt froid" du CCD.

 

a+

[Kaidan]

Ce n'est en tout cas pas le logiciel d'acquisition comme tu dis qui fait "une première lecture de la matrice pour la vider, puis une 2ème tout de suite après" : de nombreux logiciels d'ailleurs ne te demande même pas quel type d'acquisition tu veux faire. Si les constructeurs de CCD implémentent quelque chose de spécifique pour les offsets, c'est dans leur driver mais encore une fois j'en doute : un offset est fait au temps de pose minimal possible (qui est souvent de 0s (un cycle d'horloge interne) sur les CCD (obturateur mécanique fermé ou obturateur électronique)).

 

Concernant cette histoire de température, effectivement uniquement la température du CCD est contrôlée, avec une puissance plus ou moins importante du système de cooling en fonction de la température extérieure. Tous les autres composants sont à température ambiante et je remarque effectivement quelques différences pour une température ambiance de delta 30°C (cooling à 10% d'un côté, 85% de l'autre) avec pourtant un capteur à la même température ... peut-être un soucis de ma CCD ?

[teddelyon]

Bonjour yaplusdenuit

 

Bon ciel, je crois qu'on est un peu voisin

 

Alors s'il te plaît ne me souhaite pas "bon ciel" (tu n'as pas honte de te moquer )

 

Bon, sans vouloir polémiquer (au passage j'ai mis ta page en favoris, elle est très bien faite), je te cites donc "Plusieurs photos dans l'obscurité avec temps de pose le plus court possible (1/4000)

Meme réglage de sensibilité que pour les images de l'objet.

Contient les signaux de précharge du capteur, et le bruit de lecture.

On additionnera les images d'OFFSET (pour réduire le bruit de lecture) pour constituer l'OFFSET

maitre."

 

Je cites maintenant Thierry LEGAULT, ayant la chance d'avoir acquis son excellent bouquin (page 32) : "Une image d'offset est généralement uniforme mais, lorsque les seuils et niveaux sont fortement resserrés, une trame peut s'y former, en plus du bruit de lecture [...] tant que ces figures se reproduisent à l'identique d'une image à l'autre, elles ne posent pas de problèmes car on peut les soustraire. Mais si elles varient en intensité ou en position, PAR EXEMPLE A CAUSE DE CABLES DEFECTUEUX OU D'UNE SOURCE DE PARASITES SITUEE A PROXIMITE DE L'APPAREIL OU DANS CELUI CI, LES CHOSES DEVIENNENT PLUS DELICATES CAR (ELLES) RISQUENT DE SUBSISTER AU PRETRAITREMENT"

 

Je vois 2 choses dans ce que dis Thierry, premièrement l'image d'offset contient le bruit de lecture, l'offset maître est donc là pour réduire le bruit de lecture sur toutes nos images (bruts, darks, flats) par soustraction, effectivement, en augmentant le nombre d'images, on augmente le RSB donc en gros l'efficacité du prétraitrement.

 

Je vois également qu'il évoque ces fameuses trames, pour lui leur variation n'est pas la température (la très courte pose n'induit pas un bruit thermique suffisant pour que celui-ci prenne le pas sur le bruit de lecture) mais plutôt les parasites...

 

Je vois donc (peut-être) un début d'explication, je ne sais pas si vos caméras sont refroidies ou non mais la différence de comportement du module peltier en fonction de la température extérieure pourrait peut-être induire ces variations, si elles sont "reproductibles" à une température donnée, l'acquisition des offsets devrait donc être effectivement réalisée à cette température... l'explication de Kaidan est très intéressante également...

[vincent14]

Navré d'avoir un avis d'utilisateur et pas d'expert, ce serait bien que l'un d'eux s'exprime:rolleyes:, c'est juste pour mourrir moins bête......

 

En pratique je garde mes offsets CCD aux 3 paliers de temperature -35/-25/- 17 qui correspondent aux capacitées usuelles de mes CCD SX selon les saisons avec 200 unités pour chaque masterbias. C'est pas bien long à faire. Je verifierais parfois sur un offset qu'il n'y a pas de parasites absents sur les images de l'offset maitre.

 

Sur l'APN, la sonde de temperture incluse dans mon 5D2 montre bien que le CMOS chauffe avec une variation de 3 à 5 degrés pendant que les acquisitions s'accumulent (mêmes les bias et les darks dans le frigo, la rigueur excessive me semble bien vaine....).

 

Je retiens pour la théorie sur les offsets :

 

* Le temps de pose pour l'offset ccd est un non-sens:confused:.

 

* L'incidence de la température sur la lecture de la ccd en tant que tel est probablement insignifiante mais peut-etre pas sur le traitement du signal par l'electronique de nos CCD qui sont peuvent etre hors zone refroidies avec des disparités selon modèles. Reste a voir si c'est caracterisable pour sa ccd selon la temperature.

 

* Il est bons de verifier la constance de l'image d'offset dans une série d'image (avec histogramme resseré++) pour s'assurer de l'absence de parasites actifs rapport au images constituant le master-offset.

 

* Refaire des series après quelques mois (?) d'utilisation d'un offset car l'imageur viellis (capteur lui même et/ou reste de l'appareil) d'autant plus après l'apparition grossière d'une anomalie evidente (colonne defecteuse).

[teddelyon]

Merci Vincent pour ton retour d'utilisateur !

 

Concernant les APN, j'avais lu quelque part (où ?) qu'il était effectivement bon de se refaire un offset maître de temps en temps, peut-être pas trop souvent car une centaine voire plus de mouvements de miroirs/obturateur à chaque séance vont probablement signifier un vieillissement prématuré de l'apn (surtout les entrées de gamme) pour un gain me semble-t-il limité...

 

Là encore, des avis d'experts pourraient nous renseigner sur l'utilité ou non d'offsets à chaque séance / plage de température concernant les apn/ccd ...

[Tiflo]

Bon à lire pour les offsets :

http://canburytech.net/QSI532/BiasFrames.html

 

Je vois 2 choses dans ce que dis Thierry, premièrement l'image d'offset contient le bruit de lecture, l'offset maître est donc là pour réduire le bruit de lecture sur toutes nos images (bruts, darks, flats) par soustraction, effectivement, en augmentant le nombre d'images, on augmente le RSB donc en gros l'efficacité du prétraitrement

 

Absolument toutes les images contiennent le bruit de lecture, l'offset pas plus qu'une autre.

ON NE REDUIT PAS UN BRUIT, je sais pas combien de fois il faut le répéter.

Il faut vraiment raisonner en terme de rapport signal sur bruit. On augmente le rapport signal sur bruit, c'est à dire que le signal augmente plus rapidement que le bruit. ça se passe évidemment comme-ci le bruit diminuait, mais cette approche apporte visiblement plus de confusions qu'autre chose (réduire le bruit, soustraire le bruit, etc ...).

 

Quand on moyenne les offsets pour fabriquer un "master offset", le but est d'augmenter le rapport signal sur bruit pour isoler au mieux le signal d'offset du bruit de lecture.

Soustraire l'offset maître à l'image brute ne diminue en aucun cas le bruit de lecture.

Soustraire/additionner/diviser une image par une autre augmente forcement le bruit de l'image finale, car quoi que tu fasses, les bruits s'ajoutent de manière quadratique.

C'est donc principalement pour limiter l'ajout de bruit lors du prétraitement que l'on va venir moyenner nos darks/flats/offsets.

Un exemple d'addition des offsets pour isoler le signal :

http://tifloastro.free.fr/nbredoffset.jpg

 

Dire que l'offset ne contient pas de signal thermique n'est pas tout à fait vrai.

Pour une CCD notamment, le temps de lecture n'est pas nul (20s sur mon 8300 ici).

Pendant ce temps le courant d'obscurité continu de s'accumuler dans les pixels, d'où un morceau d'explication du gradient qui apparait sur les images entre le premier pixel lu et le dernier.

Modifié 22 janvier 2013 par Tiflo

[teddelyon]

D'accord, je commence à piger !!! C'est plus complexe que ce que je pensai jusqu'à présent (et en même temps plus logique) !!!

 

Peux-tu me dire si c'est ok : Il n'est pas juste de parler uniquement de "bruit de lecture" pour un offset ? Ce qui nous intéresse dans l'offset est alors le "signal de lecture" (la signature de l'imageur ?) qui lui est toujours identique, pour le soustraire des autres images ? On moyenne les offsets pour moyenner le bruit de lecture et ainsi augmenter le rapport signal sur bruit de l'offset maître afin, lors du prétraitement, de soustraire le plus possible ce signal sans trop faire monter le bruit global ?

[Tiflo]

Oui c'est ça.

[vincent14]

Bon à lire pour les offsets :

http://canburytech.net/QSI532/BiasFrames.html

 

Merci tiflo !!

[T350]

"Pour une CCD notamment, le temps de lecture n'est pas nul (20s sur mon 8300 ici)."

Tiflo, Cela me semble un peu long comme temps de lecture de la matrice.surtout pour une matrice sans diaphrame mécanique (à moins que la 8300 soit interligne), ce que je ne cois pas. Es tu sûr que ton image n'est pas mise en mémoire embarquée sur la caméra, et que c'est le temps de transfert par l'USB sur ton PC depuis cette mémoire?

 

Kaidan,

les pixels, que l'on peut assimiler à des seaux, vont se remplir d'électrons grâce au signal thermique, sommes nous d'accord? Donc, il est impératif de vider les seaux avant une lecture d'offset comme avant tout autre prise de vue ou dark, sinon, tu va prendre en compte ce qu'ils contiennent déjà. Mais je pense que tu as raison, le soft embarqué doit le faire dés que la caméra doit faire une lecture.

 

a+

[Tiflo]

Tiflo, Cela me semble un peu long comme temps de lecture de la matrice.surtout pour une matrice sans diaphrame mécanique (à moins que la 8300 soit interligne), ce que je ne cois pas. Es tu sûr que ton image n'est pas mise en mémoire embarquée sur la caméra, et que c'est le temps de transfert par l'USB sur ton PC depuis cette mémoire?

 

Non, sur les QSI500, pour limiter le bruit, ils réduisent la vitesse à 400.000 pixels par seconde (2x plus rapide sur la série 600), donc il faut bien 20s pour le lire de bout en bout + 1s pour le download.

L'usb n'est pas limitant, un raw d'APN de 15Mpx, ça prend moins d'une seconde, je doute que ce soit aussi rapide sur ta 11K ?

Modifié 22 janvier 2013 par Tiflo

[Aware]

Bah, ça me parait énorme aussi !

 

Sur l'Atik 4000 le temps d'exposition minimale est de 0,001sec et le chargement prend 5sec environ en bin 1.

[Kaidan]

Je confirme ce que dit Tiflo : la durée de lecture du 8300 est longue : 20s sur la QSI583, 12s sur la ATIK 383L+. Exposition minimale, obturateur ouvert, 0.02s.

[Didou]

??? Je croyais que les offsets servaient uniquement à soustraire le "bruit de lecture" du capteur ? Donc pour moi ils ne contiennent pas de signal thermique à proprement parler et peuvent donc être réalisés n'importe quand ?

 

Le signal d'offset est influencé par la consommation électrique , donc si tu n'as pas les même conditions (courant du peltier par exemple à cause de T° différente) alors ton offset n'est pas parfaitement le bon.

 

J'avais fait une étude de l'offset lors de l'arrivée de mon ATIK

http://www.webastro.net/forum/showthread.php?t=78719&page=4

 

Ma conclusion de l'époque était que les offset, faut en prendre un max (plus de 100 et à basse T°

[teddelyon]

Ok !

[vincent14]

Pour etre complet, un lien vers une discussion en face sur les bias :

http://www.astrosurf.com/ubb/Forum3/HTML/036672.html

 

Bon ciel et bon traitements

[teddelyon]

Pour etre complet, un lien vers une discussion en face sur les bias :

http://www.astrosurf.com/ubb/Forum3/HTML/036672.html

 

Bon ciel et bon traitements

 

Pfouuuuuuuuuuuuuuuuuuuuu Comme quoi c'est pas simple l'histoire !!! tiens faut que j'essaye les darks de flats pour voir !!!

[TeBilePas]

Hello à tous,

 

je tombe sur ce post suite à une autre discussion. Si je comprends bien, en soustrayant l'offset maître, on cherche à soustraire le signal induit par la lecture elle-même ? Et on fait un grand nombre d'offset pour construire l'offset maître afin d'obtenir un meilleur rapport S/B de ce signal de lecture ? Mais ce faisant, on augmente bel et bien le bruit sur l'offset maître (même si on augmente le rapport S/B), non ?

 

Mais alors, est-ce que la règle simple que je pensais qui est de faire un max d'offset est un peu trop simple en ce sens que si je fais 1000 offsets, j'aurai un meilleur rapport S/B dans mon offset maitre mais que le bruit sera également plus élevé et que dès lors je soustrairai plus de bruit de mes shoots (light) donc que j'en dégraderai le rapport S/B ?

 

Désolé si ma question est bête, mais plus j'avance moins ce que je dois faire me parait clair, et vu le peu de nuit exploitables, j'essaie de comprendre le mieux possible pour progresser le plus vite possible et expérimenter les choses les plus intéressantes possibles.

 

Est-ce qu'il y a des mesures ou expérimentations que je peux faire "hors nuit exploitable" pour déterminer la meilleure approche avec mon matériel ?

 

Merci d'avance !