Prétraitement : Siril, Pix FBPP et WBPP

[krotdebouk]

Salut,

Dans un autre post, j'ai écrit : Ce week-end, j'avais à prétraiter 1530 images issues d'un IMX571-C (51 Mo pièce). Vu ce que j'avais l'habitude de lire, je me suis résolu à passer par Siril pour le prétraitement. Les brutes étaient sur un SSD externe, ça m'a demandé un peu plus de 50 minutes par paquet de 300 images. Ce matin après avoir fait marcher mon intelligence, j'ai refait le prétraitement d'un paquet de 300 brutes avec FBPP de Pix (Fast Batch PréProcessing). Moins de 30 minutes.. mais les brutes étaient sur un SSD interne de mon PC Fixe. Je me suis dit qu'il pourrait être intéressant de refaire le prétraitement du même paquet de 300 brutes avec les mêmes DOF et dans les mêmes conditions (même SSD de travail) avec Siril, FBPP et deux paramètres de WBPP puis de comparer ce qui devient comparable.

 

Me voila donc avec 4 stacks de 300 images, 51 darks, 101 biases et 31 flats prises avec un C9XLT et Player One Poseidon-C (IMX571-C). Une est issue du script OSC_Preprocessing de Siril, les trois autres sont issues de PIx avec les scripts Fast Batch PréProcessing (FBPP), WeightedBatchPreProcessing presets "Maximum quality with no compromises" et "Faster with good quality". Visuellement juste avec un STF, ça se ressemble bien.

 

Un zoom pour voir le bruit, ça se ressemble toujours pas mal.

 

Puis quelques chiffres issus du process Statistics et du script Image Analysis FWHMEccentricity

 

Maintenant je n'ai pas les connaissances suffisantes pour analyser tout ça mais j'ai l'impression que le script de Siril et FBPP de Pix ne sont pas bien loins l'un de l'autre. WBPP serait légèrement mieux sur certains points mais faut pas être pressé..

Ma conclusion rapide serait qu'il faudrait plutôt comparer Siril et Pix/FBPP sur la durée de prétraitement, pas avec WBPP. Me trompe-je ?

 

Si ça vous dit, le fichier Excel est là :

Pretraitement SIril & Pix.xlsxFetching info...

Modifié 17 février par krotdebouk

[nico1038]

  Le 17/02/2025 à 19:05, krotdebouk a dit :

Ma conclusion rapide serait qu'il faudrait plutôt comparer Siril et Pix/FBPP sur la durée de prétraitement, pas avec WBPP. Me trompe-je ?

Voir davantage  

 

Je pense que tu es dans le vrai: les algorithmes et étapes utilisés par Siril (en particulier avec ses scripts) sont en effet plus proche de ce qui est fait dans FBPP. On évite notamment certaines étapes très longues comme LocalNormalisation.

 

Pour ton traitement en plusieurs paquets, pour obtenir des paquets de qualité équivalente et éviter de perdre de l'information quand tu les intègres il faudrait repartir les images successives dans les différents paquets.

 

Paquet 1: Images 1,5,9,13,...

Paquet 2: Images 2,6,10,...

Paquet 3: Images 3,7,11,...

Paquet 4: Images 4,8,12,...

 

Ça peut faire une différence significative si la qualité des images a varié lors de la soirée. 

 

 

[krotdebouk]

  Le 17/02/2025 à 21:23, nico1038 a dit :

Je pense que tu es dans le vrai: les algorithmes et étapes utilisés par Siril (en particulier avec ses scripts) sont en effet plus proche de ce qui est fait dans FBPP. On évite notamment certaines étapes très longues comme LocalNormalisation.

Voir davantage  

Probablement pour FBPP et Siril mais pas que.. J'ai aligné mes 4 images, je les ai cropées à l'identique pour virer les étoiles étirées en bord de champ (télescope SCT non Edge) afin de partir de 4 images aux mêmes dimensions.

 

Un passage dans SubframeSelector car il me manquait des valeurs qui sont finalement celles qui m'importent le plus, FWHM, Eccentricity, SNR et Noise. Puis Excel avec ses graphiques pour visualiser rapidement le truc.

 

la durée de prétraitement, l'excentricité des étoiles et leur FWHM c'est quasi pareil.

Par contre il se passe quelque chose au niveau du SNR et du bruit. C'est sensiblement moins bruité sur l'image issue de Siril et la valeur du SNR de la même image est meilleur.

 

Mais bon, pour moi ce qui compte c'est l'image que je vais pouvoir tirer de tout ça. J'ai appliqué les mêmes traitements rapides aux 4 images avec les mêmes paramètres : GradientCorrection, Calibration des couleurs (SPCC), BXT aux valeurs par défaut et une montée d'histogramme auto par StatisticalStretch (0.03 pour ne pas tout cramer).

 

Siril/FBPP

 

FBPP/WBPP Maximum Quality

 

Franchement, les différences sont subtiles mais c'est un peu plus détaillé sur l'image FBPP que sur celle de Siril. Je pense que le niveau de bruit plus bas est en fait la conséquence d'un débruitage un peu plus fort dès le prétraitement. La conséquence est une valeur de SNR (S/N) plus élevée.. puisque N est plus petit et ça se paye un peu ensuite quand on gratouille les détails.

 

Voilà pour moi et c'était juste pour vous signaler que si vous avez Pix, FBPP est probablement aussi performant si ce n'est mieux que le script Siril, en durée d'intégration comme pour la suite.

Quant à WBPP vs FBPP, je reste dubitatif..

 

Edit pour finir, la version FBPP à 300 images traitée

Modifié 18 février par krotdebouk

[180Vision]

Belle analyse JM, certainement à répéter sur des couche L mono pour avoir une étude suffisemment assise.

...et qui plus est...avec en face la version Siril DEV 1.3.6 (future 1.4).

 

En fait, ce qui est top dans Siril, c'est son utilisation avec Sirilic aussi...ça en fait qqc d'assez facile à réutiliser/compléter/reprendre.

 

Mais je ferai surement comme toi un test avec FBPP car j'avoue que j'avais laissé WBPP de coté étant donné que je n'y gagnais vraiment pas grand chose...hormis...un temps de traitement improbable....

 

[nico1038]

  Le 18/02/2025 à 11:13, krotdebouk a dit :

Probablement pour FBPP et Siril mais pas que.. J'ai aligné mes 4 images, je les ai cropées à l'identique pour virer les étoiles étirées en bord de champ (télescope SCT non Edge) afin de partir de 4 images aux mêmes dimensions.

 

Un passage dans SubframeSelector car il me manquait des valeurs qui sont finalement celles qui m'importent le plus, FWHM, Eccentricity, SNR et Noise. Puis Excel avec ses graphiques pour visualiser rapidement le truc.

 

la durée de prétraitement, l'excentricité des étoiles et leur FWHM c'est quasi pareil.

Par contre il se passe quelque chose au niveau du SNR et du bruit. C'est sensiblement moins bruité sur l'image issue de Siril et la valeur du SNR de la même image est meilleur.

 

Mais bon, pour moi ce qui compte c'est l'image que je vais pouvoir tirer de tout ça. J'ai appliqué les mêmes traitements rapides aux 4 images avec les mêmes paramètres : GradientCorrection, Calibration des couleurs (SPCC), BXT aux valeurs par défaut et une montée d'histogramme auto par StatisticalStretch (0.03 pour ne pas tout cramer).

 

Siril/FBPP

 

FBPP/WBPP Maximum Quality

 

Franchement, les différences sont subtiles mais c'est un peu plus détaillé sur l'image FBPP que sur celle de Siril. Je pense que le niveau de bruit plus bas est en fait la conséquence d'un débruitage un peu plus fort dès le prétraitement. La conséquence est une valeur de SNR (S/N) plus élevée.. puisque N est plus petit et ça se paye un peu ensuite quand on gratouille les détails.

 

Voilà pour moi et c'était juste pour vous signaler que si vous avez Pix, FBPP est probablement aussi performant si ce n'est mieux que le script Siril, en durée d'intégration comme pour la suite.

Quant à WBPP vs FBPP, je reste dubitatif..

 

Edit pour finir, la version FBPP à 300 images traitée

Voir davantage  

 

Merci pour cette analyse. J’avoue ne pas voir de grande différences sur ces screenshots!

 

A mon sens Il n'y a pas réellement de débruitage au moment du prétraitement (ni avec Siril, ni avec Pix). Je crois que les différences subtiles que tu observes sur le bruit et les détails sont probablement dus aux algorithmes d'alignement (et peut être aussi de dématriciage) et à l'interpolation qu'ils entrainent. Il faudrait répéter le test en changeant d'algorithme sur Siril (car dans FBPP je crois qu'on ne peut rien changer).

 

Personnellement après avoir fait quelques tests, je considère que FBPP est complètement valable dès que le nombre d'images à empiler est suffisant et surtout quand on est dans le cas d'un empilement classique. Quand les conditions d'acquisitions sont difficiles avec des gradients qui varient ou avec des problèmes de rejet (type géostationnaire), alors WBPP peut faire une différence significative en proposant des réglages pour gérer ces particularités. Il est également nécessaire de l'utiliser quand on empile des images issues de plusieurs setups car cela necessite alors la prise en compte de la distorsion lors de l'alignement, ce que ne permet pas FBPP.

 

Modifié 18 février par nico1038

[180Vision]

  Le 18/02/2025 à 14:09, nico1038 a dit :

 

Merci pour cette analyse. J’avoue ne pas voir de grande différences sur ces screenshots!

 

A mon sens Il n'y a pas réellement de débruitage au moment du prétraitement (ni avec Siril, ni avec Pix). Je crois que les différences subtiles que tu observes sur le bruit et les détails sont probablement dus aux algorithmes d'alignement et à l'interpolation qu'ils entrainent. Il faudrait répéter le test en changeant d'algorithme sur Siril (car dans FBPP je crois qu'on ne peut rien changer).

 

Personnellement après avoir fait quelques tests, je considère que FBPP est complètement valable dès que le nombre d'images à empiler est suffisant et surtout quand on est dans le cas d'un empilement classique. Quand les conditions d'acquisitions sont difficiles avec des gradients qui varient ou avec des problèmes de rejet (type géostationnaire), alors WBPP peut faire une différence significative en proposant des réglages pour gérer ces particularités. Il est également nécessaire de l'utiliser quand on empile des images issues de plusieurs setups car cela necessite alors la prise en compte de la distorsion lors de l'alignement, ce que ne permet pas FBPP.

 

Voir davantage  

 

Oui, et en effet, dans Siril, l'algo d'empilement/rejet par défaut reste le Winsorized Clipping, mais avec à partir d'un bon nombre d'images (> 50 au moins je crois), il est conseillé d'utiliser Student (Generalized Extreme Studentized)

 

Et pour le coup, dans les versions de pix récentes, il me semble que FBPP utilise de toute façon Student (je l'ai lu qq part il y a quelques semaines...)

 

[nico1038]

  Le 18/02/2025 à 14:14, 180Vision a dit :

 

Oui, et en effet, dans Siril, l'algo d'empilement/rejet par défaut reste le Winsorized Clipping, mais avec à partir d'un bon nombre d'images (> 50 au moins je crois), il est conseillé d'utiliser Student (Generalized Extreme Studentized)

 

Et pour le coup, dans les versions de pix récentes, il me semble que FBPP utilise de toute façon Student (je l'ai lu qq part il y a quelques semaines...)

 

Voir davantage  

 

Avant la version 1.9, WBPP utilisait par défaut GESD à partir de 15 images. C'était d'ailleurs une des raisons qui expliquaient pourquoi WBPP était lent (GESD est très performant pour le rejet mais très lourd). Avec la 1.9 c'est désormais l'algorithme Linear Fit Clipping qui est choisi par défaut à partir de 15 images.  C'est plus rapide mais ça peut valoir le coup de le changer si on un rejet imparfait des pixels déviants.

 

FBPP utilise lui l’algorithme  Winsorized Sigma Clipping

 

C'est aussi pourquoi ces comparaisons sont toujours limités au fait qu'il existe de nombreux réglages et que les valeurs par défaut ne sont pas forcément idéales. D'ailleurs, à mon avis, la meilleure façon de comparer les logiciels entre eux est d'essayer d'utiliser les mêmes algorithmes dans la mesure du possible (il sont souvent disponibles).

 

Mais ici, pour les tests de @krotdebouk, avec des empilements de 300 images, le rejet des pixels déviants n'est pas ce qui fait la différence. C'est plutôt l'alignement qui est en cause à mon avis.

Modifié 18 février par nico1038

[krotdebouk]

  Le 18/02/2025 à 13:11, 180Vision a dit :

Mais je ferai surement comme toi un test avec FBPP car j'avoue que j'avais laissé WBPP de coté étant donné que je n'y gagnais vraiment pas grand chose...hormis...un temps de traitement improbable....

Voir davantage  

On est bien d'accord ! Même entre FBPP et WBPP c'est pas flagrant dutoudutou... Que d'autres Pixinsighteurs fassent le test Siril/FBPP m'intéresse évidemment !

 

  Le 18/02/2025 à 13:11, 180Vision a dit :

En fait, ce qui est top dans Siril, c'est son utilisation avec Sirilic aussi...ça en fait qqc d'assez facile à réutiliser/compléter/reprendre.

Voir davantage  

A un moment avec une 183M j'avais souvent des plantages Sirilic que je ne m'expliquais pas et j'avais déjà remarqué le lissage des images par rapport au traitement manuel Pix. Ca m'arrangeait puisque le bruit était un problème à cette époque. Quand ça voulait bien passer, je ne prétraitais que les RVB et HO. Les L et Ha c'était manuel dans Pix.

J'ai réessayé Sirilic il n'y a pas si longtemps mais vu le nombre de trucs à cocher et à régler avec des valeurs au doigt mouillé j'ai capitulé.. 

 

  Le 18/02/2025 à 14:09, nico1038 a dit :

J’avoue ne pas voir de grande différences sur ces screenshots!

Voir davantage  

Il y a une petite différence quand on les voit directement à l'écran mais je le concède volontiers, c'est subtil. Ca se voit plutôt sur les zones sombres.

Le traitement qui va suivre permettra certainement de rattraper le tout et ça restera de toutes façons subtil.

Merci pour tes précisions sur l'utilisation de FBPP ou WBPP.

 

  Le 18/02/2025 à 14:14, 180Vision a dit :

Oui, et en effet, dans Siril, l'algo d'empilement/rejet par défaut reste le Winsorized Clipping, mais avec à partir d'un bon nombre d'images (> 50 au moins je crois), il est conseillé d'utiliser Student (Generalized Extreme Studentized)

 

Et pour le coup, dans les versions de pix récentes, il me semble que FBPP utilise de toute façon Student (je l'ai lu qq part il y a quelques semaines...)

Voir davantage  

J'ai vu ce weekend qu'il y avait deux nouveaux algos dans Pix (nouveaux pour moi..), GES et Robust Chevenet Rejection. Faudrait passer son temps à faire des tests

 

Quoi qu'il en soit pour moi, Pix est maintenant aussi rapide que Siril pour le prétraitement pour un résultat au moins aussi bon !

[lock042]

A refaire avec la future (proche) version de Siril 1.4. la qualité de la calibration va augmenter sur les images couleur.

De plus avec l'arrivée des scripts python, la souplesse va être énorme.

[180Vision]

  Le 18/02/2025 à 14:49, krotdebouk a dit :

On est bien d'accord ! Même entre FBPP et WBPP c'est pas flagrant dutoudutou... Que d'autres Pixinsighteurs fassent le test Siril/FBPP m'intéresse évidemment !

 

A un moment avec une 183M j'avais souvent des plantages Sirilic que je ne m'expliquais pas et j'avais déjà remarqué le lissage des images par rapport au traitement manuel Pix. Ca m'arrangeait puisque le bruit était un problème à cette époque. Quand ça voulait bien passer, je ne prétraitais que les RVB et HO. Les L et Ha c'était manuel dans Pix.

J'ai réessayé Sirilic il n'y a pas si longtemps mais vu le nombre de trucs à cocher et à régler avec des valeurs au doigt mouillé j'ai capitulé.. 

 

Il y a une petite différence quand on les voit directement à l'écran mais je le concède volontiers, c'est subtil. Ca se voit plutôt sur les zones sombres.

Le traitement qui va suivre permettra certainement de rattraper le tout et ça restera de toutes façons subtil.

Merci pour tes précisions sur l'utilisation de FBPP ou WBPP.

 

J'ai vu ce weekend qu'il y avait deux nouveaux algos dans Pix (nouveaux pour moi..), GES et Robust Chevenet Rejection. Faudrait passer son temps à faire des tests

 

Quoi qu'il en soit pour moi, Pix est maintenant aussi rapide que Siril pour le prétraitement pour un résultat au moins aussi bon !

Voir davantage  

 

Je crois que quoiqu'il en soit, la GROSSE variation réelle qui va faire aussi qu'on utilise tel ou tel, étant donné que les outils se valent à peu de chose près sur le pré-traitement, c'est son propre flux de travail, la logique, les éventuels enregistrements de projets pour rejouer les choses plus tard...

 

A ce jour, si j'avais trop de temps...je testerai les deux en parrallèle aussi, comme tu viens de le faire...mais au final, je trouve que Siril fait largement le job et surtout la doc en ligne et les explications qui sont assez détaillées sur un plan algo/mathémétiques, sur le fonctionnement des DOFs, etc...

Mais il ne faut jamais dire jamais

 

[nico1038]

  Le 18/02/2025 à 14:54, lock042 a dit :

A refaire avec la future (proche) version de Siril 1.4. la qualité de la calibration va augmenter sur les images couleur.

De plus avec l'arrivée des scripts python, la souplesse va être énorme.

Voir davantage  

 

On l'attend avec impatience!

[180Vision]

  Le 18/02/2025 à 14:54, lock042 a dit :

A refaire avec la future (proche) version de Siril 1.4. la qualité de la calibration va augmenter sur les images couleur.

De plus avec l'arrivée des scripts python, la souplesse va être énorme.

Voir davantage  

 

Moi je n'utilise actuellement que celle la (enfin le 1.3.6 DEV, mise à jour du batch de ce we).

Rien à signaler pour l'instant à mon humble niveau, hormis un paramètre qui a changé je pense, quand on génère depuis Sirilic (mais qui va avec la version STABLE donc bon...je fais manuellement pour l'instant !)

 

En outre, LE Drizzle x2 pour ma SQA55

 

 

Modifié 18 février par 180Vision

[krotdebouk]

  Le 18/02/2025 à 14:55, 180Vision a dit :

mais au final, je trouve que Siril fait largement le job

Voir davantage  

Ca je suis entièrement d'accord ! Mais entretenir l'idée que Pix est une daube en prétraitement, là je resterai plus nuancé..

[180Vision]

  Le 18/02/2025 à 15:23, krotdebouk a dit :

Ca je suis entièrement d'accord ! Mais entretenir l'idée que Pix est une daube en prétraitement, là je resterai plus nuancé..

Voir davantage  

 

Alors là, j'avais plutôt souvent lu l'inverse ici !

[Petitprost]

Salut JM ,

Bravo pour ce sujet très intéressant. 

Pratiquant Siril pour le pretraitement depuis sa création j’ajoute que le pretraitement manuel est un poil meilleur que les scripts .

Logique puisque l’utilisateur intervient tout au long du process.

Ensuite je me consacre au traitement via PIx . 

A l’époque il y avait eu déjà sur le forum un comparatif sur les deux logiciels et le résultat était serré. 

[lviatour]

Merci pour ce test 

[CCD1024]

Hello

Il est toujours très difficile de tirer des conclusions de ce genre de tests (que je fais aussi, entre APP, Siril et WBPP)

Lorsque tu empiles 300 images, tu as la loi du nombre et de ce fait les résultats peuvent être proches (mais attention, ils vont être bien différents en drizzle 2x car les algorithmes sont différents et on peut choisir sur APP et Pix de lisser le drizzle pour moins de bruit alors que c'est actuellement un drizzle simplifié sous Siril)

Pour moi, APP reste mon préféré dans beaucoup de situations. Bien sur, Siril est le plus rapide et donne de bons résultats. 

Les principales différences vont se faire sur des piles de 30 à 100 images. Là, l'algorithme a son importance. 

 

Pour regarder le Signal sur bruit, je regarde une petite zone du fond de ciel avec des faibles nébulosités (ou galaxie) et je compare les images. Sur certaines on va voir que le signal utile sort un peu mieux ou moins bien du bruit. C'est ça qui m'intéresse avant tout (la FHWM, entre 3.1 et 3.3 (par exemple), je m'en fous car il y a blurX après...

Les hautes lumières et les zones moyennes ne poseront pas de problème, par contre les bas niveaux sont le critère qui permettra de sortir ou nom un signal lors du traitement.

 

WBPP peut être rapide si on lui dévalide pas mal d'options (comme LN par exemple, ou que l'on change l'algorithme d'empilement/réjection.). APP est bien plus rapide que WBPP et me donne toujours de meilleurs résultats. Siril, j'attends la 1.4 pour voir si c'est bon. 

[lock042]

  Le 20/02/2025 à 07:47, CCD1024 a dit :

Siril, j'attends la 1.4 pour voir si c'est bon. 

Voir davantage  

T'inquiète c'est bon