Acheter une puissante workstation ou louer du temps CPU à distance sur d'énormes serveurs?

[Psynergie]

Bonjour à toutes et tous,

 

J'ai passé plusieurs mois à renouveler mon setup. Aujourd'hui, ça fonctionne bien.  Il me reste néanmoins à optimiser mes temps de calcul. J'utilise PixInsight sur mon NoteBook. Mais c'est lent… Même avec un i7, 16GB de RAM et 1TB de SSD. Acheter une workstation vraiment musclée me semble peu pertinent. C'est très coûteux et vite obsolète pour un usage de hobby. J'aimerais mieux louer du temps CPU sur des serveurs externes. Connaissez-vous des fournisseurs qui louent? Certains d'entre vous ont-ils trouvé une parade intéressante? Merci d'avance de vos commentaires.

 

Clear sky.

Christian

[Franklin.jr]

Salut,

un i7 sur portable c'est moins puissant qu'un i7 dans une tour. (nombre de coeurs physiques souvent divisé par deux, peut être aussi le cache moins élevé).

perso j'ai un Ryzen 4350 avec 16Gb de RAM et c'est loin de ramer.

 

pas sûr que louer du temps sur des serveurs de calcul soit plus "rentable" que de se monter un PC suffisant pour le traitement astrophoto, surtout pour comme tu le dis, un hobby.

 

[Titophe]

Avec SiriL, sur un vieux mac de 2012 boosté avec un SSD et 16Go de RAM, le temps de pré traitement reste très acceptable et j’ai cru comprendre que sur cette phase là Pix était nettement plus lent que SiriL. Mais c’est surtout les nombreux accès disque en lecture / écriture qui pèsent lourd sur le chrono. 

Après pour le post-traitement final, j’utilise Lightroom et Photoshop et une fois de plus mon Mac n’est pas trop essoufflé, mais cela ne fait pas les mêmes traitements que Pix…

Ensuite louer du CPU de compétition nécessite aussi une solide connection internet ne serait que pour uploader les images brutes… cette opération risque même d’être plus longue que le pré-traitement / empilage de tes images en local. 
 

Petite question, quelles sont les opérations que tu trouves trop lentes sur ton PC ?

est-ce que ces opérations profitent pleinement du calcul parallèle sur une puce multicoeur ou est ce que ce sont des opérations qui n’ont recours qu’à un seul cœur mais qui demandent beaucoup de puissance ? La machine optimum pour l’une ou l’autre des opérations n’est pas forcément la même. 

Modifié 28 juin 2021 par Titophe

[Psynergie]

Il y a 4 heures, Franklin.jr a dit :

Salut,

un i7 sur portable c'est moins puissant qu'un i7 dans une tour. (nombre de coeurs physiques souvent divisé par deux, peut être aussi le cache moins élevé).

perso j'ai un Ryzen 4350 avec 16Gb de RAM et c'est loin de ramer.

 

pas sûr que louer du temps sur des serveurs de calcul soit plus "rentable" que de se monter un PC suffisant pour le traitement astrophoto, surtout pour comme tu le dis, un hobby.

 

Merci Franklin.jr de ton commentaire. En effet, c'est assez différent. En fait, dans le benchmark PixInsight https://pixinsight.com/benchmark/, le  Intel(R) Core(TM) i7-7600U CPU @ 2.80GHz (2) [3115] 3 lignes avant la fin du 1.8.8.-8, c'est moi. Donc, je peux améliorer le truc avec un bonne WS (genre 11th Gen Intel(R) Core(TM) i7-11700K @ 3.60GHz (1) [15347]) on va 5x plus vite. C'est déjà très bien. Mais pour une bombe, genre AMD Ryzen Threadripper 3990X 64-Core Processor (11) [56905], on parle d'une WS à 8-10KEuros. En louant du temps CPU pour 100 euros par mois (pour les week-ends), ça représente environ 8 ans... La machine est obsolète. D'où ma question... Car dans PI, un traitement de 10 sec, ça change la vie avec 2'30''... ça donne envie d'essayer des trucs...

Il y a 3 heures, Titophe a dit :

Avec SiriL, sur un vieux mac de 2012 boosté avec un SSD et 16Go de RAM, le temps de pré traitement reste très acceptable et j’ai cru comprendre que sur cette phase là Pix était nettement plus lent que SiriL. Mais c’est surtout les nombreux accès disque en lecture / écriture qui pèsent lourd sur le chrono. 

Après pour le post-traitement final, j’utilise Lightroom et Photoshop et une fois de plus mon Mac n’est pas trop essoufflé, mais cela ne fait pas les mêmes traitements que Pix…

Ensuite louer du CPU de compétition nécessite aussi une solide connection internet ne serait que pour uploader les images brutes… cette opération risque même d’être plus longue que le pré-traitement / empilage de tes images en local. 
 

Petite question, quelles sont les opérations que tu trouves trop lentes sur ton PC ?

est-ce que ces opérations profitent pleinement du calcul parallèle sur une puce multicoeur ou est ce que ce sont des opérations qui n’ont recours qu’à un seul cœur mais qui demandent beaucoup de puissance ? La machine optimum pour l’une ou l’autre des opérations n’est pas forcément la même. 

 

Pour commencer, le Pré-tt avec WBPP2.1.1 peut prendre jusqu'à 30'-60'… Donc, difficile de jouer avec les paramètres… Tu le fais une fois et c'est tout… Et certaines commandes (p.ex. HDRMT ou Deconvolution ou Morpho Transform) demandent jusqu'à 1 minute… Donc, tu essaies, tu reviens, tu modifies un paramètre, tu ré-essaies… etc.. Difficile de faire ça avec beaucoup d'essais… Mais peut-être que je rêve… Je vais voir si je trouve quelque chose de pas trop coûteux. J'aimerais vraiment voir ce que ça donne. Pour les autres softs, bien sûr, il y a d'autres options. Mais la courbe d'apprentissage sur PI demande des dizaines d'heures d'expérience... Je ne crois pas que je vais refaire ça avec d'autres plateformes... Merci de tes commentaires.

[sixela]

https://azure.microsoft.com/en-us/services/virtual-machines/spot/#features

?

[krotdebouk]

Et installer un système linux en dual boot (Kubuntu par exemple) uniquement pour Pix ? J'ai testé, c'est assez surprenant...

 

[Psynergie]

il y a 21 minutes, sixela a dit :

https://azure.microsoft.com/en-us/services/virtual-machines/spot/#features

?

Oui. Merci. Je découvre grâce à vos réponses sur plusieurs sites que ces services existent chez Google, Amazon, Microsoft, etc. en facturation à l'heure... Je vais faire des tests... Car chez Google, ils parlent de 1$/h pour 16 processeurs et 64 GB... A ce prix, ça rentabilise clairement le travail. Une fois les bruts transmis (j'ai un 750Mb de vitesse de transfert), je pourrais alors jouer un peu plus... A voir. Je vous reviendrai avec mon expérience. Merci pour le lien.

il y a 6 minutes, krotdebouk a dit :

Et installer un système linux en dual boot (Kubuntu par exemple) uniquement pour Pix ? J'ai testé, c'est assez surprenant...

 

Merci Krotdebouk. Est-ce à dire que les performances sont très différentes en natif Linux? Sur le Benchmark, ça ne me semblait pas évident... As-tu fait l'expérience? Si oui, ça disait quoi? C'est clair que Windows n'est pas frugal...  Merci de ta proposition.

[krotdebouk]

il y a 15 minutes, Psynergie a dit :

Est-ce à dire que les performances sont très différentes en natif Linux? Sur le Benchmark, ça ne me semblait pas évident... As-tu fait l'expérience? Si oui, ça disait quoi? C'est clair que Windows n'est pas frugal...  Merci de ta proposition.

J'avais fait cette installation Pix sous kubuntu à cause des quelques bugs insolubles rencontrés sous windows dont principalement le process SubFrameSelector qui ne se lançait plus... Je ne m'étends pas sur les messages tout rouge au lancement de certains autres process. La dernière version de Pix m'a corrigé les bugs et j'avoue ne plus trop utiliser mon Pix-kubuntu depuis.

Je n'ai pas comparé/chronométré le déroulement d'un même process entre les deux OS mais j'ai l'impression que c'est plus rapide sous kubuntu. Rien que le lancement de Pix c'est 2 secondes à peine ! Pour le fun, j'ai aussi fait cette install sur un PC fixe core i7 de 10 ans et ça tourne plutôt pas mal.

Si ce genre de manip ne te rebute pas, ça vaut le coup de tester.

[Franklin.jr]

Il y a 9 heures, Psynergie a dit :

AMD Ryzen Threadripper 3990X 64-Core

Un truc pareil me parait démesuré, mais c'est sûr qu'il doit être à l'aise, même pour faire les effets spéciaux pour G Lucas

 

Après il y a d'autre paramètre qui entrent en jeu, les SSD, la RAM, et l'OS.

 

Il y a 9 heures, Psynergie a dit :

(j'ai un 750Mb de vitesse de transfert

j'avais parlé des vitesses de download avec un pote informaticien, il me disais qu'arrivé à un certain stade, le SSD ne suit plus en écriture, après c'était il y a quelques années, ça a peut être changé.

 

[CCD1024]

Le 28/06/2021 à 18:50, Titophe a dit :

Avec SiriL, sur un vieux mac de 2012 boosté avec un SSD et 16Go de RAM, le temps de pré traitement reste très acceptable et j’ai cru comprendre que sur cette phase là Pix était nettement plus lent que SiriL. Mais c’est surtout les nombreux accès disque en lecture / écriture qui pèsent lourd sur le chrono.

 

Le problème est que Pixinsight (surtout) et AstroPixel Processor possèdent des options supplémentaires que n'a pas Siril.

Dans pixinsight, si tu choisis les mêmes genres de paramètres que Siril, les vitesses vont être semblables (pareil pour APP qui est d'ailleurs plus rapide)

Mais si tu commences à utiliser des paramètres spéciaux (comme la précision de la distorsion, l'empilement optimisé avec des nouveaux algorithmes, le temps s'allonge (et pas qu'un peu).  Pareil pour APP.

Bien sur, les logiciels sont tributaires des accès disque (SSD M2 rapide recommandé)

 

Maintenant, j'utilise de plus en plus APP pour les prétraitements (100% en caméra couleur) et à Ciel Austral on mixe les 2 (APP et Pix).

Pour le traitement, c'est Pixinsight, APP, Photoshop, Startools... selon la tache à réaliser. Par exemple le nouvel algo de réduction d'étoiles d'APP est bien différent des autres algos. Lent mais puissant.

Tous ces logiciels ont la chance de tourner sur Mac, PC et Linux (sauf PS pour linux). Siril aussi travaille sur les 3 plateformes.

 

J'avais aussi regardé pour une bécane puissante mais on arrive vite à 5000 boules ! Donc bof... Je fais tout sur mon Macbook Pro en i9 et ça passe très bien. A Ciel Austral on a une méthode différente : on a Pépé, le roi du prétraitement 😆🤪

 

L'avenir viendra des GPU. APP et Pixinsight en parlent de plus en plus.  Silril, je ne sais pas s'il y viendra (je suppose que oui)

 

 

 

 

 

[Moot]

il y a 34 minutes, CCD1024 a dit :

L'avenir viendra des GPU. APP et Pixinsight en parlent de plus en plus.

Ce qui m'étonnera toujours, c'est que les GPU ne soient pas encore exploités par ces logiciels pour accélérer les traitements alors que ce n'est pas une découverte datant d'hier, et le traitement d'images est bourré de tâches parallélisables.

Certes, c'est du boulot pour les programmeurs, mais vu le prix auquel ils vendent leurs programmes, ils auraient pu s'y mettre, même petit à petit.

[lock042]

il y a 37 minutes, Moot a dit :

Certes, c'est du boulot pour les programmeurs, mais vu le prix auquel ils vendent leurs programmes, ils auraient pu s'y mettre, même petit à petit.

C'est pas aussi simple.

 

Pour avoir discuté avec plusieurs développeurs, utiliser le GPU pour le prétraitement n'aurait peut être que peu d'impact à cause d'un phénomène de goulot d'étranglement.

De plus, développer en CUDA (ce qui se fait généralement pour le GPU) limiterait les développements aux utilisateurs de NVIDIA.

il y a 37 minutes, Moot a dit :

et le traitement d'images est bourré de tâches parallélisables.

Tous les logiciels ont parallélisé leur code, et depuis longtemps. Mais il faut pas confondre programmation parallèle CPU et programmation GPU.

Modifié 30 juin 2021 par lock042

[philou31]

il y a 10 minutes, lock042 a dit :

C'est pas aussi simple.

 

Pour avoir discuté avec plusieurs développeurs, utiliser le GPU pour le prétraitement n'aurait peut être que peu d'impact à cause d'un phénomène de goulot d'étranglement.

De plus, développer en CUDA (ce qui se fait généralement pour le GPU) limiterait les développements aux utilisateurs de NVIDIA.

+1.000.

Entre les problèmes de comptabilités entre les différents versions du SDK de NVidia, le multi-platform, c'est loin d'être trivial.

Surtout quand il existe déjà une base de code à porter.

 

Au boulot, les devs GPU sont limités à une certaine version du SDK NVidia et pour quelques plateformes cibles. C'est facile quand on maîtrise le déploiement du soft, c'est un peu plus compliqué pour des softs à diffusion large.

 

Il ne se passe pas une semaine sans que le dev ne râle après Cuda et Nvidia :). Le côté fermé et propriétaire n'arrange pas les choses.

Modifié 30 juin 2021 par philou31

[Moot]

Je n'ai jamais dit que c'était simple (yaka focon), ni que les plateformes (NVIDIA contre AMD) facilitaient la tâche. C'est en outre un mode de pensée complètement différent et un bouleversement dans l'écriture du programme.

Je sais très bien aussi que les possibilités des CPU sont utilisées, on voit d'ailleurs en cours de processus combien de cœurs sont exploités.

Le gain en le faisant sur les CPU est cependant bien maigre par rapport à ce que permettent les GPU, même si ces derniers ne peuvent pas tout faire, même si les transferts de données entre les mémoires sont un goulet d'étranglement.

 

il y a 8 minutes, lock042 a dit :

Pour avoir discuté avec plusieurs développeurs, utiliser le GPU pour le prétraitement n'aurait peut être que peu d'impact à cause d'un phénomène de goulot d'étranglement.

 

C'est un foutu prétexte pour ne rien faire, le simple fait d'employer le conditionnel le montre. Ces gens-là ne bossent pas pour rendre service à la communauté mais pour gagner de l'argent, ils ne peuvent pas indéfiniment refuser de s'adapter. On ne peut pas les excuser comme on le fera pour un développeur bénévole.

Les jeux vidéo s'y sont mis (ç'a été conçu pour eux au départ), l'absurde minage des cryptomonnaies aussi, des logiciels de traitement d'images aussi (exemple que je pratique : AutoPanoPro).

[lock042]

il y a 2 minutes, Moot a dit :

C'est un foutu prétexte pour ne rien faire, le simple fait d'employer le conditionnel le montre. Ces gens-là ne bossent pas pour rendre service à la communauté mais pour gagner de l'argent, ils ne peuvent pas indéfiniment refuser de s'adapter. On ne peut pas les excuser comme on le fera pour un développeur bénévole.

Moi je parle seulement de ce que je connais, et donc de Siril, et pour le coup c'est pas pour faire de l'argent :).

Je ne me permettrai pas de parler à la place des dev de APP/PI.

il y a 2 minutes, Moot a dit :

Les jeux vidéo s'y sont mis (ç'a été conçu pour eux au départ), l'absurde minage des cryptomonnaies aussi, des logiciels de traitement d'images aussi (exemple que je pratique : AutoPanoPro).

Oui, mais ici le problème c'est le traitement par batch avec un nombre élevé d'image.

La vraie limite de toute façon, à mon avis, c'est la lecture/écriture des images.

[Moot]

Ah, et j'ajoute : le côté fermé de CUDA est lui aussi un prétexte. Nombre d'astrophotographes assemblent une machine exprès pour le traitement, ils peuvent intégrer cette contrainte dans leur configuration. C'est d'ailleurs ce que j'avais fait pour la mienne, avec AutoPanoPro (je ne joue pas avec mon ordinateur, depuis, j'ai lâché la manie du panoramique...).

il y a 1 minute, lock042 a dit :

Moi je parle seulement de ce que je connais, et donc de Siril, et pour le coup c'est pas pour faire de l'argent.

Je sais bien, et pour cette raison, il serait outrecuidant de se plaindre.

[philou31]

@Moot un logiciel ne te convient pas car il n'exploite pas une carte GPU ?

Ne t'en sert pas et ne l'achète pas. 

La migration sur la GPU a un coût qui est loin d'être négligeable.

Tu ne peux pas comparer l'industrie du jeux vidéo et des éditeurs de soft indépendant.

Chaque logiciel à son historique et doit faire avec.  Chaque éditeur à sa propre stratégie de développement.

 

[Psynergie]

Wow! Que d'arguments... J'ai commencé à développer en 1978 et durant plus de 15 ans... Mais depuis 25 ans , je code pour le plaisir, mais ce n'est plus mon métier. Perso, je trouve tous ces programmes super-costauds. Leur utilisation me parait déjà un beau challenge... Je ne parle pas du développement. Anyway, grâce à tous vos apports, j'ai plusieurs plateformes identifiées pour des Virtual Machines (VM). Je vais faire quelques essais. Dans tous les cas, les caractéristiques matérielles proposées me semblent financièrement inaccessibles à l'achat. Par contre, je ne mesure pas encore comment ça marche "en vrai" avec PixInsight. Donc, je vais faire des tests et je vous partagerai mes conclusions. Cet échange m'oblige à clarifier mes besoins. Et mon principal besoin, c'est que tous les paramètres de PixInsight sont intriguant et demandent investigations... Mais si il faut 3 minutes de calcul entre chaque essai, j'avoue que je trouve ça "fatiguant". Donc, si l'utilisation d'une VM permet de faire plein d'essais en quelques secondes à chaque fois, j'aurai enfin l'opportunité de voir à quoi servent ces nombreux paramètres. C'est pas mal ça. Merci encore de vos apports. Et je ne sais pas pour vous, mais nous, en Suisse, on a pleins d'orages et pas un jour de ciel clair depuis plus d'un mois... Grrrr! Clear Sky 😉 (tu parles!)

[Malik]

Salut,

 

Comment se passe la visualisation des images traitées en non local avec une solution de location ?

S'il faut, apres chaque process, telecharger la ou les images afin de pouvoir visualiser le résultat en pleine definition, cette solution ne fait que déplacer le probleme du temps d'attente...

 

@Psynergie quel capteur as tu pour que les images soient si gourmandes ? 

Lorsque j'avais l'Asi1600, smon Imac 2016 (i5 16go) digerais tres bien le traitement.

Quelques process comme le drizzle prenaient plus de temps, mais quand on le sait on sorganise pour faire autre chose pendant que ca tourne.

 

Puis je suis passé a la 6200 et les fichiers de 120mo on mis mon ordi a genoux... j'ai upgradé la ram a 32go mais cela n'a pas suffit.

J'ai donc etudié l'avhat d'une machine dédiée astro. J'ai terminé avec un montage maison, en mettant le paquet sur le processeur (Ryzen9 5950x) la memoire (64go) et un ssd M2 qui pedale.

Je ne joue pas donc pas besoin d'une CG puissante, et un copain m'a refilé une 1080 qu'il n'utilisais plus.

Sans compter la CG j'en ai eu pour 2100€ et j'ai une machine parfaite pour mes besoins qui sont exclusivement traitement astro,

Je peux meme monter a 128go de ram, mais ce que j'ai actuellement est deja suffisant.

 

il y a 21 minutes, Psynergie a dit :

c'est que tous les paramètres de PixInsight sont intriguant et demandent investigations... Mais si il faut 3 minutes de calcul entre chaque essai, j'avoue que je trouve ça "fatiguant". Donc, si l'utilisation d'une VM permet de faire plein d'essais en quelques secondes à chaque fois,

 

ah oui... alors... Pixinsight c'est super puissant comme soft ! mais y a pas de solution miracle il faut de la patience

Les process sont nombreux et leurs parametres souvent tres poussés. S'il on veut maitriser ce logiciel, c a d savoir quel process utiliser, quand, comment et pourquoi, 

il n y a pas le choix que de passer du temps sur chacun des process en faisant des essais et en potassant les parametres.

3 minutes d'attente c'est pas beaucoup 😅

Et sinon il faut travailler sur preview pour affiner les parametres avant d'appliquer le process sur toute l'image.

C'est du travail d'orfevre, ca prend du temps, mais il faut aimer sinon c'est clair que ca parrait penible.

[Psynergie]

Bonjour Malik,

 

Pour le comment ça se passe, c'est ce que je veux essayer. Actuellement, je gère mon Stellarmate depuis un vieux notebook Dell et VNC en Wifi. Ca marche parfaitement. Aussi pour l'affichage des images en temps réel. Donc, mon hypothèse est que ça se fait via une console genre VNC qui sert de terminal. Par contre, il faudra toujours télécharger les bruts sur la VM. Mais ça, je peux lancer un batch et revenir quand c'est prêt. J'ai une bonne connexion filaire.

 

Pour la taille, je suis passé d'un NIKON D610 de 24Mb à une QHY294M de 11Mb. Donc, c'est pas extraordinaire. Mais le pré-TT, p.ex. via WBPP, avec 5-6 sessions, des flats, des bruts (100-400 images), des darks, alouette... ça prend facilement 30-45 minutes. Donc, je ne peux pas tester un autre paramètre "pour voir ce que ça fait". Sinon, la plupart des traitements prennent entre 10 et 30 sec. minimum. Si avec une VM, tu lances, tu regardes, undo, tu changes, tu relances, undo, etc. en temps réel, c'est pas mal plus chouette. Je vise un budget d'environ 100 euros par mois.. Et si un jour j'ai un guidage assez précis pour utiliser un plus grand capteur, je ne serai pas dépendant d'un nouvel upgrade matériel. En tout cas, c'est là que j'en suis dans ma réflexion.

[Malik]

Compris, du coup tu auras forcement la compression de l'image affichée via VNC

J'ai deja essayé entre deux machines connectées en resaux local... autant sur les images mono ca paaaassse encore, autant sur les image couleurs c'est beaucoup trop dégradé

 

 

[fdudu]

Il y a 4 heures, CCD1024 a dit :

L'avenir viendra des GPU

+1

ou alors faut s'acheter celui la : AMD Ryzen Threadripper Pro 3995WX

 

Modifié 30 juin 2021 par fdudu

[Psynergie]

il y a 16 minutes, Malik a dit :

Compris, du coup tu auras forcement la compression de l'image affichée via VNC

J'ai deja essayé entre deux machines connectées en resaux local... autant sur les images mono ca paaaassse encore, autant sur les image couleurs c'est beaucoup trop dégradé

 

 

Oui, c'est ça... Je ne mesure pas à quel point ça se dégrade... C'est aussi ce genre de trucs que j'aimerais tester... Pour l'instant, je ne travaille qu'en mono avec la 294M.

il y a 3 minutes, fdudu a dit :

+1

En tout cas, à l'époque, je travaillais sur des terminaux Tektronix 4010 avec des Mainframes distants pour le développement de puces CMOS... Et la qualité de images étaient extraordinaires. Je ne peux pas croire qu'aujourd'hui, avec la bande passante que nous avons, nous ne sommes pas capables d'avoir un affichage déporté de bonne qualité. Pour ce qui est des traitements d'image, je ne mesure pas bien. Mais il est clair que les traitements avancés peuvent être massivement parallélisés sur des processeurs dédiés... Quand je vois ce que fais une déconvolution, un traitement sériel semble peu pertinent. Mais j'imagine que ce n'est déjà pas le cas.

[fdudu]

il y a 57 minutes, Psynergie a dit :

nous ne sommes pas capables d'avoir un affichage déporté de bonne qualité.

si si, tu as entièrement raison. idem a un affichage local sans problème avec les même paramètres. Après, ça dépend de ce qu'il y a de l'autre coté et des quotas du nbres de users et de bande passante. Mais là, je ne t'apprends rien  

 

il y a 57 minutes, Psynergie a dit :

la bande passante que nous avons

Bien sur, faut pas avoir la mienne :

 

quoique ...

Modifié 30 juin 2021 par fdudu

[Moot]

Il y a 4 heures, philou31 a dit :

Chaque logiciel à son historique et doit faire avec.  Chaque éditeur à sa propre stratégie de développement.

 

Là ce n'est pas de la stratégie, sauf si se reposer sur ses lauriers peut être considéré comme une stratégie. J'ai acheté mon PC de bureau fin 2009, en choisissant une carte graphique pas trop basique pour profiter des programmes qui l'exploitent (dont aucun jeu vidéo).

J'ai PI depuis 2014, c'est un gros progrès dans les résultats par rapport à IRIS que j'employais jusque là.

On aurait pu espérer qu'en sept ans, PI aurait eu le temps de franchir le cap de la programmation sur GPU, au minimum pour certaines tâches simples (tiens, par exemple, les prévisualisations sur un timbre-poste pour voir comment des paramètres influent sur le résultat). Ben non, que tchic, nib, rien, pas un progrès.

 

Qu'on le veuille ou non, après autant d'années sans évolution, j'ai le droit d'appeler ça de la paresse intellectuelle.

[CCD1024]

Il y a 1 heure, fdudu a dit :

+1

ou alors faut s'acheter celui la : AMD Ryzen Threadripper Pro 3995WX

 

Oui mais on s'aperçoit dans les benchtest que le Ryzen TR ne tire pas partie de toute sa puissance et du nombre de coeurs. Un Core i9 extreme va être plus rapide par coeur (mais si le ryzen en a 2x plus, il ne sera pas 2x plus rapide)

 

il y a 8 minutes, Moot a dit :

On aurait pu espérer qu'en sept ans, PI aurait eu le temps de franchir le cap de la programmation sur GPU, au minimum pour certaines tâches simples (tiens, par exemple, les prévisualisations sur un timbre-poste pour voir comment des paramètres influent sur le résultat). Ben non, que tchic, nib, rien, pas un progrès.

 

Qu'on le veuille ou non, j'ai le droit d'appeler ça de la paresse intellectuelle.

 

Je regarde un peu les post de ceux qui ont "convertis" Starnet++ en version GPU. Il y en a pas mal qui se plaignent "ouiiiiiinnnnn c'est pas compatible avec ma carte"

Pix s'est étoffé au fil des années (je l'utilise depuis la version 1.0 LE), lentement mais surement. Juan a pas mal discuté sur le CPU et c'est en cours. C'est déjà d'ailleurs intégré à strict minima dans la 1.8.8.8 mais ce sera surement la 1.9 qui commencera vraiment à l'exploiter : 

PixInsight, as a software development project, is much more than a program to process astrophotos. PixInsight is a comprehensive and powerful software development platform specialized in astronomy and astrophotography. This includes instrumentation control (such as our Indigo integration project), astrometry, photometry, solar system ephemerides, image preprocessing and post-processing, and general image processing and analysis tools for a variety of technical applications, including applications beyond astronomy. Our interfaces are powerful, efficient and perfectly suited for all of these tasks and much more. In general we try to not write "toys", but serious and efficient implementations pursuing excellence.

We are always working actively on many projects that are not visible on the surface, but will yield their fruits during the coming months and years. A good example is GPU acceleration, which is being developed actively right now. Another example is a new astrometry-based mosaic generation tool, which will benefit from the excellent astrometry engine that we are building and is starting to be well visible in the new 1.8.8-8 version. I understand that sometimes our development decisions and new releases can be difficult to understand in the context of a typical image processing application, but PixInsight is not typical in any way and is much more than what most users see of it.

 

 

APP commence sa conversion vers le GPU.

Native support for M1 Apple will come as soon as Java Oracle/OpenJDK/Graal is natively built on the M1 arm hardware. Sadly this is not the case yet, but indications are it will come soon.

Yes indeed, we plan to move to Vulcan and Metal for GPU accelerations cross-platform indepent of GPU hardware.

 

Startools a completement intégré le GPU et va continuer de plus fort dans sa version 1.8

 

 

Bien sur, je te comprends : on veut tout, et tout de suite. Donc oui, le GPU, c'est une urgence. (Bon de toute façon il y a pénurie de cartes graphiques haut de gamme style 3060 ou 3080 qui sont détournées pour faire de la recherche de bitcoin perdu))

Donc on critique que ça vienne pas assez vite 😀 c'est légitime. On gueule après la grosse feignasse de programmeur qui n'en branle pas une 😂

 

 

Et dire que j'en connais un qui veut même pas mettre le bayer-drizzle dans son soft !!! 'tain !!! 😘

 

 

Il y a 5 heures, philou31 a dit :

Entre les problèmes de comptabilités entre les différents versions du SDK de NVidia, le multi-platform, c'est loin d'être trivial.

Surtout quand il existe déjà une base de code à porter.

 

Il y a 5 heures, lock042 a dit :

C'est pas aussi simple.

 

Pour avoir discuté avec plusieurs développeurs, utiliser le GPU pour le prétraitement n'aurait peut être que peu d'impact à cause d'un phénomène de goulot d'étranglement.

De plus, développer en CUDA (ce qui se fait généralement pour le GPU) limiterait les développements aux utilisateurs de NVIDIA.

 

oui, j'imagine que la programmation  GPU n'est pas simple.

De plus, il me semble obligatoire qu'il soit compatible NVIDIA et AMD pour contenter tout le monde. Encore plus compliqué.

 

 

[Psynergie]

Il y a 1 heure, fdudu a dit :

si si, tu as entièrement raison. idem a un affichage local sans problème avec les même paramètres. Après, ça dépend de ce qu'il y a de l'autre coté et des quotas du nbres de users et de bande passante. Mais là, je ne t'apprends rien  

 

Bien sur, faut pas avoir la mienne :

 

quoique ...

 

Oui, j'ai de la chance... On est bien connecté... Il est un peu court aujourd'hui...

 

[fdudu]

il y a 28 minutes, CCD1024 a dit :

Un Core i9 extreme va être plus rapide par coeur

Eh bin pour un cpu 2x moins cher, c'est plutôt bien. Ils sont trop forts chez Intel avec toutefois un petit bémol avec le pentium 4; un bon cpu radiateur  mais bon c'est du passé. (tu m'étonnes ! y a 18 ans. On reste calme pour son seul petit cœur le vieux)

 

 

il y a 10 minutes, Psynergie a dit :

Oui, j'ai de la chance... On est bien connecté... Il est un peu court aujourd'hui...

 

Toujours au top la Suisse  (je plaisante pas, je le pense et puis c'est un si beau pays    -     YoodeloooooololoiiiiiOôooo : là je plaisante   mais je ne me moque pas ! Chez nous à Paris, le chant le plus chanté c'est Rheuuuuuuu , eeeeh oui, on tousse à cause de la pollution)

Modifié 30 juin 2021 par fdudu

[Psynergie]

il y a 22 minutes, CCD1024 a dit :

 

Oui mais on s'aperçoit dans les benchtest que le Ryzen TR ne tire pas partie de toute sa puissance et du nombre de coeurs. Un Core i9 extreme va être plus rapide par coeur (mais si le ryzen en a 2x plus, il ne sera pas 2x plus rapide)

 

 

Je regarde un peu les post de ceux qui ont "convertis" Starnet++ en version GPU. Il y en a pas mal qui se plaignent "ouiiiiiinnnnn c'est pas compatible avec ma carte"

Pix s'est étoffé au fil des années (je l'utilise depuis la version 1.0 LE), lentement mais surement. Juan a pas mal discuté sur le CPU et c'est en cours. C'est déjà d'ailleurs intégré à strict minima dans la 1.8.8.8 mais ce sera surement la 1.9 qui commencera vraiment à l'exploiter : 

PixInsight, as a software development project, is much more than a program to process astrophotos. PixInsight is a comprehensive and powerful software development platform specialized in astronomy and astrophotography. This includes instrumentation control (such as our Indigo integration project), astrometry, photometry, solar system ephemerides, image preprocessing and post-processing, and general image processing and analysis tools for a variety of technical applications, including applications beyond astronomy. Our interfaces are powerful, efficient and perfectly suited for all of these tasks and much more. In general we try to not write "toys", but serious and efficient implementations pursuing excellence.

We are always working actively on many projects that are not visible on the surface, but will yield their fruits during the coming months and years. A good example is GPU acceleration, which is being developed actively right now. Another example is a new astrometry-based mosaic generation tool, which will benefit from the excellent astrometry engine that we are building and is starting to be well visible in the new 1.8.8-8 version. I understand that sometimes our development decisions and new releases can be difficult to understand in the context of a typical image processing application, but PixInsight is not typical in any way and is much more than what most users see of it.

 

 

APP commence sa conversion vers le GPU.

Native support for M1 Apple will come as soon as Java Oracle/OpenJDK/Graal is natively built on the M1 arm hardware. Sadly this is not the case yet, but indications are it will come soon.

Yes indeed, we plan to move to Vulcan and Metal for GPU accelerations cross-platform indepent of GPU hardware.

 

Startools a completement intégré le GPU et va continuer de plus fort dans sa version 1.8

 

 

Bien sur, je te comprends : on veut tout, et tout de suite. Donc oui, le GPU, c'est une urgence. (Bon de toute façon il y a pénurie de cartes graphiques haut de gamme style 3060 ou 3080 qui sont détournées pour faire de la recherche de bitcoin perdu))

Donc on critique que ça vienne pas assez vite 😀 c'est légitime. On gueule après la grosse feignasse de programmeur qui n'en branle pas une 😂

 

 

Et dire que j'en connais un qui veut même pas mettre le bayer-drizzle dans son soft !!! 'tain !!! 😘

 

 

 

 

oui, j'imagine que la programmation  GPU n'est pas simple.

De plus, il me semble obligatoire qu'il soit compatible NVIDIA et AMD pour contenter tout le monde. Encore plus compliqué.

 

 

 

 

J'arrive en Astrophoto, mais je trouve que dans le pré-tt et post-tt, on est plutôt bien servi. Pour l'instrumentation, là, je trouve que c'est un peu galère... Difficile de trouver des applis qui fonctionnent de manière continue. Mais pour le traitement, les softs existent, sont assez peu coûteux (comparativement à des logiciels grand-public qui coutent des fortunes) et globalement, livrent la marchandise. Un script comme WBPP 2.0 sur PI, c'est génial. Tu peux séparer tes sessions, intégrer le tout en deux coups de cuuillères à pot, etc. Mais je t'accorde que ça demande de la puissance machine... D'où mon post...

 

[CCD1024]

il y a 57 minutes, Psynergie a dit :

J'arrive en Astrophoto, mais je trouve que dans le pré-tt et post-tt, on est plutôt bien servi. Pour l'instrumentation, là, je trouve que c'est un peu galère... Difficile de trouver des applis qui fonctionnent de manière continue. Mais pour le traitement, les softs existent, sont assez peu coûteux (comparativement à des logiciels grand-public qui coutent des fortunes) et globalement, livrent la marchandise. Un script comme WBPP 2.0 sur PI, c'est génial. Tu peux séparer tes sessions, intégrer le tout en deux coups de cuuillères à pot, etc. Mais je t'accorde que ça demande de la puissance machine... D'où mon post...

 

Il y a quand-même l'embarras du choix sur les logiciels d'acquisition :

APT, SGP, N.I.N.A., PRISM, MaximDL, TheSkyX, Firecapture, Sharpcap, SPIPS, Nebulosity, Voyager.... 

 

il y a une heure, Psynergie a dit :

Un script comme WBPP 2.0 sur PI, c'est génial.

Oui c'est sur, mais n'arrive pas encore à la cheville de AstroPixel Processor sur ce type de possibilités.