LSST / lentille géante

[francheu]

Hello,

Le futur télescope LSST de 8,4 mètres de diamètre comporte un correcteur de champ aux dimensions hors normes : 1,57 m pour la plus grosse lentille (L1), plus d'un mètre de long entre la première lentille et le plan focal, avec au final un capteur de 3,2 Gpx (oui, giga).

La L1 vient d'être traitée anti-reflet en France chez Reosc. Le LSST vient d'en diffuser une image :

 

Image originale : https://gallery.lsst.org/bp/#/folder/2334394/84233439

 

Il s'agit d'un traitement très large bande (300 - 1100 nm), bien éloigné ce que l'on a dans nos instruments.
 

Et pour aller plus loin, une super présentation sur l'avancement du projet :

http://www.linea.gov.br/wp-content/uploads/lineadbfiles/apresentacao/Victor Krabbendam .pdf

 

[paradise]

Je suis heureux de constater que la France est très présente dans ce projet, et qu'elle participera à 50% du traitement des données (à Lyon).

Vivement que cet instrument soit opérationnel !

 

Il sera bien complémentaire avec le E-ELT qui, à l'inverse,  aura un champ très étroit pour observer un objet précis ou une infime portion du ciel, avec une focale de 38 mètres !

 

Enfin de bonnes nouvelles pour le futur !

[jgricourt]

Interessant ce telescope doté d'une formule optique inédite un "Paul Baker" : https://www.telescope-optics.net/paul-baker_telescope.htm

 

Conçu pour le grand champ et surtout ayant la propriété d'être anastigmate, donc corrigé pour l'aberration sphérique, la coma et l'astigmatisme.

Donc 3 miroirs et le correcteur est devant la camera pour couvrir 3.5° de champ à la fois soit l'équivalent de 7 pleine lunes (il mérite bien son nom "synoptique") et photographier le ciel à f/1.35 !

 

https://www.lsst.org/sites/default/files/docs/aas/2005/posters/SEPPALA.pdf

 

Ci-dessous le miroir central M1M3 terminé qui en réalité est un assemblage de 2 miroirs de courbures totalement différentes le M1 est à f/1.2

 

 

Le miroir M2 de renvoi du faisceau vers le M3 (le M2 à f/1.00), il s'agit du miroir convexe le plus large  jamais réalisé,  f/0.83 quand même.

 

 

D'autres grands telescopes à venir ont aussi adopé cette formule dont le Jame Webb et le EELT.

 

Dans le document donné en lien plus haut par francheu on apprend aussi qu'il y aura un accès public aux données collectées (les clichés je présume ?) et aussi une WebAPI pour intégrer tous ça dans nos application favorites  .

 

Ci-dessous un document sur les données des perf. optique attendues (attention c'est plus technique)

 

https://www.researchgate.net/publication/252385585_Performance_prediction_of_the_LSST_secondary_mirror

 

[francheu]

Le 16/12/2018 à 14:32, paradise a dit :

Il sera bien complémentaire avec le E-ELT qui, à l'inverse,  aura un champ très étroit pour observer un objet précis ou une infime portion du ciel, avec une focale de 38 mètres !

 

 

683 mètres !  

[charpy]

Hou pinaise! Et un instrument de 1500 tonnes à piloter à 0,1 seconde d'arc.

Bonjour l'autoguidage ! 😨

 

C'est des grands malades à l'eso mais c'est ca qui est bon! Ils vont repousser les limites du possible 😊

 

Je demanderai bien a mirrosphere s'il peut me faire un petit M3 5m a f0,83

[francheu]

Une petite vidéo est passée assez discrètement sur le compte twitter de Safran :

https://twitter.com/SafranElecDef/status/1098552982235418626

 

On y voit la préparation de la fameuse L1 avant traitement, puis son inspection après :

 

[Thierry-andre Martin]

J'ai remarqué le porte filtres du LSST avec la CCD . Ce genre de montage pourrait etre utilisé pour une Schmidt Camera avec un correcteur de courbure de champ et une CCD .

[Dom de Savoie]

Le 16/12/2018 à 14:07, francheu a dit :

Hello,

Le futur télescope LSST de 8,4 mètres de diamètre comporte un correcteur de champ aux dimensions hors normes : 1,57 m pour la plus grosse lentille (L1), plus d'un mètre de long entre la première lentille et le plan focal, avec au final un capteur de 3,2 Gpx (oui, giga).

La L1 vient d'être traitée anti-reflet en France chez Reosc. Le LSST vient d'en diffuser une image :

 

Ce n'est pas exactement un correcteur de champ, la formule optique délivre une image dans le plan focal qui n'a pas besoin d'être corrigée. Par contre, comme la caméra doit être refroidie à -130⁰, celle-ci est placée dans un cryostat fermé par une lame transparente. C'est cette lame qui introduit du chromatisme qui doit-être corrigé par un système de 3 lentilles. 

[Thierry-andre Martin]

On 4/4/2019 at 1:07 PM, Dom de Savoie said:

Ce n'est pas exactement un correcteur de champ, la formule optique délivre une image dans le plan focal qui n'a pas besoin d'être corrigée. Par contre, comme la caméra doit être refroidie à -130⁰, celle-ci est placée dans un cryostat fermé par une lame transparente. C'est cette lame qui introduit du chromatisme qui doit-être corrigé par un système de 3 lentilles. 

Je parlais du montage des filtres utilisant un carousel radial, alors que l'on produit des carousels axiaux ou linèaires . https://www.cppm.in2p3.fr/renoir/lsst_technique.php  Concernant les lentilles, je ne sais pas si, avec 3 miroirs complexes on peut corriger toutes les abérrations optiques vu l'ouverture des miroirs utilisés,  mais bon vu la taille des lentilles et leur coubures, elle servent assurèment pour amèliorer l'image finale.

 

Je cherche à savoir si un tel montage de filtes tournant autour de la CCD  pourait servire à moderniser une Schmidt camera . Certe un correcteur de champ doit ètre ètudé  pour rendre plane l'image au niveau de la CCD si possible corrigé du chromatisme . http://www.jeandijon.com/telescopes_ grand_ champ.htm.

 

  Installer une ccd refroidie du commerce avec ce genre de montage des filtres grande taille du commerce, tout cela   piloté par un moteur et autres composants pour positionner les filtres au devant du correcteur.

 

Modifié 6 avril 2019 par Thierry-andre Martin
ajout de rèfèrences pour une meilleure explication

[francheu]

Le 04/04/2019 à 19:07, Dom de Savoie a dit :

Ce n'est pas exactement un correcteur de champ, la formule optique délivre une image dans le plan focal qui n'a pas besoin d'être corrigée. Par contre, comme la caméra doit être refroidie à -130⁰, celle-ci est placée dans un cryostat fermé par une lame transparente. C'est cette lame qui introduit du chromatisme qui doit-être corrigé par un système de 3 lentilles. 

 

C'est complètement un correcteur de champ. Celui-ci corrige la courbure de champ ainsi que les aberrations du télescope.  Sans ces lentilles (dont 2 asphériques) la qualité image est toute pourrie.

Le peu de chromatisme introduit par le hublot du cryostat n'est certainement pas corrigé par le correcteur, d'autant plus que les lentilles sont toutes en silice, donc aucune chance de corriger du chromatisme (en fait on en introduit très peu vu que la dispersion de la silice est plutôt faible et que les lentilles ont peu de puissance).

 

[Dom de Savoie]

Il y a 18 heures, francheu a dit :

 

C'est complètement un correcteur de champ. Celui-ci corrige la courbure de champ ainsi que les aberrations du télescope.  Sans ces lentilles (dont 2 asphériques) la qualité image est toute pourrie.

Le peu de chromatisme introduit par le hublot du cryostat n'est certainement pas corrigé par le correcteur, d'autant plus que les lentilles sont toutes en silice, donc aucune chance de corriger du chromatisme (en fait on en introduit très peu vu que la dispersion de la silice est plutôt faible et que les lentilles ont peu de puissance).

 

Tu as en partie raison, effectivement le système à 3 miroirs fournit un front d'onde sphérique et le correcteur à 3 lentilles permet d'obtenir un champ plat en plus de corriger du chromatisme. Et en fait, c'est la troisième lentille qui tient lieu de fenêtre du cryostat. Voir à ce sujet le début de la section 2 de: https://e-reports-ext.llnl.gov/pdf/620020.pdf 
Rien à voir toutefois avec le correcteur de champ de l'HyperSuprimeCam (au Subaru): https://www.eso.org/sci/facilities/eelt/fp7-elt-pub/wfi_workshop/pdffile/SMiyazaki.pdf qui corrige des distorsions beaucoup plus importantes

[jgricourt]

Une lentille géante ! 

 

https://petapixel.com/2019/09/27/this-is-the-worlds-largest-optical-lens-its-5-feet-wide-and-took-5-years-to-make

 

[Invité Cedric03]

Le 16/12/2018 à 14:07, francheu a dit :

La L1 vient d'être traitée anti-reflet en France chez Reosc. Le LSST vient d'en diffuser une image :

 

Moi, je vois des reflets... Désolés les gars, on y retourne ! 🤣

 

Le 25/03/2019 à 20:18, charpy a dit :

Hou pinaise! Et un instrument de 1500 tonnes à piloter à 0,1 seconde d'arc.

 

Bah au moins ça va pas craindre les petits coups de vents...

 

Moi je pensais qu'on ne pouvais pas utiliser des lentilles trop grosses car elles se déformaient sous leur propre poids... Mais là, on peut ?

Modifié 28 septembre 2019 par Cedric03

[Tromat]

3.2 GPixel, va falloir du gros PC pour le traitement !

Superbe engin en tout cas, je suis curieux de voir les premières images.

[Dom de Savoie]

Autour de la caméra se trouve le changeur de filtres qui a été conçu et réalisé en France. On le voit ci dessous juste avant son expédition aux US où il sera assemblé avec la caméra.

 

 

Une autre vue de l'intérieur du système. Les filtres (remplacés ici par des disques d'aluminium) sont rangés sur un carousel qui entoure la caméra, un système robotisé permet de faire tourner le carousel et de venir chercher un filtre pour le positionner devant la caméra.

 

\

 

 

LSST utilise 6 filtres interférentiels passe-bande qui couvrent du proche UV au proche IR. Chaque filtre pèse environ 40 kg et mesure 70 cm de diamètre, ils sont évidemment extrêmement fragiles, le changeur de filtres a donc été conçu pour les manipuler avec la plus grande délicatesse ! Le temps pour changer un filtre doit rester inférieur à 2 minutes. Le carousel ne peut stocker que 5 filtres, le 6 ème est laissé en dehors et un mécanisme permet de décharger l'un des 5 filtres du carousel pour le remplacer par le 6 ème.

 

Une dernière vue qui permet de mieux apprécier la taille du système. Le cadre gris ne fait pas partie du changeur de filtres, il sert juste de support orientable pour les tests.

 

 

Dominique

Modifié 4 octobre 2019 par Dom de Savoie

[CDLC]

Bonjour à tous,

 

Le LSST est un télescope complètement fou, et pour ceux qui ne l'ont pas vue, je ne peux que vous recommander l'excellente vidéo d'Arnaud Thiry de la chaîne Astronogeek;

https://www.youtube.com/watch?v=tWZ2YTtYQHQ

Christophe.

Modifié 3 octobre 2019 par CDLC

[Dom de Savoie]

Et un petit film sur le site du journal du CNRS: https://lejournal.cnrs.fr/videos/une-camera-dexception-pour-filmer-lunivers

 

Dominique

[FB67]

Le schmidt 1.20m de Palomar du XXIème siècle! Espérons qu'il nous en montrera autant...

[xs_man]

Une bête tout en superlatifs  !

Je veux le même au fond du jardin pour faire de la pose courte !

Et franchement en VA, il déchirerais aussi avec un tel F/D et  une telle caméra !

 

Albéric

[bang*gib]

Le 04/10/2019 à 16:00, Dom de Savoie a dit :

Et un petit film sur le site du journal du CNRS: https://lejournal.cnrs.fr/videos/une-camera-dexception-pour-filmer-lunivers

 

Dominique

 

« Pour remplir tous ses objectifs la caméra du LSST sera doté d'un capteur de 3,2 milliards de pixels »

 

Impressionnant pour ce qui est envisagé.

 

[Andreas07]

Le 16/12/2018 à 16:07, francheu a dit :

Hello,

Le futur télescope LSST de 8,4 mètres de diamètre comporte un correcteur de champ aux dimensions hors normes : 1,57 m pour la plus grosse lentille (L1), plus d'un mètre de long entre la première lentille et le plan focal, avec au final un capteur de 3,2 Gpx (oui, giga).

La L1 vient d'être traitée anti-reflet en France chez Reosc. Le LSST vient d'en diffuser une image :

 

Image originale : https://gallery.lsst.org/bp/#/folder/2334394/84233439

 

Il s'agit d'un traitement très large bande (300 - 1100 nm), bien éloigné ce que l'on a dans nos instruments.
 

Et pour aller plus loin, une super présentation sur l'avancement du projet :

http://www.linea.gov.br/wp-content/uploads/lineadbfiles/apresentacao/Victor Krabbendam .pdf paris shuttle airport transfers

 

Bonjour, c'est énorme comme projet! Franchement j'adore

[bang*gib]

Bonsoir à tous,

 

Le 17/10/2019 à 15:24, Andreas07 a dit :

Bonjour, c'est énorme comme projet! Franchement j'adore

 

Cette discussion est très bien documentée.

Après son survol, de tout cet aspect technique, je me promets de mieux regarder, d'aller fouiller cette page, la première pour l'instant, pleine d’un projet technologique.

 

Cependant, je voudrais approfondir une première notion qui m’échappe avant de réserver mon billet pour le film de notre univers, prévu dans quelques années.

Il m’est d’avis qu’avec la matière noire et l’énergie noire intégrées, ça ne seras pas comme au cinéma. La plus forte impression, sera  plus sur nous que sur la pellicule.

Et aussi, il y aura sans doute un mur infranchissable de 380 000  ans environ sans film.

 

Je souhaite mieux saisir ce qui concerne le traitement des données et aussi celui des Géo croiseurs, ces astéroïdes susceptibles de percuter notre planète.

 

 Dans la vidéo proposée par Dom de Savoie, voici le lien :

  https://www.youtube.com/watch?time_continue=43&v=4p3-pYaSRFU

 

Je cite quelques bribes de la transcription, mêlées à de modestes commentaires de ma part.

 Il est dit :

« Maximum d’images, il faut ensuite pouvoir stocker et traiter les quantités colossales de données produites chaque nuit. Le télescope fournira l’équivalent de 30 téraoctets de données, soit un volume en fin de projet de plusieurs dizaines de péta octets.

Des dizaines de millions de giga-octets de données seront notamment stockés en France à Lyon. »

 

On comprend qu’il y aura un volume monumental de données très important et qu’il faudra donc faire un effort de calcul de très haut niveau pour lire les données.

 

Il est dit aussi :

« Aujourd’hui c’est relativement facile… mais y accéder dans un très gros volume semble aléatoire. »

 

Si je comprends bien, y aura cinématographiquement parlant, le visuel, images et films, augmentés d’un assemblage de données écrites au montage, qu’il faudra aller d’abord chercher de manière aléatoire dans un immense volume.

 

Le tournage sera certainement le plus grand film du monde voire de l’univers.

 Il y aura le direct, disons le passé, mais toutes ces données seront dans une mémoire bien enfouie.

 

Il est dit aussi :

« Le LSST est le fer de lance de ce type de traitement de données. »

 

J’ai eu plutôt l’impression au visionnage que ça reste à développer.

 

Quelqu’un a-t-il une idée de ce type de traitement de données ?

 

 

[Dom de Savoie]

Le 18/10/2019 à 18:31, bang*gib a dit :

 

Quelqu’un a-t-il une idée de ce type de traitement de données ?

 

 

Bonsoir,

J'ai revisionné la vidéo et le choix du mot "aléatoire" prête à confusion, il fait référence à la façon dont les données sont accédées sur les supports de stockage (disques). Aléatoire indique simplement que les données ne sont pas accédées séquentiellement mais qu'il faudra sauter d'une zone de stockage à une autre. Bref c'est du jargon informatique ! L'analyse des données ne sera pas du tout aléatoire, bien au contraire 🙂 
Dans LSST, il y a deux types de traitement de données: 
1- Chaque image, après acquisition sera comparée à une image de référence afin d'identifier en moins de 60s tout ce qui a changé (astéroïdes, comètes, supernovae, kilonovae, étoiles variables, trucs bizarres...). Chaque nuit, il y aura plusieurs millions d'alertes émises et mises à la disposition de la communauté scientifique. Ce flux d'alertes sera traité par un ensembles de "brokers" qui feront une analyse fine afin d'identifier les événements les plus intéressants.
2- Chaque année (2 fois la première année), l'ensemble des données sera traité afin de produire des catalogues d'objets astronomiques (étoiles, galaxies,...) qui seront catalogués dans une gigantesque base de données. C'est ce traitement qui sera en partie réalisé à Lyon. La France disposera donc d'une copie complète des données (images et catalogues). Le traitement est complexe en raison de la masse de données et du niveau de précision recherché. L'un des traitement les plus gourmand en calcul est le "deblending" des galaxies. En effet, quand on observe le ciel à la profondeur atteinte par LSST, on voit des milliards de galaxies et beaucoup d'entre-elles se superposent, il faut alors exécuter des algorithmes très sophistiqués pour "dé-mélanger" les galaxies afin de les mesurer correctement.
La base de données atteindra une vingtaine de pétaoctets à la fin du projet.
Chaque nuit le volume d'images produit représente environ 20 téraoctets.

Sinon le principe du traitement des données n'est finalement pas si différent de ce qui se fait en astro amateur 😉 On a des images brutes, on soustraits les bias et les darks, on corrige des flats et on empile les images correspondant aux mêmes régions du ciel. La différence principale est qu'on calibre rigoureusement les flux de lumière afin d'avoir une photométrie rigoureuse.

 

Dominique

Modifié 19 octobre 2019 par Dom de Savoie

[jgricourt]

Je reviens sur la notion d'accès aléatoire aux données mentionné dans le sujet. Il est très vraisemblable que le stockage prévu soit des baies de disques classique (mécaniques) et la difficulté est de pouvoir accèder simultanément à des données qui sont géographiquement à des endroits différents dans le data center sur des disques différents ou sur un même disque mais pas en accès contiguë (le côté aléatoire de la lecture). Comme l'action de lecture nécessite le déplacement d'un aiguille mécanique et que la rapidité de lecture des disques est bridée par les interfaces de liaisons (cartes controlleurs et cables) ce sera un vrai challenge de lire autant de volume de données dans ce type de datacenter.

 

Vous me direz qu'il y a aussi les disques SSD maintenant, plus de partie mécanique car ce sont des cartes mémoire à base de celulles NAND (des transistors montés en série pour ceux qui ont un peu étudié l'electronique), c'est effectivement très performant en lecture jusqu'à 10x plus que le disque classique mais le soucis c'est l'écriture, c'est affreusement lent en raison de l'algorithme relocate-on-write associé au garbage collector et ça gaspille très vite l'espace de stockage. Aussi les NAND se déteriorent à chaque action d'écriture ce qui fini de dégrader les performances globale car un algorithme de wear leveling doit préserver les blocs en déplaçant  les données les plus lues dans les blocs les plus en forme ...

 

Enfin il me semble que c'est a l'IN2P3 de Villeurbanne (banlieue de Lyon) que seront stocké ces données, je pense que le traitement final se fera toutefois ailleurs par les chercheurs du monde entier qui liront justement ces données.

 

Colloque ‘Getting ready to do science with LSST data’

[Dom de Savoie]

Il y a 6 heures, jgricourt a dit :

Je reviens sur la notion d'accès aléatoire aux données mentionné dans le sujet. Il est très vraisemblable que le stockage prévu soit des baies de disques classique (mécaniques) et la difficulté est de pouvoir accèder simultanément à des données qui sont géographiquement à des endroits différents dans le data center sur des disques différents ou sur un même disque mais pas en accès contiguë (le côté aléatoire de la lecture). Comme l'action de lecture nécessite le déplacement d'un aiguille mécanique et que la rapidité de lecture des disques est bridée par les interfaces de liaisons (cartes controlleurs et cables) ce sera un vrai challenge de lire autant de volume de données dans ce type de datacenter.

 

Vous me direz qu'il y a aussi les disques SSD maintenant, plus de partie mécanique car ce sont des cartes mémoire à base de celulles NAND (des transistors montés en série pour ceux qui ont un peu étudié l'electronique), c'est effectivement très performant en lecture jusqu'à 10x plus que le disque classique mais le soucis c'est l'écriture, c'est affreusement lent en raison de l'algorithme relocate-on-write associé au garbage collector et ça gaspille très vite l'espace de stockage. Aussi les NAND se déteriorent à chaque action d'écriture ce qui fini de dégrader les performances globale car un algorithme de wear leveling doit préserver les blocs en déplaçant  les données les plus lues dans les blocs les en forme ...

 

Enfin il me semble que c'est a l'IN2P3 de Villeurbanne (banlieue de Lyon) que seront stocké ces données, je pense que le traitement final se fera toutefois ailleurs par les chercheurs du monde entier qui liront justement ces données.

 

Colloque ‘Getting ready to do science with LSST data’

En effet le problème des "entrées / sorties" (I/O) est complexe et il faut également avoir en tête la problématique du coût car du SSD par exemple doit coûter en gros 10 fois le prix du disque classique. Sur des dizaines, voire centaines de pétaoctets, même une petite différence de prix sur le matériel unitaire a des répercussions énormes sur le budget. Il faut donc mettre en place une architecture de stockage et d'accès aux données qui soit parfaitement adaptée aux besoins. Par exemple, il peut être intéressant de mettre du SSD pour certains types de données alors que d'autres passeront l'essentiel du temps sur bandes magnétiques avant d'être copiées sur disque lorsque c'est nécessaire. 
 

En effet, c'est bien au Centre de Calcul de l'IN2P3 (https://cc.in2p3.fr/) à Villeurbanne que les données LSST seront traitées pour moitiés et stockées. L'analyse finale pour en extraire "la science" se fera un peu partout dans le monde à partir des catalogues d'objets astronomiques qui seront stockées dans une base de données et accessible au travers d'une plateforme d'analyse scientifique.

 

À noter que le projet  LSST a aussi toute une dimension d'éducation et de diffusion de la connaissance vers le grand public. Un petit centre de calcul sera même dédié à cela.

 

Dominique

[bang*gib]

Bonjour à tous.

Merci pour ta réponse et tes précisions Dominique.

 

Il y a 17 heures, Dom de Savoie a dit :

J'ai revisionné la vidéo et le choix du mot "aléatoire" prête à confusion, il fait référence à la façon dont les données sont accédées sur les supports de stockage (disques). Aléatoire indique simplement que les données ne sont pas accédées séquentiellement mais qu'il faudra sauter d'une zone de stockage à une autre. Bref c'est du jargon informatique ! L'analyse des données ne sera pas du tout aléatoire, bien au contraire 🙂 

 

En fait ça me fait penser un peu, comme être devant juxbox. Dans l' index tu sélectionnes, et un bras viens attraper un disque qui vient te jouer l’information désirée. Une sorte d’aléatoire organisé

 

Il y a 17 heures, Dom de Savoie a dit :

Dans LSST, il y a deux types de traitement de données: 
1- Chaque image, après acquisition sera comparée à une image de référence afin d'identifier en moins de 60s tout ce qui a changé (astéroïdes, comètes, supernovae, kilonovae, étoiles variables, trucs bizarres...).

 

Il y a 17 heures, Dom de Savoie a dit :

1- Chaque image, après acquisition sera comparée à une image de référence afin d'identifier en moins de 60s tout ce qui a changé (astéroïdes, comètes, supernovae, kilonovae, étoiles variables, trucs bizarres...). Chaque nuit, il y aura plusieurs millions d'alertes émises et mises à la disposition de la communauté scientifique. Ce flux d'alertes sera traité par un ensembles de "brokers" qui feront une analyse fine afin d'identifier les événements les plus intéressants.
2- Chaque année (2 fois la première année), l'ensemble des données sera traité afin de produire des catalogues d'objets astronomiques (étoiles, galaxies,...) qui seront catalogués dans une gigantesque base de données.

 

60 s, c’est très rapide.  J’avais saisi l’urgence d’un événement à transmettre, astéroïdes ou autre. J’imagine aussi une très probable utilité dans un cas de détection d’ondes gravitationnelles (Direction provenance).

Le distinguo entre informations à exploiter très rapidement et l’information astronomique d’objets dans la base de données est très clair, la confusion même s’il elle n’est plus, je me dis il ne faut rien oublier, un peu comme une image mise de côté x années et qu’un jour tu te rends compte que. Tout doit être prévu.

 

Il y a 17 heures, Dom de Savoie a dit :

C'est ce traitement qui sera en partie réalisé à Lyon. La France disposera donc d'une copie complète des données (images et catalogues). Le traitement est complexe en raison de la masse de données et du niveau de précision recherché. L'un des traitement les plus gourmand en calcul est le "deblending" des galaxies. En effet, quand on observe le ciel à la profondeur atteinte par LSST, on voit des milliards de galaxies et beaucoup d'entre-elles se superposent, il faut alors exécuter des algorithmes très sophistiqués pour "dé-mélanger" les galaxies afin de les mesurer correctement.

 

Ça semble compliqué à piloter tout ça, mais ça va être top .

 

Il y a 17 heures, Dom de Savoie a dit :

Sinon le principe du traitement des données n'est finalement pas si différent de ce qui se fait en astro amateur 😉 On a des images brutes, on soustraits les bias et les darks, on corrige des flats et on empile les images correspondant aux mêmes régions du ciel. La différence principale est qu'on calibre rigoureusement les flux de lumière afin d'avoir une photométrie rigoureuse.

 

 

Arête tu vas en faire rêver plus d'un 

PS:

Avec le LSST le système solaire  passera  au scanner ...

 

Il y a 8 heures, jgricourt a dit :

Je reviens sur la notion d'accès aléatoire aux données mentionné dans le sujet. Il est très vraisemblable que le stockage prévu soit des baies de disques classique (mécaniques) et la difficulté est de pouvoir accèder simultanément à des données qui sont géographiquement à des endroits différents dans le data center sur des disques différents ou sur un même disque mais pas en accès contiguë (le côté aléatoire de la lecture). Comme l'action de lecture nécessite le déplacement d'un aiguille mécanique et que la rapidité de lecture des disques est bridée par les interfaces de liaisons (cartes controlleurs et cables) ce sera un vrai challenge de lire autant de volume de données dans ce type de datacenter.

 

Merci pour les précisions en plus.

Mais ...Et la défragmentation 

 

Il y a 8 heures, jgricourt a dit :

Vous me direz qu'il y a aussi les disques SSD maintenant, plus de partie mécanique car ce sont des cartes mémoire à base de celulles NAND (des transistors montés en série pour ceux qui ont un peu étudié l'electronique), c'est effectivement très performant en lecture jusqu'à 10x plus que le disque classique mais le soucis c'est l'écriture, c'est affreusement lent en raison de l'algorithme relocate-on-write associé au garbage collector et ça gaspille très vite l'espace de stockage. Aussi les NAND se déteriorent à chaque action d'écriture ce qui fini de dégrader les performances globale car un algorithme de wear leveling doit préserver les blocs en déplaçant  les données les plus lues dans les blocs les plus en forme ...

 

Finalement qu’est ce qui est le mieux?

 Un mixe avec des SDD, c’est possible ?

Je n’avais pas lu plus bas le commentaire de Dom de Savoie avait répondu en partie.

 

J’imagine la saturation des réseaux en cas de fortes sollicitations, mais Google a les moyens il parait.

 

Bon je vais aller jeter un œil au liens

Modifié 20 octobre 2019 par bang*gib

[jgricourt]

il y a 38 minutes, bang*gib a dit :

Et la défragmentation

 

C'est pire que de ne rien faire ! Car c'est du temps processeur en plus pour faire tourner l'algo de défragmentation, c'est une surcharge en lecture / écriture des disques et puis ça diminue la durée de vie des disques

 

il y a 38 minutes, bang*gib a dit :

Finalement qu’est ce qui est le mieux?

 

Peut importe à vrai dire, d'ailleurs j'avais lu un article qui disait que Google s'en fichait un peu de la fiabilité ce qui importe c'est d'avoir mis en place des mécanismes de redondance pour garantir l'intégrité des données à tout instant.

[bang*gib]

il y a 34 minutes, jgricourt a dit :

 

C'est pire que de ne rien faire ! Car c'est du temps processeur en plus pour faire tourner l'algo de défragmentation, c'est une surcharge en lecture / écriture des disques et puis ça diminue la durée de vie des disques

 

 

Peut importe à vrai dire, d'ailleurs j'avais lu un article qui disait que Google s'en fichait un peu de la fiabilité ce qui importe c'est d'avoir mis en place des mécanismes de redondance pour garantir l'intégrité des données à tout instant.

 

Bien j'en tiens compte.

J'aurais imaginé plus d'ordre plus  de rapidité aussi et un meilleur indexage .

Mais je ne suis pas de la partie.

 

C'est vraie que google  a les moyens ,d'une manière ou d'une autre alors . 

 

 

[Dom de Savoie]

Il y a 17 heures, jgricourt a dit :

Peut importe à vrai dire, d'ailleurs j'avais lu un article qui disait que Google s'en fichait un peu de la fiabilité ce qui importe c'est d'avoir mis en place des mécanismes de redondance pour garantir l'intégrité des données à tout instant.

Les seules données qui sont irremplaçables sont les images brutes et les données de calibration, c'est pour cela que celles-ci seront stockées dans au moins 3 centres de calcul dans des pays différents (US, Chili et France). Le restant des données peut normalement être recalculé à partir de ces données brutes mais suivant le type de données perdu ça peut-être compliqué et coûteux en ressources. Il faut donc à tout prix éviter de perdre des données intermédiaires ou pire des catalogues finaux. 
Les centres de calcul ont à leur disposition différentes technologies pour éviter de perdre des données qui, comme le dit @jgricourt, reposent sur des mécanismes de redondance. Le plus simple consiste à stocker les données dans des serveurs de stockages utilisant une technologie RAID (RAID 5 au centre de calcul de l'IN2P3) qui distribue les données sur un ensemble de disques en calculant et stockant une information complémentaire (bit de parité) qui permet de reconstruire les données même en cas de perte d'un disque. On peut faire plus sophistiqué et plus robuste, mais là encore c'est un problème de coût. Suivant le degré de criticité des données on va choisir un système de stockage ou un autre. Par exemple certaines métadonnées sont tellement critiques qu'on les stocke sur des systèmes très chers mais qui garantissent qu'on ne les perdra jamais (ou presque...)

 

Dominique

[bang*gib]

Bonjour à tous.

 

Il y a 1 heure, Dom de Savoie a dit :

Suivant le degré de criticité des données on va choisir un système de stockage ou un autre. Par exemple certaines métadonnées sont tellement critiques qu'on les stocke sur des systèmes très chers mais qui garantissent qu'on ne les perdra jamais (ou presque...)

 

 

J’ai vu tous les liens proposés, et j’ai bien vu qu’on a pris les grands moyens.

Il me parait normal évident et tout à fait logique de faire en sorte que de ne rien paumer.

Tant de travail derrière sur un tas de plans, scientifique en premiers lieux, ça serait bête de perdre de l’investissement autant pour la préciosité de l’information que celui du travail financier.

Je suppose quand même qu’avec et après les découvertes scientifiques que ça va apporter, qu’on soupçonne à ce stade, inestimables, ça rapportera aussi des retombées financières.

Je ne sais combien coûtera le projet LSST, ni ne pense que le budget dispo pour un tel programme soit serré.

Il me paraîtrait paradoxal de faire des économies de bout de chandelle pour protéger l’information, après, faut pas gaspiller, je pense d’abord à Google.

Pardon pour un aspect un peu provoc, mais c’est juste pour mieux définir certains aspects.

 

Modifié 21 octobre 2019 par bang*gib