Statistiques Astrobin

[Fred_76]

Bonjour,

 

Je cherche à utiliser Astrobin pour faire quelques statistiques, par exemple le nombre de photos prises avec un Canon, Nikon, Sony, Pentax...

 

Si on arrive à sélectionner les photos prises avec un matériel particulier, on ne sait pas combien Astrobin en a trouvé. On est alors obligé de cliquer sur le bouton Suivant de la page des résultats jusqu'à ce qu'on ne puisse plus... c'est chiant

 

Y a-t'il une façon plus rapide d'avoir ce résultat ?

 

A+

 

Fred

[schizophrene]

Tu peux toujours tenter de voir ce qu'envoie le serveur lors d'une recherche.

 

Avec un peu de chance, tu obtiens du JSON avec un champ indiquant le nombre total de photos pour une recherche.

Sinon, faut déjà voir la réponse.

 

Sous Firefox, il y a l'examinateur qui s'ouvre avec F12.

[schizophrene]

Manque de bol, une recherche ne renvoie pas de JSON, mais directement du code (HTML et JavaScript).

 

Sans examiner le code (particulièrement le JavaScript), il n'y a pas de solution rapide et/ou simple.

[philou31]

Tu as 70 réponses par page.

Pour une recherche générique :

Nikon : 170 pages

Canon :1123 pages

 

Tu peux récupérer l'url de recherches :

https://www.astrobin.com/search/?search_type=0&license=0&license=1&license=2&license=3&license=4&license=5&license=6&page=1&q=nikon&camera_type=any&camera_type=0&camera_type=1&camera_type=2&camera_type=3&camera_type=4&camera_type=5&telescope_type=any&telescope_type=0&telescope_type=1&telescope_type=2&telescope_type=3&telescope_type=4&telescope_type=5&telescope_type=6&telescope_type=7&telescope_type=8&telescope_type=9&telescope_type=10&telescope_type=11&telescope_type=12&telescope_type=13&telescope_type=14&telescope_type=15&telescope_type=16&telescope_type=17&telescope_type=18&telescope_type=19&telescope_type=20&telescope_type=21&telescope_type=22#page_anchor

 

 

 

Pour la récupérer : tu fais la recherche qui t'int"resse via l'IHM.

Ensuite clic-droit sur le bouton suvant ou précédent => copier l'url.

 

Tu fais varier le parametre page=x pour trouver le nbr max de page.

- sois tu fais un programme, si tu as vraiment bc de requetes à faire

- soit par dichotomie : page=1000, page=500, page=250 => tu affines

 

Si tu fais un pgr laisse un délai > 2-3 secondes entre chaque requête.

[Fred_76]

Merci Philpu, c'est exactement comme ça que j'ai procédé, mais j'aurai bien aimé un truc plus rapide...

[philou31]

Pour aller plus vite tu seras obligé de passer par de la programmation.

- API REST d'astrobin est trop simple, elle ne pourras pas t'aider

- Tu peux des petits shell simple qui font des appels à wget

- Tu peux utiliser des petits web crawler. Il en existe des dizaines. Si tu fait du python. Tu as des outils légers comme scrapy.

 

Si tu utilises un web crawler, généralement ils respectent les règles du robot.txt.

Le robot.txt du site astrobin interdit de crawler les requêtes /search.