CURL donne 503; la page fonctionne bien dans le navigateur.

J’essaie de rassembler de manière pragmatique des informations à partir d’une page Web en utilisant cURL. Les informations dont j’ai besoin sont très simples et la page est assez simple.

Lors de l’utilisation de cURL, je reçois une erreur 503. Lorsque je visite la même page dans un navigateur, même machine, la page se charge très bien. J’ai lu que cela pouvait être causé par le site nécessitant un cookie pour être interrogé. J’ai essayé ceci, mais je peux certes le faire mal (j’ai saisi le cookie de l’inspecteur du navigateur Web).

curl --cookie "sessionId=.eJxrYKotZNQI5S9OLS7OzM-LT81LTMpJTfFmChVIzEktKolPzkhNzo4vycxNLWRKTkksSQUxueCMQuZQLvaHHGI82lqMp0KTCypLqrjiQ0OcuQpZNIMKWduCCtlCuUvyi-NLC0B6UgrZO0v1ACyMJy0:1dk8X0:WIgK35IaFa7RbCe7EqpSMtLjK9w" https://www.appannie.com/en/apps/ios/app/284815942/ -o /tmp/test.html 

Je suis vraiment un utilisateur de base. avec des connaissances très rudimentaires. Il y a de fortes chances que je manque quelque chose d’évident. Je me suis rendu compte que le site que je tente d’accéder en utilisant nginx, si c’est une mise en garde importante.

Certains sites désactiveront les curls user-agent et certains désactiveront la navigation avec les en-têtes manquants. J’ai essayé ci-dessous curl et cela fonctionne très bien

 curl 'https://www.appannie.com/en/apps/ios/app/284815942/' -H 'pragma: no-cache' -H 'dnt: 1' -H 'accept-encoding: gzip, deflate, br' -H 'accept-language: en-US,en;q=0.8' -H 'upgrade-insecure-requests: 1' -H 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36' -H 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8' -H 'cache-control: no-cache' -H 'authority: www.appannie.com' --compressed 

Voici comment le navigateur le fait et c’est ce que vous devriez essayer de reproduire