как отправить запрос в Google с curl

Question

Я работаю в Linux и пытаюсь использовать curl для отправки запросов в Google и сохранения ответа в виде файла html.

Когда я использую Google для поиска что-то, такие как строка "ABC", я считаю, что ссылка на Google является: https://www.google.lu/#q=abc

Так что я стараюсь, как это:

curl https://www.google.lu/#q=abc -o res.html 

Но res.html - это просто главная страница Google, а не результат поиска «abc».

Как это сделать?

Answer 1

Все, что после # обрабатывается на стороне клиента с помощью JavaScript, поэтому оно не работает с curl.

Вы можете вместо этого использовать традиционные, не-AJAX интерфейс на https://www.google.com/search?q=abc

Оказывается, чтобы блокировать вас, если вы не подменять агента пользователя, так что в целом:

curl \ 
    -A 'Mozilla/5.0 (MSIE; Windows 10)' \ 
    -o res.html \ 
    "https://www.google.com/search?q=abc"