для моего проекта Мне нужно получить доступ к целым страницам (100) Google за раз для определенного ключевого слова. Я использовал цикл «для» для доступа к страницам в url, написанном на моем коде C#. Но для доступа требуется больше времени. Иногда он показывает ошибку HttpRequest. Любой способ увеличить скорость?сокращение времени загрузки 100 страниц google
Запросить их параллельно. HTTP является асинхронным по своей природе, поэтому должен быть ваш код запроса.
В вашем случае скорость ограничена временем, требуемым для выполнения запроса ввода-вывода. Вы можете ускорить общую задачу, обратившись к серверам параллельно (т. Е. Используя ThreadPool). Браузер обычно будет использовать пару (2-8) параллельных запросов ввода-вывода для сервера, так что вы могли бы (например, полезно, если вам также нужны файлы изображений или файлы css, на которые ссылается результат Google). Поскольку у вас будет до 100 серверов, вы можете сделать это массово параллельно; снова задача, с которой вам поможет.
-1, пожалуйста, пересмотреть, для многих опечаток и «фрейдианских» словосочетаний. – lexu
Не уверен в вашем вопросе: вы увеличили «записи» на странице от 10 до 100 (вверху страницы поиска, настройки). – lexu