Могу ли я «Добавить документ» типа URL-адреса в свою коллекцию?

Question

Я хочу индексировать сайт в свою коллекцию, по сути, хочу индексировать мой сайт Wordpress, перейдя по всем URL-адресам сообщений.

E.g.

url=http://www.szirine.com/blog/2016/02/07/anne-dunn/ 

Ofcourse, в идеале я хотел бы иметь возможность итеративно индекс целый домен или URI, Э.Г.

url=http://www.szirine.com/ 
url=http://www.szirine.com/blog/ 

Answer 1

Лучшее решение в настоящее время является использование данных Crawler, доступных на приборной панели Discovery Service в Bluemix.

Data Crawler по состоянию на v1.3.0 не имеет имеет собственный способ обхода сайтов через HTTP или HTTPS. Это может измениться в будущей версии Data Crawler.

В настоящем время, хотя, возможно, чтобы имитировать веб ползать с помощью GNU wget, широко доступного HTTP-клиент с режимом зеркального отображения и great documentation, чтобы загрузить веб-сайт локально и загрузить его на Discovery Service с помощью соединителя файловой системы Data искателя.

Чтобы отпечатать веб-сайт, используйте wget --mirror http://www.example.com. Для получения дополнительной информации, пожалуйста, ознакомьтесь с вышеуказанной документацией.

Если пользовательский веб-сканирование - это то, чего вы очень хотите, откройте билет, чтобы мы могли понять, насколько силен спрос на эту функцию.

Одно примечание: wget for Windows существует, но на данный момент он не очень ценен, потому что Data Crawler не поддерживает Windows с версии 1.3.0.