SiteMap_Parser_Internal_Links - бесплатный проект для парсинга внутренних страниц сайта

[Sergodjan]

Друзья! Представляем наш новый бесплатный и полностью открытый проект для практической работы, а также для образовательных целей. Это может быть особенно полезно новичкам, которые только начинают свое общение и свой путь с нашим продуктом ZennoPoster (ProjectMaker). А также, возможно, проект будет востребован для более опытных наших пользователей на практических задачах.

Этот проект предназначен для сбора списка внутренних страниц сайтов.
Наш проект может особенно пригодиться, если изначально нет SiteMap, которым обычно комплектуются сайты.

Проект может выполняться в 3-х основных режимах:

• С браузером Хромиум
• С браузером Хром CEF
• Без браузера (в этом случае работа идет через GET-запросы)

Проект можно дополнительно тонко настраивать:

• Изменять глубину парсинга (от 1 до 5; среднее рекомендуемое значение: 3)
• Изменять многопоточность
• Изменять паузу для перебора страниц
• Изменять таймаут ожидания полной подгрузки страницы

Важное уточнение по использованию проекта:
Этот проект можно использовать для своих собственных нужд, а также в образовательных целях, но не для продажи. Можете изменять проект, добавлять в него свои фишки и выкладывать в этой теме, думаем, что это будет полезно всем. Также пишите здесь, что вы хотели бы добавить в проект, какие новые фичи или изменения.

Порядок работы с проектом:

1. Скачайте приложенный проект и добавьте его в список заданий ZennoPoster.
2. Откройте входные настройки проекта через двойной клик левой кнопки мыши по заданию.
3. В открывшихся входных настрйоках добавьте в поле Site адрес нужного сайта (можно полным Url, а можно вписать просто домен).
4. Проверьте прочие настройки, при необходимости измените их.
5. Запустите проект, добавив +1 выполнение.
6. Через некоторое время проект соберет список страниц и автоматически завершит свою работу.
7. Результат работы проекта (список собранных внутренних адресов страниц) будет находиться в текстовом файле "out-int-links-<domain>.txt".

Важное уточнение по работе с проектом:
В процессе работы проект сам добавит нужное количество потоков, указанное во входных настройках. Очень важно, что если вы используете браузерный режим работы проекта, то следует с осторожностью задавать многопоточность, так как браузерная работа подразумевает большую нагрузку на системные ресурсы, особенно в случае использования режима работы с Chromium, а также в случае работы проекта с "тяжелым" сайтом.

Так выглядят "Входные настройки" проекта:

Так выглядит проект в ProjectMaker:

Так выглядит процесс работы проекта в ZennoPoster:

 

[ssXXXss]

Переписывай на запросы в один кубик)))