- Регистрация
- 11.05.2015
- Сообщения
- 3 876
- Реакции
- 2 109
- Баллы
- 113
Всем привет. Шаблон состоит из 4 кубиков C#, запускать каждый из них можно по отдельности. В каждом кубике есть комментарии к коду.
Шаблон затачивался под тему дейтинга, но можно использовать под любую другую.
Входные настройки можете сделать по своему усмотрению.
Суть работы такая
Кубик Парсер заголовков можно использовать для сбора названий видео с первой страницы сайта, и эти названия потом можно использовать как ключевые слова при поиске в гугл.
Из списка сайтов с видеороликами gigant.txt берется ссылка и после перехода, с первой страницы парсятся все заголовки видео в отдельный список tittle_videos.txt. Некоторые сайты могут быть заблокированы роскомнадзором, поэтому, лучше использовать прокси. Или сделать свою подборку сайтов с которых хотите парсить заголовки видео.
На разных сайтах может быть разная верстка, поэтому изменяйте путь xpath в строке 37, или добавляйте дополнительный через вертикальный слэш |.
Кубик Фильтр по минус словам, позволяет отсеять не нужные слова и оставить только названия. Список минус слов задается в key_minus.txt
Кубик (3) Поиск гугл, нужен для по ключевым словам(собранным заголовками) через поиск гугла собрать список доменов, которые будем анализировать на similarweb. Сейчас берется случайная строка из списка, но вы можете сделать бесконечный цикл для обработки всего списка ключевых слов. Иногда при переходе на гугл, выдается капча, автоматическое разгадывание можете добавить сами или разгадать вручную.
Почему я это все это сам не сделал, спросите Вы
, ну так это же конкурс шаблонов, а не раздача шаблонов под ключ, тем интереснее будет Вам самим применить это к своим проектам, а для моих задач этого вполне хватает.
При обработке результатов поиска, собираются только домены, которые проходят фильтр (отсеиваются дубликаты, игнорируемые (из списка гигантов) и т.п.). Можете задать нужное количество страниц результатов поиска, сейчас задано 5 страниц.
После сбора списка доменов, переходим к их анализу через Similarweb (кубик 4).
В кубике 4 можно задать нужные параметры трафика для домена. Например, вы можете задать минимальные границы нужного типа трафика, страны или количества посетителей и в результате получить таблицу с результатами. Поле примечание, добавляется при ручном просмотре и анализе сайта на требуемый функционал.
В общем читайте комментарии в коде, и при необходимости изменяйте для своих задач.
Если Вам понравился шаблон, нажимайте Спасибо и приходите на голосование.
Шаблон затачивался под тему дейтинга, но можно использовать под любую другую.
Входные настройки можете сделать по своему усмотрению.
Суть работы такая
Кубик Парсер заголовков можно использовать для сбора названий видео с первой страницы сайта, и эти названия потом можно использовать как ключевые слова при поиске в гугл.
Из списка сайтов с видеороликами gigant.txt берется ссылка и после перехода, с первой страницы парсятся все заголовки видео в отдельный список tittle_videos.txt. Некоторые сайты могут быть заблокированы роскомнадзором, поэтому, лучше использовать прокси. Или сделать свою подборку сайтов с которых хотите парсить заголовки видео.
На разных сайтах может быть разная верстка, поэтому изменяйте путь xpath в строке 37, или добавляйте дополнительный через вертикальный слэш |.
Кубик Фильтр по минус словам, позволяет отсеять не нужные слова и оставить только названия. Список минус слов задается в key_minus.txt
Кубик (3) Поиск гугл, нужен для по ключевым словам(собранным заголовками) через поиск гугла собрать список доменов, которые будем анализировать на similarweb. Сейчас берется случайная строка из списка, но вы можете сделать бесконечный цикл для обработки всего списка ключевых слов. Иногда при переходе на гугл, выдается капча, автоматическое разгадывание можете добавить сами или разгадать вручную.
Почему я это все это сам не сделал, спросите Вы
, ну так это же конкурс шаблонов, а не раздача шаблонов под ключ, тем интереснее будет Вам самим применить это к своим проектам, а для моих задач этого вполне хватает.При обработке результатов поиска, собираются только домены, которые проходят фильтр (отсеиваются дубликаты, игнорируемые (из списка гигантов) и т.п.). Можете задать нужное количество страниц результатов поиска, сейчас задано 5 страниц.
После сбора списка доменов, переходим к их анализу через Similarweb (кубик 4).
В кубике 4 можно задать нужные параметры трафика для домена. Например, вы можете задать минимальные границы нужного типа трафика, страны или количества посетителей и в результате получить таблицу с результатами. Поле примечание, добавляется при ручном просмотре и анализе сайта на требуемый функционал.
В общем читайте комментарии в коде, и при необходимости изменяйте для своих задач.
Если Вам понравился шаблон, нажимайте Спасибо и приходите на голосование.
- Номер конкурса шаблонов
- Третий конкурс шаблонов
- Уровень сложности
- Продвинутый
- Категория
- Парсинг
Последнее редактирование модератором:
