Парсер на 8 поисковиков и чекер cms social-кнопок ...

[SergSh]

Шаблон 1 - парсер поисковиков.
В действии участвуют: Aol, Ask, Bing, Dogpile, Google, Startpage, Yahoo, Yandex
Работает через браузер: одна вкладка - один поисковик. Можно одновременно по всем парсить.
Keywords list: список для ключей.
Page: до какой страници парсить.
Mouse Emulation: отключить - включить вождение курсором мыши по тайтлам выдачи. Без быстрее.

Результаты записываются в таблицу в 7 колонок.

Настройки

Шаблон 2 - парсит по собранным ссылкам из результатов первого парсера и может парсить из своего списка ссылок.
Запускать нужно в один поток, так как он реализован на parallelfore
Возможности.

1. Проверяет на 24 cms: woocommerce и bbpress выдаст если вордпресс не найдет.

WordPress	Wix	Ucoz	XenForo	IPB
WooCommerce	Blogger	Shopify	phpBB	MyBB
BBPress	Tumblr	Magento	vBulletin	Discourse
Jomla	Jimdo	OpenCart	Discuz	Vanilla
Drupal	Weebly	SMF	Burning Board
TYPO3	Squarespace

[TBODY] [/TBODY]

2. Проверяет есть ли кнопки от соцсетей на странице:
Facebook, GooglePlus, Twitter, LinkedIn

3. Проверяет есть ли CloudFlare

4. Собирает все заголовки H1 - H6 в оддельный лист таблици и дописывает в основной лист количетво найденных заголовков на странице.

5. Собирает ссылки на изображения в и альты в отдельный лист и дописывает в основной лист количество найденных изображений.

6. Собирает все внешние ссылки и анхоры в отдельный лист и дописывает в основной лист количество найденных ссылок follow nofollow.

7. Парсер сохраняет все страници в папку bufer. Можно потом что-то делать с ними.
В настройках нужно указать или таблицу из первого парсера или свой список ссылок.

В комплекте библиотеки HtmlAgilitypack и Epplus в папке с названием "Содержимое в ExternalAssemblies". Их нужно перенести в папку \Progs\ExternalAssemblies\.

И две таблици с результатами.
Таблица SERP - в результат первого парсера дописан результат из второго парсера.
Таблица From the list - парсинг по списку ссылок.
Работает на 5.17.2.0

 

[Astraport]

Годнота!

 

[AndreyAAA]

А можно примерно что то о скорости рассказать?

 

[SergSh]

А можно примерно что то о скорости рассказать?

Браузерный медленный. Второй 300 ссылок за 5-7 мин делает на двух ядрах через мейкер, в шабе в кубике http в начале в параллеле можно подкрутить потоки (забыл реализовать через настройки).
Шабы делались под чекинг закономерностей в топах по пулу запросов.

 

[AndreyAAA]

2. Проверяет есть ли кнопки от соцсетей на странице:
Facebook, GooglePlus, Twitter, LinkedIn

А какие именно кнопки?

 

[SergSh]

А какие именно кнопки?

Признаки из документаций соцсетей, атрибут name. в кубике xml все добро в формате xml, можно добавлять.

<social>
<sitename name = "Facebook">
  <regex name = "FB-page">fb(-|:)page</regex>
  <regex name = "FB-quote">fb(-|:)quote</regex>
  <regex name = "FB-save">fb(-|:)save</regex>
  <regex name = "FB-like">fb(-|:)like</regex>
  <regex name = "FB-video">fb(-|:)video|www\.facebook\.com(%2F|/)(facebook(%2F|/)videos(%2F|/)|video(%2F|/)embed\?video_id=)</regex>
  <regex name = "FB-share-button">fb(-|:)share-button</regex>
  <regex name = "FB-comments">fb((-|:)comments(-count|))</regex>
  <regex name = "FB-comment-embed">fb(-|:)comment-(embed|comment)</regex>
  <regex name = "FB-post">fb(-|:)post</regex>
  <regex name = "FB-login">FB\.(getLoginStatus|login)|fb(-|:)login-button</regex>
  <regex name = "FB-pixel">fbevents\.js|facebook\.com(%2F|/).*?PixelInitialized|&lt;!--(\s+End|)\s+Facebook\s+Pixel\s+Code\s--&gt;</regex>
</sitename>
<sitename name = "GooglePlus">
  <regex name = "GP-connect">googleapis\.com(%2F|/)auth(%2F|/)plus\.login|googleapis\.com(%2F|/)auth(%2F|/)userinfo\.profile|googleapis\.com(%2F|/)auth(%2F|/)userinfo\.email</regex>
  <regex name = "GP-plusone">apis\.google\.com(%2F|/)js(%2F|/)plusone\.js|(gapi\.|g:|g-)plusone</regex>
  <regex name = "GP-follow">(gapi\.|g:|g-)follow</regex>
</sitename>
<sitename name = "Twitter">
  <regex name = "TW-follow">twttr\.widgets(\.createFollowButton|)|twitter(\.com/intent/follow|-follow-button|\.com/widgets/follow_button)</regex>
  <regex name = "TW-embedded">twttr\.widgets\.createTweet|twitter-tweet</regex>
  <regex name = "TW-timeline">twttr\.widgets\.(createTimeline|createGridFromCollection)|twitter(-timeline|-grid|\.com/.*?/(lists|timelines)/|\.com/oembed\?url=)</regex>
  <regex name = "TW-moments">twttr\.widgets\.createMoment|twitter(-moment|\.com/i/moments/)</regex>
  <regex name = "TW-tweet">twttr\.widgets\.((createShare|createHashtag|createMention)Button)|twitter(((-share|-mention|-hashtag)-button)|\.com/intent/tweet\?text=)|/web/tweet-button</regex>
  <regex name = "TW-direct">twitter(-dm-button|\.com/messages/compose(\?recipient_id=|))</regex>
  <regex name = "TW-login">sign-in-with-twitter|api\.twitter\.com/oauth/authenticate\?oauth_token=</regex>
  <regex name = "TW-periscope">twttr\.widgets\.createPeriscopeOnAirButton|periscope-on-air</regex>
</sitename>
<sitename name = "LinkedIn">
  <regex name = "LI-share">type=&quot;IN/Share&quot;</regex>
  <regex name = "LI-login">type=&quot;IN/Login&quot;</regex>
  <regex name = "LI-share">type=&quot;IN/FollowCompany&quot;</regex>
</sitename>
</social>

 

[AndreyAAA]

Попробовал запустить, но ошибка вышла, так же поле прокси не заполнял

 

[SergSh]

Попробовал запустить, но ошибка вышла, так же поле прокси не заполнял

System.Net подключен в шаблоне. какая версия зенки? какой шаблон?
В owncode если 28 строку закоментить - system.net.http
Все system.net.http если закомментить?

 

[AndreyAAA]

System.Net подключен в шаблоне. какая версия зенки? какой шаблон?
В owncode если 28 строку закоментить - system.net.http
Все system.net.http если закомментить?

Шаблон 2
Версия 5 22, последняя вроде
На счет остального я не знаю точно, так как не сталкивался

А сейчас тая ошибка вышла

 

[ibred]

Попробовал запустить, но ошибка вышла, так же поле прокси не заполнял

Содержимое папки "Содержимое в ExternalAssemblies" из архива перенесли в \Progs\ExternalAssemblies\, что в директории программы?

 

[Sputnik]

Круто конечно. В библиотеках еще не разбираюсь. А есть вариант без библиотек?

 

[SergSh]

Круто конечно. В библиотеках еще не разбираюсь. А есть вариант без библиотек?

Так там не нужно разбираться. Нужно закинуть их в специальную папку зеннопостера.

 

[Sputnik]

Чесно сказать этот кусок

Parallel.Invoke(
() =>
{
if(mouse){ SERP.MouseEmulator(project, instance, Site); }
},

() =>
{
if(tab1.IsBusy){tab1.WaitDownloading();}
serplist.AddRange(SERP.Parse(instance, Site, key, cpagi));
}
для меня китайская грамота

 

[SergSh]

для меня китайская грамота

Это два потока, в одном водит курсором по тайтлам, а в другом парсит страницу.. чтоб время не терять)

 

[Ssmodey]

А, если не секрет, зачем нужна информация о наличии кнопок соц.сетей на сайте? Через них можно что-то разослать?

 

[SergSh]

А, если не секрет, зачем нужна информация о наличии кнопок соц.сетей на сайте? Через них можно что-то разослать?

Можно фармить акки тыкая эти кнопки.

 

[Ssmodey]

Можно фармить акки тыкая эти кнопки.

Т.е. при клике по кнопке они отдают логин/пароль аккаунта на который подвязаны что ли?

 

[SergSh]

Т.е. при клике по кнопке они отдают логин/пароль аккаунта на который подвязаны?

там нужно будет подтверждать в доп окне свои действия.. если залогинен в акке сети

 

[Ssmodey]

там нужно будет подтверждать в доп окне свои действия.. если залогинен в акке сети

Немного не понимаю, вот я залогинен допустим в twitter, кликаю на кнопку. Вылазит подтверждение что я хочу поделиться статьёй в своём твиттере. И, как мне это поможет нафармить аккаунтов?
А, или имеется ввиду наполнение/раскрутка аккаунтов своих?

 

[SergSh]

Немного не понимаю, вот я залогинен допустим в twitter, кликаю на кнопку. Вылазит подтверждение что я хочу поделиться статьёй в своём твиттере. И, как мне это поможет нафармить аккаунтов?
А, или имеется ввиду наполнение/раскрутка аккаунтов своих?

наполнение и раскрутка == фарминг)

 

[Astraport]

Пробую SERP.xmlz ExternalAssemblies добавил.
При шаблона открытии получаю:

Добавил список с ключами.
При запуске шаблона получаю:

 

[SergSh]

Пробую SERP.xmlz ExternalAssemblies добавил.
При шаблона открытии получаю:
Посмотреть вложение 32991

Добавил список с ключами.
При запуске шаблона получаю:
Посмотреть вложение 32992

Версия зенно какая?

 

[SergSh]

Только что запускал на 7 - без яндекса все робит).
В архиве немного обновленный шаб, теперь счетчик позиций в выдаче на второй третьей.. страницах не с единици начинается

 

[Astraport]

Версия зенно какая?

5.22.1.0

 

[SergSh]

5.22.1.0

Результат отработки двух парсеров на 5.22.1.0

 

[Astraport]

Результат отработки двух парсеров на 5.22.1.0

Да я верю, что у тебя все отлично работает. Можешь по кодам ошибок какие-нибудь версии предложить что именно проверить?
Кто-то ещё юзает шаблон? Или проверьте, там делов 2 минуты, скачать и любой ключ в текстовике задать.

Так то шаблон очень интересный, продвинутый аналог Лягушки. И под доры может зайти.

 

[SergSh]

Да я верю, что у тебя все отлично работает. Можешь по кодам ошибок какие-нибудь версии предложить что именно проверить?
Кто-то ещё юзает шаблон? Или проверьте, там делов 2 минуты, скачать и любой ключ в текстовике задать.

Так то шаблон очень интересный, продвинутый аналог Лягушки. И под доры может зайти.

Может не хватает сборок? я тестил на новом компе, новоскаченной зенке на двух версиях . библиотеки качал из этой ветки.
Или повреждения гдето в системе.

 

[SergSh]

Или другие библиотеки конфликтуют

 

[Astraport]

Может не хватает сборок?

Не понял, каких сборок?

 

[SergSh]

Не понял, каких сборок?

Когда зенку устанавливаешь, бывает, что просит сборки установить.