Спарсить 40k URLs с 8 сайтов (нужен обход блокировок)

[Seoandrii]

Всем привет. Нужно спарсить 40000 url с 8 разных сайтов + сделать парсер.
1.Парсим только <h1>;
2.К-во суммарное url - 40 000;
3.К-во разных сайтов - 8;
4.Сложность - блокировка сайтами обращений к ним (CF или что-то еще используют).
5.Пример URL приведу в комментариях.

Мне нужен как сам парсер для любой версии ZenoPoster, так и уже готовое решение по этим 40к URL.

Пишите цену, договоримся.

 

[Seoandrii]

Пример URLs, с которых нужно спарсить h1

Speko Education Alliance - Government Administration - Overview, Competitors, and Employees | Apollo.io View Speko Education Alliance (http://www.speko.com) location in New York, United States, revenue, competitors and contact information. Find and reach Speko Education Alliance's employees by department, seniority, title, and much more. www.apollo.io

Live IQ - Health, Wellness & Fitness - Overview, Competitors, and Employees | Apollo.io View Live IQ (http://www.liveiq.cz) revenue, competitors and contact information. Find and reach Live IQ's employees by department, seniority, title, and much more. www.apollo.io

Простой SEOFrog не тянет, т.к. блокируются все запросы.

 

[bad robot]

остальные 7 сайтов?

 

[palman67]

на apollo.io ограничение на кол-во запросов по времени, а так на запросах парсится. либо долго парсить, либо большое кол-во proxy надо

 

[Seoandrii]

остальные 7 сайтов?

Brad Hill's email & phone | AAA Texas's Manager, Claims Automotive Team contact info Brad Hill's profile - ❅❅❅❅❅@aaa-texas.com email address, phone number, address and contact information | get free emails&phones for business contacts www.datanyze.com

The united illuminating company - Email Address & Phone Number - Lusha Reach decision-makers at The United Illuminating Company. Find their phone numbers & email addresses. It’s free. - Lusha www.lusha.com

https://wiza.co/d/mesa-airlines/23bc/tiyo-rowe

Queens Medallion Leasing Inc: Contact Details and Business Profile Queens Medallion Leasing Inc is a Rail, Bus & Taxi, Medallion Leasing, and Transportation company located in New York, US with $6.00 Million in revenue and 15 employees. Find top employees, contact details and business statistics at RocketReach. rocketreach.co

Gold Coast Search Partners - Email & Phone of top management contacts Gold Coast Search Partners - email id & phone of 2 top management contacts like Founder, CEO, CFO, CMO, CTO, Marketing or HR or Finance head & all company details. www.easyleadz.com

https://www.zoominfo.com/c/imvu-e-terms/355785911

Linda Dang's Email & Phone - Gibson, Dunn & Crutcher LLP - San Francisco Bay Area Click to get Linda Dang's email: l****e@alumni.usc.edu and phone: (**) *** *** 359; Role: Associate @ Gibson, Dunn & Crutcher LLP, San Francisco Bay Area. contactout.com

Пример остальных 7 сайтов. Нужен готовый вариант + сам парсер По поводу проксей, возможно кто-то знает такой сервис и поймет, как его можно прикрутить к сему мероприятию?

Buy Rotating IP Proxies from $8/GB - Free Trial

Rotating proxies are hard to detect. Choose an ideal solution for challenging targets around the world and enjoy block-free scraping!

oxylabs.io

 

[Seoandrii]

на apollo.io ограничение на кол-во запросов по времени, а так на запросах парсится. либо долго парсить, либо большое кол-во proxy надо

Парсил при помощи SEOFrog с таймингом между URL в 10 сек, кажется. Меня заблочил, SEOFrog получает 429 код, причем сразу, первые 3 URL получили 403, затем дальше все 429.

 

[Seoandrii]

Эх, думал кто-то напишет парсер Пойду в онлайн-парсеры за подписку. Если кто знает решение (какие API юзать и тп) - пишите. Слежу за топиком.

 

[Seoandrii]

Спарсил частично. Юзаем сервис scrapingbee.com, который дает API. Его API можно юзать в виде url, который можно дописывать "перед" теми URL, которые вы хотите спарсить. Пример:

https://app.scrapingbee.com/api/v1/?api_key=[B]API_KEY[/B]&url=https://www.apollo.io/companies/Sodal-Strategies/61344a3f43df57000100f085

1.Скорость парсинга медленная. Стоит ее увеличить или в 2 потока юзать - сразу отдаются капчи (почему?)
2.Если еще разгадывать капчи, то решение усложниться и придется писать парсер на ZenoPoster. Да и дополнительно денег тратить придется.
3.Zoominfo так и не спарсило как не крутись, отдает код 0 или 500 именно для zoominfo.