Оптимизировать шаблон парсинга выдачи Google или написать с нуля

Atlas

Client
Регистрация
16.02.2014
Сообщения
131
Благодарностей
7
Баллы
18
Всем привет!
Я создал шаблон парсинга сниппетов Google с использованием кубиков + регулярок + списков.
Но есть проблема - он жрет много ресурсов. Запустил на VPS (5 ядер, 16 гб ОЗУ), не тянет даже 5 потоков, загружает ЦП на 100%. Читал эту статью, пробовал разбить шаблон на два отдельных шаблона - ничего не помогает. А мне нужно иметь возможность запустить хотя бы 10 потоков на VPS.
В общем, ищу человека, который сможет оптимизировать мой шаблон. Или написать с нуля, опираясь на логику моего, т.к я прогнал свой на большом массиве данных и уже отловил большинство возможных сценариев. Сразу скажу, на запросах POST/GET не надо, только веб.
 

Sanekk

Client
Регистрация
24.06.2016
Сообщения
988
Благодарностей
388
Баллы
63
Всем привет!
Я создал шаблон парсинга сниппетов Google с использованием кубиков + регулярок + списков.
Но есть проблема - он жрет много ресурсов. Запустил на VPS (5 ядер, 16 гб ОЗУ), не тянет даже 5 потоков, загружает ЦП на 100%. Читал эту статью, пробовал разбить шаблон на два отдельных шаблона - ничего не помогает. А мне нужно иметь возможность запустить хотя бы 10 потоков на VPS.
В общем, ищу человека, который сможет оптимизировать мой шаблон. Или написать с нуля, опираясь на логику моего, т.к я прогнал свой на большом массиве данных и уже отловил большинство возможных сценариев. Сразу скажу, на запросах POST/GET не надо, только веб.
Какой предполагается бюджет?
 
  • Спасибо
Реакции: Atlas

vadim4ukr

Client
Регистрация
10.06.2016
Сообщения
222
Благодарностей
48
Баллы
28
В Scrapebox есть такая функция
 
  • Спасибо
Реакции: Atlas и Sanekk

Atlas

Client
Регистрация
16.02.2014
Сообщения
131
Благодарностей
7
Баллы
18
Решилась проблема переходом на нормальный выделенный сервер...
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)