Вопрос по парсингу semrush

[potolokwiki]

Всем привет. Подскажите по поводу оптимизации проекта.

Написал парсер сервиса semrush.

Сейчас логика работы такая:

- логинимся в сервисе
- берем ключ из списка
- вставляем в поле поиска
- ищем
- скачиваем результат
- конец

Чтобы спарсить следующий ключ, нужно опять залогиниться и выполнить цикл.

Как можно сделать так, что бы софт один раз залогинился, и уже внутри сервиса происходил цикл парсинга ?

 

[kapelan28]

если проект на визуальных кубиках - то просто - организуйте цикл: от взять ключ из списка до скачиваем результат.

 

[potolokwiki]

если проект на визуальных кубиках - то просто - организуйте цикл: от взять ключ из списка до скачиваем результат.

Гдето читал, что лучше не зацикливать проекты внутри. Но попробую и так. Может есть еще решения ?

 

[backoff]

если на гетах, то просто сохраняешь куки и делаешь так же в цикл.

я так понимаю шаб на вебе, сделай просто сохранение в профиль после логина, а перед логином сделай проверку на загрузку профиля, если профиль загрузился, то идем парсить, если нет, то логинимся

 

[backoff]

Гдето читал, что лучше не зацикливать проекты внутри

смотря какие циклы... с опытом поймешь )

 

[kapelan28]

Гдето читал, что лучше не зацикливать проекты внутри. Но попробую и так. Может есть еще решения ?

зацикливания разные бывают, но если нужно перебрать все строки из списка, то по другому более быстрого решения нет.

 

[kapelan28]

не забывай строки из списка брать с удалением, чтобы цикл имел шанс когда-нибудь завершиться.

 

[potolokwiki]

Проект на кубиках, пока по другому не умею )) Спасибо за подсказки, буду пробовать реализовать.

 

[LiMe]

Проект на кубиках, пока по другому не умею )) Спасибо за подсказки, буду пробовать реализовать.

Зацыкливать без счетчика не надо, иначе по итогу скорость работы снизится, так как ресурсы забьются, сделайте на один логин, и к нему к примеру 10 проверок, и выходим, и так в цикл, и все будет в шоколаде

 

[Risk]

у семраша апи вроде же есть https://ru.semrush.com/api-documentation/

 

[potolokwiki]

у семраша апи вроде же есть https://ru.semrush.com/api-documentation/

Есть, но только для тарифа BUSINESS за 400$

 

[Sergodjan]

Всем привет. Подскажите по поводу оптимизации проекта.

Написал парсер сервиса semrush.

Сейчас логика работы такая:

- логинимся в сервисе
- берем ключ из списка
- вставляем в поле поиска
- ищем
- скачиваем результат
- конец

Чтобы спарсить следующий ключ, нужно опять залогиниться и выполнить цикл.

Как можно сделать так, что бы софт один раз залогинился, и уже внутри сервиса происходил цикл парсинга ?

организовать цикл парсинга, как уже советовали выше + перезагрузку инстанса время от времени (по возобновляемому счетчику)..

 

[jun_dev]

Цикл внутри проекта, самый лучший на ранней стадии. У самого 4 скрипта работают внутри одного аккаунта, и никаких проблем. Сделай по больше проверок и пауз между выполнениями цикла, ибо Семраш очень хитрый сайт. Если делать одни и те же действия в одном акке, то палево сильное.
Уже не 1 акк улетал в бан, а они денег стоят.

 

[potolokwiki]

Сделай по больше проверок и пауз между выполнениями цикла

Паузы сделал, шаблон стал стабильнее. А вот по поводу проверок - на что проверять ? Как это реализовать ?

 

[jun_dev]

Паузы сделал, шаблон стал стабильнее. А вот по поводу проверок - на что проверять ? Как это реализовать ?

ну когда допустим нет информации по ключам, или закончился аккаунт, или тебя выкинуло из системы.