Тормозит шаблон на post/get

[Alex62]

Добрый день, пишу шаблон, на post/get но запуская даже в 50-100 потоков между выводом результатов и взятием следующих проходит около минуты.
Что делаю:
беру главную страницу сайта, проверяю на доступность через выбранную прокси (публичную)
беру одну ссылку с объявлением из списка (с удалением, список привязываю)
делаю get
привязываюсь к таблице собранных результатов и проверяю на наличие в ней имени пользователя
если нет, беру токен и делаю get телефона
записываю в таблицу с привязкой

подскажите, в чем может быть проблема?

 

[doc]

есть трассировка. Можно с её помощью выяснить, на какие действия идут такие дикие затраты времени

 

[Alex62]

есть трассировка. Можно с её помощью выяснить, на какие действия идут такие дикие затраты времени

а как ее сделать?


может привязка к спискам/таблицам так долго выполняется?

 

[doc]

https://zennolab.com/wiki/ru:trace
не могу знать из-за чего именно у тебя беда)

 

[Alex62]

https://zennolab.com/wiki/ru:trace
не могу знать из-за чего именно у тебя беда)

Да, тормозит привязка к файлу 30-05-2018 08:08:35.4598|Good|11ee126e-62da-494c-97f6-bf71b6fa1a7c|47046

Как с этим бороться?

 

[doc]

Да, тормозит привязка к файлу 30-05-2018 08:08:35.4598|Good|11ee126e-62da-494c-97f6-bf71b6fa1a7c|47046

Как с этим бороться?

опиши логику

 

[Alex62]

берет прокси, делает гет запрос на главную, если взял куки, то идет дальше, а если плохая прокси то привязывается к списку объявлений и возвращает взятую ссылку, вот во время привязки к файлу, я так понимаю привязка происходит за 47 секунд

Так же возвращает ссылку если не получилось скачать телефоны или страницу с объявлением

 

[doc]

почему привязка каждый раз по новой?

 

[Alex62]

что бы список был всегда обновленный, с ним работает много потоков
и не только берет но и возвращает, я думал что бы работать в таком режиме нужно постоянно привязываться к актуальному файлу

 

[doc]

привяжи в настройках списка/таблицы. Данные будут общими для всех потоков/проектов

 

[Alex62]

привяжи в настройках списка/таблицы. Данные будут общими для всех потоков/проектов

то есть 1 раз можно привязать и потом с ними делать все что угодно? и другие потоки это будут видеть?

 

[doc]

то есть 1 раз можно привязать и потом с ними делать все что угодно? и другие потоки это будут видеть?

списки/таблицы, привязанные к файлу, находятся в памяти. Работа идёт с ними там, а время от времени зенно обновляет файл

 

[Alex62]

списки/таблицы, привязанные к файлу, находятся в памяти. Работа идёт с ними там, а время от времени зенно обновляет файл

но он ничего не потеряет или не вернет лишнего? )

 

[doc]

но он ничего не потеряет или не вернет лишнего? )

нет, если будешь брать строки с удалением стандартными кубиками

 

[Alex62]

Спасибо вам большое, попробую

 

[Alex62]

Блин, теперь тормозит объединение элементов списка (30-05-2018 09:01:37.6875|Good|0e18ed57-c995-4fef-9a10-2f45b6dc5a01|76723)
Беру куки, все к не привязанному списку, потом объединяю в одну переменную куки. и вот такая фигня опять

 

[doc]

Блин, теперь тормозит объединение элементов списка (30-05-2018 09:01:37.6875|Good|0e18ed57-c995-4fef-9a10-2f45b6dc5a01|76723)
Беру куки, все к не привязанному списку, потом объединяю в одну переменную куки. и вот такая фигня опять

а что за блоки перед и после идут? насколько велики объёмы списков/таблиц?

 

[Alex62]

get главной
regex в список всех куков, обычно 4 строки
объединение списка в переменную
проверка переменной на наличие пустого значения, если не пустое, продолжается выполнение шаблона