Многопоточность vs Proxy

olga.armalita

Client
Регистрация
05.04.2014
Сообщения
194
Благодарностей
42
Баллы
28
Приветствую.
Есть сайт, и есть ранее зарегистрированные в нем аккаунты.
Необходимо ежеминутно авторизироваться в каждый аккаунт, и парсить блок информации, который меняется при каждом входе.
При повторном входе в течении минуты сайт требует капчу, но если авторизироваться с нового ip что капча не появляется.
Разгадывать капчу не целесообразно. Есть арендованные прокси.
Как правильно работать с проксями чтобы они не пересекались в потоках? При условии что список проксей будет работать по кругу.
Если брать прокси по счётчкику (счетчик указывает на номер строки с прокси), то прокси можно будет использовать по кругу но потоки будут работать все одновременно по одним и тем же проксям.

Если брать прокси из файла с изменением, то прокси закончатся после первого же прохода, но потоки пересекаться не будут.
Куда можно в таком случае записать весь список прокси, чтобы когда очередной поток не сможет взять из файла новый прокси, по тому что файл пуст, можно было создать файл заново с полным списком проксей. Единственное что приходит в голову - два файла с проксями. Из одного используем, из второго копируем в первый.


Есть еще какие-то варианты?
Кто как справляется с подобными задачами?
 

evgen_po

Client
Регистрация
27.08.2013
Сообщения
848
Благодарностей
531
Баллы
93
Приветствую.
Есть сайт, и есть ранее зарегистрированные в нем аккаунты.
Необходимо ежеминутно авторизироваться в каждый аккаунт, и парсить блок информации, который меняется при каждом входе.
При повторном входе в течении минуты сайт требует капчу, но если авторизироваться с нового ip что капча не появляется.
Разгадывать капчу не целесообразно. Есть арендованные прокси.
Как правильно работать с проксями чтобы они не пересекались в потоках? При условии что список проксей будет работать по кругу.
Если брать прокси по счётчкику (счетчик указывает на номер строки с прокси), то прокси можно будет использовать по кругу но потоки будут работать все одновременно по одним и тем же проксям.

Если брать прокси из файла с изменением, то прокси закончатся после первого же прохода, но потоки пересекаться не будут.
Куда можно в таком случае записать весь список прокси, чтобы когда очередной поток не сможет взять из файла новый прокси, по тому что файл пуст, можно было создать файл заново с полным списком проксей. Единственное что приходит в голову - два файла с проксями. Из одного используем, из второго копируем в первый.


Есть еще какие-то варианты?
Кто как справляется с подобными задачами?
Берете первую строку из списка прокси с удалением, и сразу же записываете эту строчку в конец списка. Гоняются по кругу - не пересекаются.
 
  • Спасибо
Реакции: olga.armalita

olga.armalita

Client
Регистрация
05.04.2014
Сообщения
194
Благодарностей
42
Баллы
28
От зараза, как же я сам не догадался. Я ж ведь даже читал об этом, где-то когда-то:-)
Благодарствую!
 

olga.armalita

Client
Регистрация
05.04.2014
Сообщения
194
Благодарностей
42
Баллы
28
Опять проблема:(
Беру прокси из файла, и записываю в конец того же файла.
Но прокси записывается в виде:
proxyproxyproxy
хотя в начале файла каждый прокси лежит в новой строке.
Если по окончании проекта(PM) когда очередной прокси записался в ту же строку что и предыдущий,
руками запустить блок - записать прокси в файл, он записывается уже как надо, с новой строки.
Галочка "Записать перенос строки в конец" стоит, и он судя по всему записывается, так как под последним прокси
есть еще одна начатая строка.

Я вообще заметил что очень много косяков вылазят только когда проект выполняется автоматически, а не когда руками запускаешь поблочно.
Такое впечатление что иногда зенно просто не дожидается когда закончит работу предыдущий блок и уже начинает выполнение нового.
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 714
Баллы
113
Неправильные экшены используете. Используйте список и действия взятия и добавления строки
 

olga.armalita

Client
Регистрация
05.04.2014
Сообщения
194
Благодарностей
42
Баллы
28
То есть получается что внося изменение в список я вношу изменение и в файл из которого список тянет содержимое?
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 714
Баллы
113
Да, если будет стоять галка соответствующая в свойствах списка
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)