Многопоточность vs Proxy

[olga.armalita]

Приветствую.
Есть сайт, и есть ранее зарегистрированные в нем аккаунты.
Необходимо ежеминутно авторизироваться в каждый аккаунт, и парсить блок информации, который меняется при каждом входе.
При повторном входе в течении минуты сайт требует капчу, но если авторизироваться с нового ip что капча не появляется.
Разгадывать капчу не целесообразно. Есть арендованные прокси.
Как правильно работать с проксями чтобы они не пересекались в потоках? При условии что список проксей будет работать по кругу.
Если брать прокси по счётчкику (счетчик указывает на номер строки с прокси), то прокси можно будет использовать по кругу но потоки будут работать все одновременно по одним и тем же проксям.

Если брать прокси из файла с изменением, то прокси закончатся после первого же прохода, но потоки пересекаться не будут.
Куда можно в таком случае записать весь список прокси, чтобы когда очередной поток не сможет взять из файла новый прокси, по тому что файл пуст, можно было создать файл заново с полным списком проксей. Единственное что приходит в голову - два файла с проксями. Из одного используем, из второго копируем в первый.


Есть еще какие-то варианты?
Кто как справляется с подобными задачами?

 

[evgen_po]

Приветствую.
Есть сайт, и есть ранее зарегистрированные в нем аккаунты.
Необходимо ежеминутно авторизироваться в каждый аккаунт, и парсить блок информации, который меняется при каждом входе.
При повторном входе в течении минуты сайт требует капчу, но если авторизироваться с нового ip что капча не появляется.
Разгадывать капчу не целесообразно. Есть арендованные прокси.
Как правильно работать с проксями чтобы они не пересекались в потоках? При условии что список проксей будет работать по кругу.
Если брать прокси по счётчкику (счетчик указывает на номер строки с прокси), то прокси можно будет использовать по кругу но потоки будут работать все одновременно по одним и тем же проксям.

Если брать прокси из файла с изменением, то прокси закончатся после первого же прохода, но потоки пересекаться не будут.
Куда можно в таком случае записать весь список прокси, чтобы когда очередной поток не сможет взять из файла новый прокси, по тому что файл пуст, можно было создать файл заново с полным списком проксей. Единственное что приходит в голову - два файла с проксями. Из одного используем, из второго копируем в первый.


Есть еще какие-то варианты?
Кто как справляется с подобными задачами?

Берете первую строку из списка прокси с удалением, и сразу же записываете эту строчку в конец списка. Гоняются по кругу - не пересекаются.

 

[olga.armalita]

От зараза, как же я сам не догадался. Я ж ведь даже читал об этом, где-то когда-то
Благодарствую!

 

[olga.armalita]

Опять проблема
Беру прокси из файла, и записываю в конец того же файла.
Но прокси записывается в виде:
proxyproxyproxy
хотя в начале файла каждый прокси лежит в новой строке.
Если по окончании проекта(PM) когда очередной прокси записался в ту же строку что и предыдущий,
руками запустить блок - записать прокси в файл, он записывается уже как надо, с новой строки.
Галочка "Записать перенос строки в конец" стоит, и он судя по всему записывается, так как под последним прокси
есть еще одна начатая строка.

Я вообще заметил что очень много косяков вылазят только когда проект выполняется автоматически, а не когда руками запускаешь поблочно.
Такое впечатление что иногда зенно просто не дожидается когда закончит работу предыдущий блок и уже начинает выполнение нового.

 

[rostonix]

Неправильные экшены используете. Используйте список и действия взятия и добавления строки

 

[olga.armalita]

То есть получается что внося изменение в список я вношу изменение и в файл из которого список тянет содержимое?

 

[rostonix]

Да, если будет стоять галка соответствующая в свойствах списка