- Регистрация
- 05.04.2014
- Сообщения
- 194
- Благодарностей
- 42
- Баллы
- 28
Приветствую.
Есть сайт, и есть ранее зарегистрированные в нем аккаунты.
Необходимо ежеминутно авторизироваться в каждый аккаунт, и парсить блок информации, который меняется при каждом входе.
При повторном входе в течении минуты сайт требует капчу, но если авторизироваться с нового ip что капча не появляется.
Разгадывать капчу не целесообразно. Есть арендованные прокси.
Как правильно работать с проксями чтобы они не пересекались в потоках? При условии что список проксей будет работать по кругу.
Если брать прокси по счётчкику (счетчик указывает на номер строки с прокси), то прокси можно будет использовать по кругу но потоки будут работать все одновременно по одним и тем же проксям.
Если брать прокси из файла с изменением, то прокси закончатся после первого же прохода, но потоки пересекаться не будут.
Куда можно в таком случае записать весь список прокси, чтобы когда очередной поток не сможет взять из файла новый прокси, по тому что файл пуст, можно было создать файл заново с полным списком проксей. Единственное что приходит в голову - два файла с проксями. Из одного используем, из второго копируем в первый.
Есть еще какие-то варианты?
Кто как справляется с подобными задачами?
Есть сайт, и есть ранее зарегистрированные в нем аккаунты.
Необходимо ежеминутно авторизироваться в каждый аккаунт, и парсить блок информации, который меняется при каждом входе.
При повторном входе в течении минуты сайт требует капчу, но если авторизироваться с нового ip что капча не появляется.
Разгадывать капчу не целесообразно. Есть арендованные прокси.
Как правильно работать с проксями чтобы они не пересекались в потоках? При условии что список проксей будет работать по кругу.
Если брать прокси по счётчкику (счетчик указывает на номер строки с прокси), то прокси можно будет использовать по кругу но потоки будут работать все одновременно по одним и тем же проксям.
Если брать прокси из файла с изменением, то прокси закончатся после первого же прохода, но потоки пересекаться не будут.
Куда можно в таком случае записать весь список прокси, чтобы когда очередной поток не сможет взять из файла новый прокси, по тому что файл пуст, можно было создать файл заново с полным списком проксей. Единственное что приходит в голову - два файла с проксями. Из одного используем, из второго копируем в первый.
Есть еще какие-то варианты?
Кто как справляется с подобными задачами?