- Регистрация
- 04.04.2015
- Сообщения
- 3 835
- Благодарностей
- 3 550
- Баллы
- 113
Приветствую!
Ребята, помогите решить проблему:
У меня есть список ссылок вида:
instagram.com/p/0BHkO2Mdfe/
И мне нужно достать логин владельца этой фотографии.
Делаю я это следующим образом: отправляю GET-запрос, получаю содержимое и там уже ищу простой регуляркой. Все работает отлично, за исключением одного - ВСЕ ОЧЕНЬ МЕДЛЕННО!
Если подключать потоки до 6, то скорость парсинга растет с каждым потоком.
Но вот, если я включу 20-30-40-50 - то скорость по-прежнему будет 5-7 обработанных ссылок в секунду.
Может есть у кого какие идеи, в чем может быть проблема или как ускорить процесс?
Ребята, помогите решить проблему:
У меня есть список ссылок вида:
instagram.com/p/0BHkO2Mdfe/
И мне нужно достать логин владельца этой фотографии.
Делаю я это следующим образом: отправляю GET-запрос, получаю содержимое и там уже ищу простой регуляркой. Все работает отлично, за исключением одного - ВСЕ ОЧЕНЬ МЕДЛЕННО!
Если подключать потоки до 6, то скорость парсинга растет с каждым потоком.
Но вот, если я включу 20-30-40-50 - то скорость по-прежнему будет 5-7 обработанных ссылок в секунду.
Может есть у кого какие идеи, в чем может быть проблема или как ускорить процесс?