Скачивание изображений GET запросом.

[Kloud]

Добрый день.

Вопрос такой - нужно скачать порядка 500000 изображений с сервера.
Ссылки на каждую картинку есть, пытаюсь сделать посредством GET запросов -> Сохранить как файл.
Ссылка такого вида: http://q2.s4.jc9.ru/filecpd.php?u=a...stom&w=1280&h=960&s=1&l&nocrop&sc=730ee&ver=2

Как видите, это PHP обработчик, который подгружает картинку с сервера по запросу.
GET запрос скачивает какую-то белеберду с названием filecpd.php и сохраняет как текстовый файл.
Что можно сделать в такой ситуации?

 

[Dimionix]

GET запрос скачивает какую-то белеберду с названием filecpd.php и сохраняет как текстовый файл.
Что можно сделать в такой ситуации?

Сменить расширение скачанного файла, например, на .jpg (filecpd.php = filecpd.jpg).

После GET запроса экшен "Обработка текста - Замена" (в переменной GET запроса заменить .php на .jpg, сохранить в новую переменную).
Далее экшен "Файлы - Переместить файл" (в поле "Путь к файлу" - переменная GET запроса, в поле "Новый путь" - новая переменная).

 

[Kloud]

Если его сохранять в формате jpg/jpeg/png и т.п., то он просто не открывается.

Как я понял, он даже не грузит картинку через GET запрос.
Через браузер всё ок, но по времени в 50 потоков это занимает больше двух дней.

 

[Dimionix]

Если его сохранять в формате jpg/jpeg/png и т.п., то он просто не открывается.

Всё прекрасно открывается после переименования!

 

[Kloud]

Спасибо, разобрался, не в тот формат сохранял!

 

[Err0r]

а так еще быстрее

 

[doc]

Сменить расширение скачанного файла, например, на .jpg (filecpd.php = filecpd.jpg).

После GET запроса экшен "Обработка текста - Замена" (в переменной GET запроса заменить .php на .jpg, сохранить в новую переменную).
Далее экшен "Файлы - Переместить файл" (в поле "Путь к файлу" - переменная GET запроса, в поле "Новый путь" - новая переменная).

вроде как все эти действия можно реализовать в перемещении файла.

 

[rostonix]

а так еще быстрее

Для этого и делали)

 

[andy678]

Для этого и делали)

А можно добавить сюда referer? А то без него не скачивает на многих ресурсах. Т.к. получается прямая скачка, что блокируется.

 

[doc]

А можно добавить сюда referer? А то без него не скачивает на многих ресурсах. Т.к. получается прямая скачка, что блокируется.

вряд ли дело в реферере

 

[rostonix]

А можно добавить сюда referer? А то без него не скачивает на многих ресурсах. Т.к. получается прямая скачка, что блокируется.

Тогда GET запросом. Там можно реферер подставить)

 

[Radzhab]

В директиву usings добавь using System.Net;

using (WebClient webClient = new WebClient())
            {
                webClient.Headers.Add("Referrer", "http://www.ya.ru"); //
                webClient.Proxy = new WebProxy("127.0.0.1:8888");
                webClient.Headers.Add("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)");
                webClient.DownloadFile("http://xxx.com/captcha2.php","axi.jpg");
            }

 

[andy678]

Дело в реферере.

Get-ом работало, с реферером. Потом перестало.

Через сохранение изображение работает, но без рефера накладывает вотермарк.

В директиву usings добавь using System.Net;

Попробую. Правде не знаю где копать, второй день с zenno

 

[andy678]

Решилось следующим образом.

Использую socks5.

Когда в GET, на вкладке Proxy, установлено Active project proxy - НЕ работало, хотя http - ходил нормально под проксёй.

Установил вручную в GET, на вкладке Proxy, Other и прописал вручную адрес + установил SOCKS5 - ЗАРАБОТАЛО.