Уникальное название фото при скачивании методом Get

[Vladik]

Скачиваю фотки товаров Get'ом , а они имеют одинаковое название name , путь разный а название одинаковое, я их перемещаю с уникальным названием потом , но при парсинге в многопотоке часть фото перезаписываются , т.е. фото может быть с другой страницы.
site.com/asdfasdfasdf/name.jpg
site.com/5463456346/name.jpg
нельзя как-то во временную папку сохранять файлы с уникальным названием, или как-то c# можно ?

 

[Sergodjan]

Скачиваю фотки товаров Get'ом , а они имеют одинаковое название name , путь разный а название одинаковое, я их перемещаю с уникальным названием потом , но при парсинге в многопотоке часть фото перезаписываются , т.е. фото может быть с другой страницы.
site.com/asdfasdfasdf/name.jpg
site.com/5463456346/name.jpg
нельзя как-то во временную папку сохранять файлы с уникальным названием, или как-то c# можно ?

Можете перед кубиком GET-запроса на скачивание определять папку для скачивания с уникальным рандомным названием, через кубик "Браузер - Настройки - Папка для загрузки файлов" тогда в каждом потоке будет использоваться свой уникальный путь до файла. А после скачивания перемещайте уже куда нужно, с переименованием имени файла картинки и с удалением рандомной папки.

 

[Vladik]

Спасибо. А как в многопотоке парсить фото из одно и того же списка?
Чтобы конкуренции не было.
Сейчас стоит как на скрине
но смотрю, что почему то не все ссылки на фото парсятся и записываются в лог, т.е. из 5 фото на странице а в логе всего 3 . при 10 потоках. может не успевает записать . не пойму где смотреть , если 3 потока и паузы поставил и меньше потоков то всё нормально.

Можете перед кубиком GET-запроса на скачивание определять папку для скачивания с уникальным рандомным названием, через кубик "Браузер - Настройки - Папка для загрузки файлов" тогда в каждом потоке будет использоваться свой уникальный путь до файла. А после скачивания перемещайте уже куда нужно, с переименованием имени файла картинки и с удалением рандомной папки.

 

[Dmitriy_Zenno]

Спасибо. А как в многопотоке парсить фото из одно и того же списка?
Чтобы конкуренции не было.
Сейчас стоит как на скрине
но смотрю, что почему то не все ссылки на фото парсятся и записываются в лог, т.е. из 5 фото на странице а в логе всего 3 . при 10 потоках. может не успевает записать . не пойму где смотреть , если 3 потока и паузы поставил и меньше потоков то всё нормально.


Посмотреть вложение 139443

Здравствуйте,

Не совсем понимаю, что именно вы делаете.

На скриншоте я вижу список, который ни к чему не привязан. В таком случае для каждого потока будет формироваться свой отдельный список и конфликтов быть не должно в моногопотоке.

Уточните, пожалуйста: вы в этот список добавляете элементы или извлекаете из него?

Также, если я правильно понимаю ваше описание, на странице отображается 5 изображений, а в логе зафиксировано только 3 запроса. То есть вы зашли на страницу с 5 изображениями, было выполнено 5 GET-запросов, но в лог попали лишь 3. В таком случае необходимо проверить Окно > «Трафик» и посмотреть, что именно там происходит и по какой причине 2 запроса не были выполнены.

 

[Vladik]

Да , в этот список парсятся ссылки на фото со страницы товара. Далее парсится сам html файл на диск. потом парсятся сами фото поочереди в рандомную папку и из нее перемещение в одну папку фотки с уникальным названием. Пути к фото записываются в файл html дозаписываются. и всё.
Если в PM всё тестировать, то проблем нет. Всё нормально. А когда оставил в 10 потоков на ночь парсить, то обнаружил что у некоторых html файлов не у всех, нету путей к фото, хотя на странице товара есть ссылки на фото. Поэтому подумал что в многопотоке где-то не успевает записать может или пропускает, не знаю.

 

[Vladik]

Здравствуйте,

Не совсем понимаю, что именно вы делаете.

На скриншоте я вижу список, который ни к чему не привязан. В таком случае для каждого потока будет формироваться свой отдельный список и конфликтов быть не должно в моногопотоке.

Уточните, пожалуйста: вы в этот список добавляете элементы или извлекаете из него?

Также, если я правильно понимаю ваше описание, на странице отображается 5 изображений, а в логе зафиксировано только 3 запроса. То есть вы зашли на страницу с 5 изображениями, было выполнено 5 GET-запросов, но в лог попали лишь 3. В таком случае необходимо проверить Окно > «Трафик» и посмотреть, что именно там происходит и по какой причине 2 запроса не были выполнены.

Вот проект. Включил 4 потока , не корректно он скачивает . где 1 ссылка в товаре на сайте , он в потоке 9 сохранил с другого товара.
в 1 поток всё нормально в PM, может не так кубики сделал или там как-то проскальзывает , путаются потоки что-ли. логика какая в работе при потоках.
Данные берутся из таблицы 1 столбик ссылка на товар, второй столбик ссылки на файлы. строка удаляется. Может из за этого, потоки в разнобой берут данные, пока один взял ссылку второй поток уже забрал у этой строки ссылки на фото? мне понять как работать когда много потоков чтобы не было путаницы

 

[Dmitriy_Zenno]

Вот проект. Включил 4 потока , не корректно он скачивает . где 1 ссылка в товаре на сайте , он в потоке 9 сохранил с другого товара.
в 1 поток всё нормально в PM, может не так кубики сделал или там как-то проскальзывает , путаются потоки что-ли. логика какая в работе при потоках.
Данные берутся из таблицы 1 столбик ссылка на товар, второй столбик ссылки на файлы. строка удаляется. Может из за этого, потоки в разнобой берут данные, пока один взял ссылку второй поток уже забрал у этой строки ссылки на фото? мне понять как работать когда много потоков чтобы не было путаницы

Посмотрел и поправил ваш шаблон, теперь должно работать все как надо.
У вас была проблема, что на страте вы брали данные таблицы из первой строки, но саму строку не удаляли сразу и пока доходили до кубика удалить первую строку в таблице, следующие потоки так же брали информацию из этой же строки.

Вот пример кубика, как я сделал. Шаблон прикрепил.