Спарсить инет-магазин

[stas11]

Необходимо спарсить товары из инет-магазина(сайты по типу розетки). На одной странице категории(допустим ноутбуки) товаров расположено 20 товаров и таких страниц 15. Как правильно совершить парсинг товаров?
Я вижу вот такой вариант, но как по мне он очень долгий
Открываем первую страницу, парсим все ссылки товаров(кладем в список), открываем 2,3 и так до конца
Когда мы получили список всех ссылок на товары категории ноутбуки. Берем по одной строке с удалением и парсим уже со страницы товара - название, описание, картинка.

Возможно есть какой-то более правильный вариант парсинга интернет-магазинов? Спасибо.

 

[xuligan]

Я вижу вот такой вариант, но как по мне он очень долгий

мне кажется, что у Вас правильный вариант, ну а на счёт долгий, так Вы же не руками всё это делаете)))))

 

[zortexx]

Если магазин не защищен от парсинга, можно парсить в несколько потоков, что существенно сократит время парсинга.

 

[stas11]

Если магазин не защищен от парсинга, можно парсить в несколько потоков, что существенно сократит время парсинга.

с многопотоком никогда не работал. это получается если сайт позволяет - можно парсить сразу несколько категорий одновременно? просто в зенно добавить несколько шаблонов и запустить их одновременно?

 

[zortexx]

Как вариант можно и так. Вообще парсер контента магазина состоит как бы из двух задач:

1. Получить ссылки на товары
2. Спарсить контент размещеный по этим ссылкам.

Поэтому сначала я бы собрал ссылки на все товары во всех интересующих меня категориях (одним шаблоном), а потом спарсил контент с полученных ссылок в многопотоке (другим шаблоном).