Парсер интернет-магазинов на OpenCart

  • Автор темы Автор темы Hitachi
  • Дата начала Дата начала
Название тестового шаблона
Парсер интернет-магазинов на OpenCart test

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Реакции
348
Баллы
63
Описание

Шаблон открывает сайт, парсит название магазина, парсит все ссылки на категории в список.
После этого из каждой категории парсит ссылки на товары в список.
Далее открывает страницу каждого товара по очереди, проверяет загрузку, парсит название, бренд, цену, ссылки на изображения и доступные вариации (только формы select, checkbox и radio).
Ссылки на одинаковые товары удаляются во время парсинга.

Результаты сохраняются в папку Results в .csv таблицу в формате "Название; Бренд; Цена; Изображения; Опции"
Опции (вариации товара) сохраняются в формате "Название:значение1~значение2~значение3...". Например, "Size:Medium (+$12.00) ~Large (+$18.00) "
Для опций выделено 5 столбцов

Как пользоваться?

Во входных настройках указать ссылку на сайт.

Для работы через прокси, добавить их в файл proxy.txt
 
Категория
  1. Парсинг
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
30.11.2020
Описание обновления
Увеличено время ожидания загрузки.
Добавлен пропуск товара, если страница не загружается

Вложения

  • Спасибо
Реакции: zmike
Нужно ли мне запускать это в Zennoposter вместо Zenno Maker? Я работаю в ZennoPoster, и теперь он останавливается на этом этапе удаления повторяющихся продуктов, как показано на скриншоте.

9IPL9dK.jpg
 
Нужно ли мне определять URL-путь для текстового файла для сохранения продукта?
 
Нужно ли мне запускать это в Zennoposter вместо Zenno Maker? Я работаю в ZennoPoster, и теперь он останавливается на этом этапе удаления повторяющихся продуктов, как показано на скриншоте.

В ProjektMaker проект останавливается, потому что на этом кубике точка основа (красная точка). Её можно убрать, если нужно работать в PM.
В целом проект лучше запускать в ZennoPoster.

Нужно ли мне определять URL-путь для текстового файла для сохранения продукта?

Указать нужно только URL сайта во входных настройках или вставить его в переменную site_URL в ProjectMaker.
Результаты будут сохраняться в папку Results в таблицу .csv
 
  • Спасибо
Реакции: zmike
Шаблон ещё актуален? У меня ни чего не парсит.
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)