Автоматический мониторинг цен

  • Автор темы Автор темы Hitachi
  • Дата начала Дата начала
Название тестового шаблона
Price monitor test

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Реакции
348
Баллы
63
Описание

Шаблон копирует файл-заготовку (xlsx таблица) в папку Results с названием "result_дата". Далее все изменения записываются в эту таблицу.
Из файла-источника берётся строка - название товара и ссылки на этот товар на различных площадках.
Название товара записывается в таблицу результатов, удаляется из списка.
Далее шаблон получает из списка ссылку, открывает сайт, берёт из таблицы соответствующий xPath.
На сайте получаем цену, записываем её в соответствующую ячейку таблицы результатов.
Если на сайте отслеживается автоматическая деятельность - решаем каптчу при необходимости.
Если товар отсутствует, в таблицу вносится прочерк.
Переходим на следующий сайт, повторяем те же действия.
Таким образом получаем цены со всех сайтов для первого товара, переходим к следующей строке.
Когда все строки таблицы-источника обработаны - выводится сообщение и проект завершается.


Как пользоваться?

Во входных настройках необходимо выбрать сервис для решения каптчи и путь к файлу-источнику (по умолчанию source.xlsx).
Результаты будут сохраняться в папку Results в файл "results_дата".xlsx.
В файле-заготовке (Result.xlsx) форматирование настроено под пять площадок на 98 позиций, до 100 строки.
В шаблоне реализовано сравнение цен с сайтами beru.ru; cenam.net; ulmart.ru; citilink.ru; dns-shop.ru; ozon.ru; technopark.ru; forever21.com; hm.com; iherb.com

Чтобы настроить мониторинг, необходимо:

  • в файле "Настройки парсинга" указать домен вашего сайта (он должен совпадать с доменом в ссылках, которые будут указываться в файле source.xlsx) и xPath, с помощью которого будет парситься цена на вашем сайте;
  • в файле Source.xlsx добавить ссылки на товары. Если на какой-то площадке товар отсутствует - ячейку можно оставить пустой.

Чтобы добавить другие площадки для сравнения, необходимо:
  • в файле Result.xlsx добавить столбец нового магазина, настроить форматирование аналогично предыдущим;
  • в файле Настройки парсинга.xlsx добавить домен, xPath и столбец, в который будет записываться цена;
  • в файле Source.xlsx добавить столбец нового магазина и ссылки на товары в этом магазине.
 
Категория
  1. Аналитика
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
01.10.2020
Описание обновления
Исправлено решение капчи на beru.ru/pokupki.market.yandex.ru

Вложения

Последнее редактирование:
43283


Не могу понять, как оно работает? Т.к. из списка постоянно удаляется строка из списка.
Раньше с такой конструкцией не встречался.
 
Не могу понять, как оно работает? Т.к. из списка постоянно удаляется строка из списка.
Раньше с такой конструкцией не встречался.

В список записывается строка из таблицы. Строка содержит в первом столбце название товара, далее какое-то количество ссылок. В данном случае 4.
В первом столбце шаблона, которого на скрине нет, берётся первая строка списка (название товара), записывается с ячейку табицы result, далее берётся каждая ссылка в переменную source, удаляется при взятии, обрабатывается
 
Последнее редактирование:
Шаблон обновлён. Теперь нет необходимости изменять сам шаблон, чтобы добавить новые площадки для сравнения. Настройки парсинга вынесены в таблицу
 
Шаблон обновлён. Теперь нет необходимости изменять сам шаблон, чтобы добавить новые площадки для сравнения. Настройки парсинга вынесены в таблицу
Можно повысить версию до 5,29,1,0?
 
Screenshot_8.png


В чем может быть причина такой ошибки
 
спс разобрался, было не соответсвие домена, нужно было указать субдомен. А есть возможность работы в многопоточном режиме?
 
спс разобрался, было не соответсвие домена, нужно было указать субдомен. А есть возможность работы в многопоточном режиме?
В шаблоне не реализован многопоточный режим
 

Похожие темы

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)