Как спарить цены товаров на разных сайтах?

[noble]

Доброго времени суток.
У меня есть куча сайтов с разной архитектурой представления цен, например:

Nutram S7 Sound Balanced Wellness® Small Breed Adult Dog-Для взрослых собак мелких пород

holisticzoo.com.ua

Купити MERA Cats Senior Ring корм для літніх котів всіх порід, 400 г в Києві, Україні ≡ Ціна 265.00грн Zooleader

Купити 【MERA Cats Senior Ring корм для літніх котів всіх порід, 400 г】 в зоомагазині Zooleader ❤️ Кращі ціни ⏩ Сертифіковані товари від відомих виробників ⚡Швидка доставка ⭐ Детальніше на сайті

zooleader.com.ua

Сухий корм Mera для собак. Сухий корм Mera Essential Junior 1. Сухий корм для собак Мера.

Повнораціонний сухий корм Mera з м\'ясом птиці для цуценят і юніорів всіх порід.

pethouse.ua

NUTRAM (Нутрам) S8 Sound Balanced Wellness холистик корм для больших собак

Activdog ★★★ NUTRAM (Нутрам) S8 Sound Balanced Wellness холистик корм для больших собак купить по Тел.: ☎(093)144-57-08| Супер-премиум ☑ из Канады ☑

activdog.com.ua

Я собрал все ссылки и внес их в таблицу. Подскажите, может быть, есть универсальное решение, которое можно применить ко всем вышеуказанным сайтам чтобы регуляроно собирать цены?

 

[Astraport]

Вряд ли удастся найти универсальное решение с высокой степенью корректности собираемых данных.
Даже в рамках одного сайта не всегда возможно универсальное решение из-за разных карточек товаров.

 

[backoff]

решение: под каждый сайт писать свой парсер

 

[noble]

Всем пасибо за ответы.

 

[ZULI]

Даже в рамках одного сайта не всегда возможно универсальное решение из-за разных карточек товаров.

О да, на ozon в разных товарах название и цены в разных местах, с разными путями и классами, вот где универсальный подход )

P.S. может у кого есть решение? задолбался, раз 5 уже правил шаблон, пару дней поработает и потом на этих же товарах вываливается в ошибку. Видимо что-то делаю не то.

 

[noble]

О да, на ozon в разных товарах название и цены в разных местах, с разными путями и классами, вот где универсальный подход )

P.S. может у кого есть решение? задолбался, раз 5 уже правил шаблон, пару дней поработает и потом на этих же товарах вываливается в ошибку. Видимо что-то делаю не то.

Подробнее опишите задачу.
У меня, к примеру, более 70 сайтов. Для каждого я создал шаблоны. Однако некоторые из сайтов имеют несколько товаров по одной и той же ссылке, и вот в этом заключается проблема

 

[ZULI]

Подробнее опишите задачу.

К примеру такой товар

https://www.ozon.ru/product/besprovodnye-naushniki-bluetooth-novenkiy-bose-quietcomfort-45-headphones-chernyy-905577936/

тут ценник и заголовок по одному расположен, причем я пробовал делать привязку по xpath и по тэгам, оно день-два поработает и потом меняется

в этом товаре https://www.ozon.ru/product/shlepantsy-tamaris-833023752/ название и ценник вообще по другому размещены на странице

тут https://www.ozon.ru/product/sumka-telezhka-baudet-turizm-276496892/ вообще по третему.

и вроде как один сайт, но разные куски/разделы по разному формируются, как будто разные части сайта делают разные люди )

Пытаюсь подобрать xpath или тэги, через пару день-два все меняется. Возможно как-то по другому привязаться можно, хз.

 

[backoff]

делай xpath через "или" в xpath или = | одна прямая палка
типа такого
xpath1 | xpath2 | xpath3

 

[Konrod_m]

К примеру такой товар
Пытаюсь подобрать xpath или тэги, через пару день-два все меняется. Возможно как-то по другому привязаться можно, хз.

Мобильную версию пробовали? Должно быть меньше вариантов..

 

[noble]

То есть, вы постоянно ищете новые позиции.
Тогда нужно делать серию шаблонов с логикой if-else.
При проходе одной из веток нужно вносить соответствующую помету, что шаблон номер 3 работает для этой ссылки.

 

[ZULI]

делай xpath через "или" в xpath или = | одна прямая палка
типа такого
xpath1 | xpath2 | xpath3

А так было можно? Попробую.

Мобильную версию пробовали? Должно быть меньше вариантов.

Тоже вариант, опробую.

То есть, вы постоянно ищете новые позиции.
Тогда нужно делать серию шаблонов с логикой if-else.
При проходе одной из веток нужно вносить соответствующую помету, что шаблон номер 3 работает для этой ссылки.

И это мысль неплохая.

Спасибо всем, есть 3 идеи, нужно с каждой переспать поработать.

 

[backoff]

А так было можно? Попробую.

прикольно правда?

жаль что нет регулярок в xpath, но вроде как в xpath 2.0 будет ... а когда чего .. хз, как обычно ((

 

[ZULI]

прикольно правда?

Да, таки прикольно, получилось сделать для нескольких вариаций.

 

[backoff]