Парсинг информации с tuningfiles.com – офер закрыт, подрядчик найден

ipetrov

Client
Регистрация
21.02.2014
Сообщения
20
Благодарностей
9
Баллы
3
Техническое задание – https://mrgushchin.notion.site/tuningfiles-com-db5bb120f68f4986882825cb182cc14f?pvs=4 (с картинками)
Сайт: https://tuningfiles.com/
Задача: парсинг и актуализация данных с сайта tuningfiles.com
Цена: $150 за готовый скрипт на базе ZennoBox (код не требуется). Если что-то на сайте изменится и потребуется обновить скрипт – обновление будет оплачиваться также.
Связь: https://t.me/Mr_RahulSharma

Что делаем:
Режим 1 (парсинг данных)

  1. Опускаемся до блока Please Select Your Vehicle
    113316

  2. Нужно собрать информацию по каждому мотору в каждой категории, каждого бренда, каждой модели, поколения (перебрать все комбинации):
    113317
    1. Выбираем категорию: автомобиль, грузовик, трактор, лодка, мотоцикл
    2. Выбираем Brand
    3. Выбираем Model
    4. Выбираем Generation
    5. Выбираем Motor
    6. Нажимаем “View remaps”
  3. Открывается информация, где нужно спарсить следующие данные:
    113318
    1. Данные выбранного объекта (то, что выбирали выше)
      1. Категория
      2. Brand
      3. Model
      4. Generation
      5. Motor
    2. Логотип бренда
      1. ссылку на картинку
      2. саму картинку (+ название файла, которе положим в json и csv)
    3. Картинку объекта
      1. ссылку на картинку
      2. саму картинку (+ название файла, которе положим в json и csv)
    4. Блок Sedox performance tuning (в некоторых объектах может не быть Stage 2)
      1. Power (hp)
        1. Original
        2. Stage 1
        3. Increase
        4. Stage 2
        5. Increase
      2. Torque (Nm)
        1. Original
        2. Stage 1
        3. Increase
        4. Stage 2
        5. Increase
    5. Engine specifications– берем всю информаци по объекту
      1. Engine type
      2. Fuel
      3. Capacity
      4. Cylinders
      5. Engine code
      6. ECU
      7. TCU
    6. Available options – берем только текст под картинками (сами картинки не нужны)
    7. Work method
    8. Tools
    9. Получить исходные данные (не картинка, данные) из графика Dynochart Используется Chart.js v2.9.3 https://www.chartjs.org, график рисуется на canvas
      1. Если погуглить “Как выгрузить данные с Canvas”, найдете несколько решений
  4. Сохраняем полученные данные и дату, время, когда добавили объект в json и csv форматах
Режим 2 (проверка, актуализация объектов)

Если появился новый объект – добавляем информацию к нам в базу
  1. Бежим по всем объектам и сравниваем, есть ли у нас такой же.
  2. Если нашли новый объект, которого у нас нет – парсим данные и сохраняем к нам в базу Как вариант, можно сохранять идентификаторы новых объектов, чтобы потом запустить режим 1 только для новых объектов – на ваш выбор.
Обработка ошибок

Также нужна обработка и вывод ошибок скрипта, если на сайте что-то изменилось у бота не получается распарсить данные.
 

Ахилес

Client
Read only
Регистрация
11.11.2020
Сообщения
956
Благодарностей
389
Баллы
63
Погуглил....

113320


то есть, вы предлагаете заняться реверсингом JS скриптов сайта, меньше чем за 50$ (ну пусть 100$ будет оплата за остальной парсер) ?
с учетом того что результат не ясен и возможно придется тащить данные с отрендеренного канваса, а это уже компьютерное зрение надо подключать.
 

Ахилес

Client
Read only
Регистрация
11.11.2020
Сообщения
956
Благодарностей
389
Баллы
63

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 344
Благодарностей
5 433
Баллы
113
  • Спасибо
Реакции: ipetrov

ipetrov

Client
Регистрация
21.02.2014
Сообщения
20
Благодарностей
9
Баллы
3
Подрядчик найден, всем спасибо!
 

ipetrov

Client
Регистрация
21.02.2014
Сообщения
20
Благодарностей
9
Баллы
3
Приветствую коллеги!
Офер снова открыт, ищем подрядчика – кто готов взяться, пожалуйста, пишите в телеграм https://t.me/Mr_RahulSharma

P.s.: предыдущий подрядчик не уложился в обозначенные им сроки более, чем в 2 раза и до сих не показал работающий скрипт.
 

ipetrov

Client
Регистрация
21.02.2014
Сообщения
20
Благодарностей
9
Баллы
3
Всем спасибо, подрядчик найден
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)