Нужно спарсить сайт auto.ru по Москве не битые.

[arxrs]

Нужно спарсить auto.ru по всем маркам автомобилей, и год выпуска от 1995 и до 2018.город Москва.не битые.
Затем после сбора всей информации, он сортировал бы по цене по
возрастанию (к примеру от 1 до 100), по каждой модели и году.
затем брал бы суммы с 6 по 10, и вычислял бы среднюю сумму.
Затем отнимал от средней суммы 20%, полученное значение назовем "Предложение".
Загружал бы все эти данные в mysql и в txt.
Я приблизительно описал что нужно, потому вполне готов на корректировки.

 

[arxrs]

не битые, в смысле не битые автомобили

 

[arxrs]

я так понимаю основная сложность в том что требуеться определнное количество прокси, самому если их покупать ради парсинга раз в 1-2 мес, боюсь дороговато. Если у вас есть какие-то вопросы, спрашивайте, может потребуются какие-то уточнения или корректировке.
В принципе загрузку в mysql можно будет опустить, и по поводу вычетания 20% я тоже думаю можно будет опустить.

 

[one]

я так понимаю основная сложность в том что требуеться определнное количество прокси, самому если их покупать ради парсинга раз в 1-2 мес, боюсь дороговато.

Да не думаю, на фришном пуле вполне можно справиться. Возможно возьмусь за написание парсера. Стоимость 50$.

Эти все вещи Вы сможете делать в Excel самостоятельно. За них не надо платить деньги.

он сортировал бы по цене по
возрастанию (к примеру от 1 до 100), по каждой модели и году.
затем брал бы суммы с 6 по 10, и вычислял бы среднюю сумму.
Затем отнимал от средней суммы 20%, полученное значение назовем "Предложение".

 

[arxrs]

честно говоря а вы спарсить именно сможете?

 

[Dexio]

Могу спарсить, задача прикольная с пострассчетами. Без mysql конечно-это тот еще фетиш. Можно красивый динамический эксель быстро сделать.

 

[Moadip]

Без mysql конечно-это тот еще фетиш

В чем именно?
Пихать БД под каждую задачу, это помоему фетиш. Ну типа чтобы было.))
Для начала надо определиться, для чего нужна БД, и есть ли целесообразность.
Т.к. если делать БД, это надо ее еще поставить(MySql), а потом еще делать к ней запросы.
Если задача спарсить инфу раз в месяц, а не активно юзать данные - обновлять/добавлять/удалять, то можно обойтись обычным набором csv файлов для каждой модели.

требуеться определнное количество прокси, самому если их покупать ради парсинга раз в 1-2 мес, боюсь дороговато.

По проксям тоже надо смотреть. Вполне возможно что и без проксей получится, или юзать проксичекер, с халявными проксями.
Ну и делать естественно все на запросах. Это же парсер.

честно говоря а вы спарсить именно сможете?

Если у народа не получится реализовать. Могу взяться.))

 

[yriy158]

Мне как-бы тоже нравится БД при работе, например, в многопотоке, но тут и обычного екселя хватит, имхо. Фильтры, макросы, формулы и все встроено. Тем более что данных не так и много, около 120к строк.

 

[arxrs]

В целом БД нужно для сайта потому что эти данные будут использоваться на сайте, соответственно база уже есть на хостинге

 

[one]

честно говоря а вы спарсить именно сможете?

Честно говоря я спаршу именно смогу а что?

 

[backoff]

эксель больше 1кк строк не поддерживает. 1048000 примерно... на автору думаю строк будет поболее, лучше сразу в базу пихать... просто совет

 

[orka13]

неа, там ~100 000 строк. Сортировку можно сделать в шаблоне C# кодом обработки ячеек таблицы, тоже не вижу смысла в базе. Потом разве что сформировать файл импорта в БД сайта по желанию.