Парсинг некоторых данных очень крупного сайта! Деньги не проблема

Arsenio Koshubliak

Новичок
Регистрация
31.08.2018
Сообщения
2
Благодарностей
0
Баллы
1
Проект серьезный! Нужен человек, возможно команда для создания шаблона и его единичный запуск и сопровождение.
Конечный результат - база данных с несколькими таблицами по миллиарду линий и 5-6 столбцов
Сайт очень крупный, несколько миллиардов страниц. Это первая сложность.
Сайт оснащен защитой от атак, необходимо совершать парсинг с нескольки тысяч прокси. Вторая сложность.
Для маскировки парсинга, подключения нужно совершать по нарастающей, естественно при стольких подключениях владелец заподозрит бомбежку и для перестраховки может вырубить свет.
Поэтому желательно совершить парсинг за неделю.
Клиент - крупная рыбка из Испании так что не стесняйтесь называть достойные работы суммы.
 

Astraport

Client
Регистрация
01.05.2015
Сообщения
4 994
Благодарностей
4 459
Баллы
113

arhip1985

Client
Регистрация
31.10.2011
Сообщения
2 994
Благодарностей
787
Баллы
113
чё он свет то отрубит, та что - кроме парсера никто не коннектится что-ли
 

Arsenio Koshubliak

Новичок
Регистрация
31.08.2018
Сообщения
2
Благодарностей
0
Баллы
1
чё он свет то отрубит, та что - кроме парсера никто не коннектится что-ли
Конечно конектится, только вот страницы грузятся через поиск, нет прямых ссылок на страницы. Увеличение поисковых запросов в 10-20 раз заметят и сразу тему просекут, лично я свои сайты в моменте перевожу в режим обновления, как только регистрирую подобные приколы, правда с разных ip пока небыло таких атак
 

one

Client
Регистрация
22.09.2015
Сообщения
6 840
Благодарностей
1 275
Баллы
113
16 миллионов песо
Ты не ошибся? Лярд линий по 5-6 столбцов!
лично я свои сайты в моменте перевожу в режим обновления, как только регистрирую подобные приколы, правда с разных ip пока небыло таких атак
И как, не тяжело? Так жить...
 

arhip1985

Client
Регистрация
31.10.2011
Сообщения
2 994
Благодарностей
787
Баллы
113

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)