Как не спалиться при парсинге базы клиентов?

[qwadra]

В общем не буду рассказывать, ка меня работодатель довел до такого бесстыдства, но хочу заиметь подушку безопасности. Инет-магаз, работает на битриксе. Разок пробовал выгрузить в эксель, выгружает все страницы, в итоге выдало ошибку. Повторять палевно. Я не силен в серверных делах, но если сделать парсер, который постранично будет собирать данные, на сколько это будет заметно?

Страницы выглядят так:

 

[White trash]

Никогда не работал в битриксе, но думаю парсить зенкой так же палевно как просто смотреть одну страницу за другой.

 

[zortexx]

Если есть доступ к БД - просто сделать дамп. Там будут все данные и если сделать всё правильно, то даже админы ничего не заметят.

 

[specialist]

который постранично будет собирать данные, на сколько это будет заметно?

С того же компьютера мало отличимо от работы менеджера, в админке битрикса по умолчанию счетчиков нет, только ошибки

 

[qwadra]

Никогда не работал в битриксе, но думаю парсить зенкой так же палевно как просто смотреть одну страницу за другой.

Ну типа 600 страниц листать, может какие то логи смотрят и там портянка такая будет

Если есть доступ к БД

нет

 

[specialist]

там портянка такая будет

зачем все страницы нужны, база остальная уже есть, прошли, далее раз в день заходит, первые страницы проходит и всё

 

[qwadra]

зачем все страницы нужны, база остальная уже есть, прошли, далее раз в день заходит, первые страницы проходит и всё

Нет у меня ничего, все надо парсить

 

[Dr.Pipetka]

Нет у меня ничего, все надо парсить

В смысле один раз только пролистать 600 страниц. Потом раз в день смотреть только свежие страницы, что уже не будет паливом(вроде как).

 

[bad robot]

если имеется поле ID, то можно брать только новые

 

[bad robot]

при выгрузке большого объема, может попросту не хватать памяти на обработку. Если есть доступ к фтп, то можно на время увеличить ее объем в php.ini и после вернуть как было.