Как правильно спарсить большой объем данных?

[Dexio]

Приветствую. Моя логика сожалению работает пока не так хорошо, как хотелось бы.

Подскажите люди знающие, как правильно например спарсить целиком?

Меня именно последовательность построения шаблона интересует.
Сначала обходим все-все страницы, собираем линки, разделы.
......
Все складываем как-то хитро в таблицу. Чтобы были пользователи, ники, ссылки.

И потом еще надо это все восстановить в нормальном виде. Как бы вы это сделали?

 

[alexpost]

И потом еще надо это все восстановить в нормальном виде. Как бы вы это сделали?

восстановить что, работоспособность форума? В лучшем случае спарсишь фронтенд, без бекенда работать не будет.

 

[Dexio]

восстановить что, работоспособность форума? В лучшем случае спарсишь фронтенд, без бекенда работать не будет.

Нет, это само собой. Я больше говорю про пользователей, тексты, посты и прочее и правильное оформление это в списки и последующим восстановлением.
Бекэнд поствить - не проблема. У меня именно непонимание как это спарсить все грамотно

 

[ssXXXss]

ну так если конкретно знаешь что парсишь, что затрудняет всё сложить по полочкам ?

 

[doc]

Спарсить всех пользователей в таблицу бд пользователи.Основные поля айди, ник. Возможно, аватар, дата реги, количество смсок и прочее по необходимости.
Спарсить все темы. Основные поля, айди, имя темы, адрес темы (часть хттп ссылки со всеми родительскими разделами), мб ещё что-то.
Спарсить все сообщения. айди пользователя, дата сообщения, хтмл сообщения и т.д.

Вроде всё

 

[Dexio]

Спарсить всех пользователей в таблицу бд пользователи.Основные поля айди, ник. Возможно, аватар, дата реги, количество смсок и прочее по необходимости.
Спарсить все темы. Основные поля, айди, имя темы, адрес темы (часть хттп ссылки со всеми родительскими разделами), мб ещё что-то.
Спарсить все сообщения. айди пользователя, дата сообщения, хтмл сообщения и т.д.

Вроде всё

А почему вы именно за БД, а не таблицу? С таблицей будет сложнее?

 

[ssXXXss]

А почему вы именно за БД, а не таблицу? С таблицей будет сложнее?

с таблицей долго работает, тогда лучше в список кидай, а потом при завершении сохраняй в таблицу, да и таблица много не вытянет, запихаешь например ты гигов 10, открывать её как потом будешь ???

 

[doc]

А почему вы именно за БД, а не таблицу? С таблицей будет сложнее?

у бд будут правильные связи. Без бд можно работать только если форум не будет рабочим, а просто копия без возможности реги пользователей и взаимодействия с форумом.