Сохранение DOM сайта или Regex сайта после нескольких подгрузок "Загрузить еще"

[mrstorm]

Добрый день!
Есть сайт, на котором я около 50 раз называю на кнопку - "Загрузить еще". Тем самым, код сайта становиться очень большим и при сохранении DOM или Regex выпадает ошибка - не найдено, или в переменную ничего не заносится. Предполагаю из-за ограничения кол-ва символов.
Что можно сделать ? Частями сохранить код страницы не получается, загрузить по странично так же не получается. Как то можно сохранить, может в файл, код такой большой страницы?
Спасибо!

 

[trecho]

попробуйте вот так https://zennolab.com/discussion/threads/perexvatit-responce.74730/post-502906

 

[Sergodjan]

@mrstorm Также попробуйте увеличить буфер в Настройках программы.

 

[mrstorm]

чтото ничего не помогает...может как то можно загружать html код страницы в файл?
я правильно понимаю, что изза очень большого кода она не сохраняется в переменную?

 

[Sergodjan]

чтото ничего не помогает...может как то можно загружать html код страницы в файл?
я правильно понимаю, что изза очень большого кода она не сохраняется в переменную?

А какой размер кода?

 

[trecho]

чтото ничего не помогает...может как то можно загружать html код страницы в файл?
я правильно понимаю, что изза очень большого кода она не сохраняется в переменную?

адрес страницы можете написать?

 

[mrstorm]

А какой размер кода?

а как его определить в зенке? у меня не получается выгрузить DOM в переменную...

 

[mrstorm]

адрес страницы можете написать?

tiktok.com/search/video

 

[trecho]

tiktok.com/search/video

у меня dom без каких-либо проблем сохраняется

 

[mrstorm]

у меня dom без каких-либо проблем сохраняется
Посмотреть вложение 85912

я обычно делаю парсинг, поределяя через кубик DOM и дальше через регулярку. Но почему то в этот раз не заработало так при больших объемах.
Парсингом работает, но как то не получается регулярку в него пихнуть...разбираюсь, спасибо!

 

[mrstorm]

Чтото все равно не могу разобраться. Написал два кубика с парсингом - один ссылки, второй - описание. Но по ходу парсинга где то чтото отваливается или отсутствует описание и два файла не бьются между собой.
Не могли бы подсказать как через парсинг взять весь код, с которым я в дальнейшем буду через регулярку работать?
Спасибо!

Друзья, все получилось по вот этой настройке:

Спасибо!