Зенка не может обработать очень огромный исходный код

[lexone]

Всем привет!

Проблему уже озвучил в заголовке темы.

Сама страница нормально открывается с этим исходным кодом, но из-за большого кол-ва строк (исходник действительно очень большой).. Dom не может его отдать =(
А перебирать исходный код через outerhtml не могу.. (более 40к значений).
C# и get тоже не решает проблемы (не отдает, что надо).

Страницу / шаблон тоже не могу показать ..
(страницу получаю с помощью баги.. не хочу палить способ).

 

[Lexicon]

ммм чет сомнительно... а C# почему не решает

 

[lexone]

ммм чет сомнительно... а C# почему не решает

Отдает только 10 результатов (из 30к).
Я без понятия почему..
Вроде в "web версии через браузер" отключал и js, флеш и все остальное.. но отдает все 30к .. а через get/c# только 10.
Скорее всего это из-за особенности баги (c# не может ее пробить.. нужно по любому эмулировать браузер).
Кто может помочь?
Готов даже заплатить за верный ответ))

 

[rostonix]

Лимит для Dom 10 Mb.
В этом случае лучше работать с элементами в цикле.

 

[lexone]

Лимит для Dom 10 Mb.
В этом случае лучше работать с элементами в цикле.

А есть способ обойти?
Проджект_мейкер обрабатывает с дикими глюками более 10 мб.
Мне надо вытянуть 40-100к профилей, а твоим способ я их буду целый день через счетчик перебирать (многопоточность тут отпадает из-за некоторых моментов).
А так я могу почти мгновенно получить.. если зенно даст обработать.

 

[CSS]

Я бы так сделал, положил инфу на винт, далее распарсил бы как надо, например регулярками, если скоростей ZP по обработке было бы мало - заюзал бы textpipe к примеру

 

[lexone]

Я бы так сделал, положил инфу на винт, далее распарсил бы как надо, например регулярками, если скоростей ZP по обработке было бы мало - заюзал бы textpipe к примеру

ВОПРОС!
А как ты положишь , если он не отдает больше 10mb?
А частями не получится.. отдает сразу 50bm исходного кода.
+ мне этот скрипт под массовую продажу.. (не хочу юзать костыли).

 

[CSS]

ВОПРОС!
А как ты положишь , если он не отдает больше 10mb?
А частями не получится.. отдает сразу 50bm исходного кода.
+ мне этот скрипт под массовую продажу.. (не хочу юзать костыли).

Ты выше писал что отдаёт 30мб (когда без стилей и прочего), в переменной не отдаёт тебе исходный код как есть? Кстати сама страница долго грузится? Если да, то возможно таймаут поставить больше чтобы всё выгрести.

 

[lexone]

Ты выше писал что отдаёт 30мб (когда без стилей и прочего), в переменной не отдаёт тебе исходный код как есть? Кстати сама страница долго грузится? Если да, то возможно таймаут поставить больше чтобы всё выгрести.

1. бывают и 10мб, и 20, и 100 и даже 150. (все зависит от кол-во участников в группе).
2. не отдает (даже через макросы напрямую)
3. не долго (+ поставил инстанс на 200 сек).

Пока код не превышает 10mb.. это работает.

Жаль через элементы такая конструкция не работает.. нужно перебирать каждый отдельно.

 

[CSS]

Вижу такие мысли на этот счёт, это через CC пытаться снять с FF лимиты в 10мб, второй вариант это сторонним софтом как-то внедряться в инстанс и оттуда напрямую дёргать, если удастся, то внедрялку запаковать в батник и юзать прям из шаба

 

[lexone]

Вижу такие мысли на этот счёт, это через CC пытаться снять с FF лимиты в 10мб, второй вариант это сторонним софтом как-то внедряться в инстанс и оттуда напрямую дёргать, если удастся, то внедрялку запаковать в батник и юзать прям из шаба

Есть более удобный вариант.
Найти в конфигурации этот ограничитель (ведь в pm его нету) и снять.

Ждем админов

 

[CSS]

Есть более удобный вариант.
Найти в конфигурации этот ограничитель (ведь в pm его нету) и снять.

Ждем админов

Раньше кстати да, был специальный файлик и утилитка для его тюнинга

 

[lexone]

УРЯ!!!))

Нашел багу, которая мешала мне получить сразу весь код в c# (не те куки подгружал).

Всем спасибо за ответы

+ теперь шаблон 100% на c# (и бага не палится через Url.. разве что снифером).

 

[lexone]

Новая проблема...

Теперь c# не хочет отдавать код, если он больше 15 мб.

 

[CSS]

Новая проблема...

Теперь c# не хочет отдавать код, если он больше 15 мб.

Ты его в переменную положить не можешь? Если так, то пиши его напрямую в файл

 

[lexone]

Ты его в переменную положить не можешь? Если так, то пиши его напрямую в файл

В обоих случаях не могу получить исходный код страницы, если он более 15 мб.

 

[CSS]

В обоих случаях не могу получить исходный код страницы, если он более 15 мб.

Попробуй GET запрос, там и куки можно подставить, и напрямую в файл писать

 

[alekwuy]

У меня та же проблема с скролингов как в твиттере
когда скролим долго то интанс зависает и не может отдать dom
а чаще всего просто зависает при прокрутке и до конца никак не получается пролистать.
все что можно было отключил но реальный вес страницы может достигать 100+ мб

 

[alekwuy]

других вариантов кроме прокрутки вниз нету.

 

[Lexicon]

Попробуйте через Webbrowser хз правда не рухнет ли это все)))
Короче реально большую инфу лучше обрабатывать потоками чем переменными

 

[alekwuy]

Я с С# не очень дружу)

страницу можно получить только скролингом и никак больше
так что циклы и потоки отпадают
какой нибудь мобильной версии нету(

 

[CSS]

У меня та же проблема с скролингов как в твиттере
когда скролим долго то интанс зависает и не может отдать dom
а чаще всего просто зависает при прокрутке и до конца никак не получается пролистать.
все что можно было отключил но реальный вес страницы может достигать 100+ мб

Юзай вап версию, там есть пагинация классическая

 

[alekwuy]

Вап версии нету и апи с нужным функционалом тоже(
это не твиттер
я просто пример привел)

просто не парсит и не может даже dom в переменную положить другую

 

[CSS]

Вап версии нету и апи с нужным функционалом тоже(
это не твиттер
я просто пример привел)

просто не парсит и не может даже dom в переменную положить другую

Тогда get запросы) и разбираться по винтикам со снифером в каком виде они там ходят

 

[Lexicon]

реально - то что у вас подгружается скроллом, не значит что оно работает на скролле) это просто обработчик события на аяксе или js и если вы найдете какой именно скрипт и что ему подать на входе - то сможете получать информацию небольшими кусочками

 

[rostonix]

Пробуйте в цикле перебирать элементы используя счетчик как номер совпадения

 

[rostonix]

Но при офигенном размере страницы будьте готовы что браузер умрет. Как любой другой)

 

[darkdiver]

поставил таску, чтобы можно было отдавать большие объемы DOM текста, только там реально будет отжираться памяти очень много при передаче таких значений между процессами, так что инстанс всеравно может упасть из-за того что ему не хватит памяти выделенной для 32 битного процесса.

 

[lexone]

поставил таску, чтобы можно было отдавать большие объемы DOM текста, только там реально будет отжираться памяти очень много при передаче таких значений между процессами, так что инстанс всеравно может упасть из-за того что ему не хватит памяти выделенной для 32 битного процесса.

А можете ответить за c#?
У него тоже есть внутренние ограничения?

 

[Lexicon]

вообще есть, но работает то он с переменными зенки)
Напишите на webbrowser если очень хочется насилия над личностью - но мне кажется и оно тоже рухнет)