Зенка не может обработать очень огромный исходный код

  • Автор темы Автор темы lexone
  • Дата начала Дата начала
lexone

lexone

Client
Регистрация
12.10.2012
Сообщения
420
Реакции
726
Баллы
93
Всем привет!

Проблему уже озвучил в заголовке темы.

Сама страница нормально открывается с этим исходным кодом, но из-за большого кол-ва строк (исходник действительно очень большой).. Dom не может его отдать =(
А перебирать исходный код через outerhtml не могу.. (более 40к значений).
C# и get тоже не решает проблемы (не отдает, что надо).

Страницу / шаблон тоже не могу показать .. :(
(страницу получаю с помощью баги.. не хочу палить способ).
 
ммм чет сомнительно... а C# почему не решает
 
Lexicon написал(а):
ммм чет сомнительно... а C# почему не решает
Нажмите для раскрытия...
Отдает только 10 результатов (из 30к).
Я без понятия почему..
Вроде в "web версии через браузер" отключал и js, флеш и все остальное.. но отдает все 30к .. а через get/c# только 10.
Скорее всего это из-за особенности баги (c# не может ее пробить.. нужно по любому эмулировать браузер).
Кто может помочь?
Готов даже заплатить за верный ответ))
 
Лимит для Dom 10 Mb.
В этом случае лучше работать с элементами в цикле.
 
rostonix написал(а):
Лимит для Dom 10 Mb.
В этом случае лучше работать с элементами в цикле.
Нажмите для раскрытия...
А есть способ обойти?
Проджект_мейкер обрабатывает с дикими глюками более 10 мб.
Мне надо вытянуть 40-100к профилей, а твоим способ я их буду целый день через счетчик перебирать (многопоточность тут отпадает из-за некоторых моментов).
А так я могу почти мгновенно получить.. если зенно даст обработать.

:bc:
 
Я бы так сделал, положил инфу на винт, далее распарсил бы как надо, например регулярками, если скоростей ZP по обработке было бы мало - заюзал бы textpipe к примеру
 
CSS написал(а):
Я бы так сделал, положил инфу на винт, далее распарсил бы как надо, например регулярками, если скоростей ZP по обработке было бы мало - заюзал бы textpipe к примеру
Нажмите для раскрытия...
ВОПРОС!
А как ты положишь , если он не отдает больше 10mb?
А частями не получится.. отдает сразу 50bm исходного кода.
+ мне этот скрипт под массовую продажу.. (не хочу юзать костыли).
 
lexone написал(а):
ВОПРОС!
А как ты положишь , если он не отдает больше 10mb?
А частями не получится.. отдает сразу 50bm исходного кода.
+ мне этот скрипт под массовую продажу.. (не хочу юзать костыли).
Нажмите для раскрытия...
Ты выше писал что отдаёт 30мб (когда без стилей и прочего), в переменной не отдаёт тебе исходный код как есть? Кстати сама страница долго грузится? Если да, то возможно таймаут поставить больше чтобы всё выгрести.
 
CSS написал(а):
Ты выше писал что отдаёт 30мб (когда без стилей и прочего), в переменной не отдаёт тебе исходный код как есть? Кстати сама страница долго грузится? Если да, то возможно таймаут поставить больше чтобы всё выгрести.
Нажмите для раскрытия...
1. бывают и 10мб, и 20, и 100 и даже 150. (все зависит от кол-во участников в группе).
2. не отдает :( (даже через макросы напрямую)
3. не долго (+ поставил инстанс на 200 сек).

shwxvv2r.m3v_53bf1f6224856.png


Пока код не превышает 10mb.. это работает.

Жаль через элементы такая конструкция не работает.. нужно перебирать каждый отдельно.
 
Вижу такие мысли на этот счёт, это через CC пытаться снять с FF лимиты в 10мб, второй вариант это сторонним софтом как-то внедряться в инстанс и оттуда напрямую дёргать, если удастся, то внедрялку запаковать в батник и юзать прям из шаба
 
  • Спасибо
Реакции: lexone
CSS написал(а):
Вижу такие мысли на этот счёт, это через CC пытаться снять с FF лимиты в 10мб, второй вариант это сторонним софтом как-то внедряться в инстанс и оттуда напрямую дёргать, если удастся, то внедрялку запаковать в батник и юзать прям из шаба
Нажмите для раскрытия...
Есть более удобный вариант.
Найти в конфигурации этот ограничитель (ведь в pm его нету) и снять.

Ждем админов 8-)
 
lexone написал(а):
Есть более удобный вариант.
Найти в конфигурации этот ограничитель (ведь в pm его нету) и снять.

Ждем админов 8-)
Нажмите для раскрытия...
Раньше кстати да, был специальный файлик и утилитка для его тюнинга
 
УРЯ!!!))

Нашел багу, которая мешала мне получить сразу весь код в c# (не те куки подгружал).

Всем спасибо за ответы :az:

+ теперь шаблон 100% на c# (и бага не палится через Url.. разве что снифером).
 
Новая проблема... :dy:

Теперь c# не хочет отдавать код, если он больше 15 мб.
 
CSS написал(а):
Ты его в переменную положить не можешь? Если так, то пиши его напрямую в файл
Нажмите для раскрытия...
В обоих случаях не могу получить исходный код страницы, если он более 15 мб.
 
У меня та же проблема с скролингов как в твиттере
когда скролим долго то интанс зависает и не может отдать dom
а чаще всего просто зависает при прокрутке и до конца никак не получается пролистать.
все что можно было отключил но реальный вес страницы может достигать 100+ мб
 
Попробуйте через Webbrowser хз правда не рухнет ли это все)))
Короче реально большую инфу лучше обрабатывать потоками чем переменными
 
alekwuy написал(а):
У меня та же проблема с скролингов как в твиттере
когда скролим долго то интанс зависает и не может отдать dom
а чаще всего просто зависает при прокрутке и до конца никак не получается пролистать.
все что можно было отключил но реальный вес страницы может достигать 100+ мб
Нажмите для раскрытия...
Юзай вап версию, там есть пагинация классическая
 
Вап версии нету и апи с нужным функционалом тоже(
это не твиттер
я просто пример привел)

просто не парсит и не может даже dom в переменную положить другую
qIh86TN.png
 
alekwuy написал(а):
Вап версии нету и апи с нужным функционалом тоже(
это не твиттер
я просто пример привел)

просто не парсит и не может даже dom в переменную положить другую
qIh86TN.png
Нажмите для раскрытия...
Тогда get запросы) и разбираться по винтикам со снифером в каком виде они там ходят
 
реально - то что у вас подгружается скроллом, не значит что оно работает на скролле) это просто обработчик события на аяксе или js и если вы найдете какой именно скрипт и что ему подать на входе - то сможете получать информацию небольшими кусочками
 
Пробуйте в цикле перебирать элементы используя счетчик как номер совпадения
 
Но при офигенном размере страницы будьте готовы что браузер умрет. Как любой другой)
 
поставил таску, чтобы можно было отдавать большие объемы DOM текста, только там реально будет отжираться памяти очень много при передаче таких значений между процессами, так что инстанс всеравно может упасть из-за того что ему не хватит памяти выделенной для 32 битного процесса.
 
darkdiver написал(а):
поставил таску, чтобы можно было отдавать большие объемы DOM текста, только там реально будет отжираться памяти очень много при передаче таких значений между процессами, так что инстанс всеравно может упасть из-за того что ему не хватит памяти выделенной для 32 битного процесса.
Нажмите для раскрытия...
А можете ответить за c#?
У него тоже есть внутренние ограничения?
 
вообще есть, но работает то он с переменными зенки)
Напишите на webbrowser если очень хочется насилия над личностью - но мне кажется и оно тоже рухнет)
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу