Автоматизированная кластеризация запросов! Котоаватарцы атакуют!

[Maikl]

спасибо за ответ
8гб не хватило для 94ключей
ставлю на 32гб систему. по тесту отпишусь

 

[Lexicon]

94 000 ключей? или 94 ключа? О_о

 

[Maikl]

94k

 

[Maikl]

Не подскажешь как решить ошибку?

Когда запускаю строчку:
x<-mefa(stcs(data))

Выдает ошибку:
Ошибка: не могу разместить вектор размером 30.6 Gb

На сервере 62Gb оперативной памяти (Windows x64)

 

[Lexicon]

Это уже косяк самого приложения) у него есть некоторые ограничения на количество обрабатываемой памяти. Среда R 64 битная?

Попробуйте в начало скрипта запилить строчку
memory.limit(size=60000)

 

[schnaps]

а мой зелененький котик подходит? )

 

[Lexicon]

не похож))) я за чистоту рядов))))

 

[schnaps]

а такой зелененький котек? ))))
и ваще чо тот зелененький не нравился? усы жеж есть у него )))
а так да... просто тема интересная )


зыж. блин....аж не по себе стало от этого зеленого чудища ))))))

 

[Lexicon]

Эх))) ну котик узнаваем))) Главное если что мяукать а не издавать клокочущие утробные звуки))) щас скину))

 

[capturis]

Такая аватарка вписывается в ваш флешмоб?

 

[Lexicon]

Пойдет))) щас скину)

 

[Чешир]

Хотелось бы узнать - я один такой тупой или есть еще кто-то, кто нихрена в этой теме не понял?

 

[Lexicon]

Вероятно, вам просто не попадалось это понятие ранее))) Или попадалось, но тогда в общем то и понимать ничего не надо, достаточно заголовка топика)

 

[capturis]

Хотелось бы узнать - я один такой тупой или есть еще кто-то, кто нихрена в этой теме не понял?

Постараюсь ответить, насколько вник в работу скрипта сам.
К интернету обращений не происходит. Все действия выполняются локально. Суть: читается файл с запросами, к каждому из которых привязано несколько урлов. Один и тот-же урл может отдаваться ПС по разным запросам, следовательно на основе этого урла такие запросы можно объединить в группу.(Ведь на данной странице по мнению ПС есть ответ на каждый из этих запросов. Кроме того данные урлы взяты из топа, следовательно оптимизированы по мнению этой ПС лучше других.)
Важно! Если нужен результат для яндекса, его и парсим для составления листа запрос*урл. Для любой другой ПС - соответственно.

 

[Nick]

Примера чего?))) могу скрипт в личку запилить))) а примеров сами наделаете)

Да! Будьте добры!

 

[denstadnyk]

Присоединился к котоаватарцам понравилось)
Прошу поделиться шаблончиком

 

[MoveMe]

Эт конечно безумие - я и котээ ))))
но теперь я в теме )))
поделитесь шаблончиком плиз

 

[Lexicon]

вот оно... мировое господство!

 

[Aleksandr]

вот оно... мировое господство!

а раньше говорил что ))) а теперь вон оно как господство) боюсь братья четырехлапые не котики конечная цель, тогда что? там дам дам...
мне тоже скрипт пжл

 

[Lexicon]

Все тебе расскажи)))) но если что, пока открыта вакансия учетчика расстрельных списков))))

 

[schnaps]

ужс какой то а не скрипт )))
вдул ему 27к запросов больше при 16гб озу не сожрал....
шуровал 3 суток. я не выдержал... выключил а счастье было так близко, а может и очень далеко )))))))

 

[Sotastroy]

Интересный скриптик, покручу, если дадите.

пс. Аватарку сменил, коте со свадьбы, официальный представитель темы "Алиса в Зазеркалье". Таким макаром глядишь и до админов достучусь, может статус клиент дадут=)

 

[Lexicon]

Вы не поверите, котики творят чудеса)))...

 

[Lexicon]

ужс какой то а не скрипт )))
вдул ему 27к запросов больше при 16гб озу не сожрал....
шуровал 3 суток. я не выдержал... выключил а счастье было так близко, а может и очень далеко )))))))

А черт его знает))) чем разреженнее ключи, тем больше работать))) вот у меня 1000 ключей где то час разбиралось, а в личку спрашивали - а если у меня заняло 4 минуты это что то не правильно?))) так что все относительно, но 27 к запросов эт дофига)))

 

[schnaps]

да. а у меня так то больше 100к но ладно. я понимаю где косяк. я выдачу не собирал каждому ключу присвоил порядковый номер
а вот можно ли из групп группировать группы?
например я кластеризую ключи. получаю 100 кластеров по 1000 ключей в каждом. можно ли как то все это обобщить и собрать из этих кластеров один большой?

 

[Maikl]

братюни, кто то решил пробому при обработке 0.1М кеев?

 

[Maikl]

возможно будет жрать значительно меньше памяти если кодировать url
вместо
самые дешевые проститутки днепропетровска*http://www.liveinternet.ru/tags/%F1%E0%EC%FB%E5+%E4%E5%F8%E5%E2%FB%E5+%EF%F0%EE%F1%F2%E8%F2%F3%F2%EA%E8+%E4%ED%E5%EF%F0%EE%EF%E5%F2%F0%EE%E2%F1%EA%E0/

ставить что то типа
самые дешевые проститутки днепропетровска*SFhbI&@

 

[Lexicon]

Да не будет)))
http://joxi.ru/H4MIVP3JTJDvNOO_rQM
даже пустая матрица занимает 37 гигов) Спокойно) решение маячит на горизонте, но если вы его найдете раньше - я не расстроюсь)

 

[capturis]

В качестве решения на крайний случай. Берем мать ASRock Z87-Extreme11/ac, вешаем на каждый порт по ssd, raid 0, своп на весь раздел и вуаля - имеем от 1300 гиг "оперативки" с достаточной скоростью. Другой вопрос, оправдается ли такая трата до того, как Lexicon доведет скрипт до ума)))

 

[Lexicon]

Вах! спасибо за решение! у меня для кучи дел количество оперативы является критичным, и не всегда код удается потимизировать!