High speed crawling

zenrast

Client
Регистрация
20.03.2013
Сообщения
57
Благодарностей
1
Баллы
8
Hey,

i have a list of pages i want to crawl for SEO puproses(lets say 100.000).
Using a software like Screaming From i can check those sites at a rate of 10 pages/sec. (like google..so without loading images, flash etc.).

I want to do something like that is Zennoposter. What are the key zenno design points i should keep in mind?
 

lokiys

Moderator
Регистрация
01.02.2012
Сообщения
4 812
Благодарностей
1 187
Баллы
113

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)