Парсинг Многопоток

[catwick]

Всем привет.
1)Тема такая как работает многопоток зеннопостера на авито или в олх? Процесс вот такой: ищу какой нибудь товар. Парсю все url объялении, по очереди их открываю, описание цену вношу в таблицу. !Но! открывание каждого объявлении по одному занимает очень много времени. Можно ли с помощью многопотока открывать сразу несколько объявлении тем самым ускорить процесс?
2) Пост/гет запросы они есть абсолютно(почти) во всех сайтах? Можно с любого сайта с помощью гет запроса спарсить всю информацию, которую можно и на кубиках спарсить?

 

[volody00]

1)по сути одновременно запускается несколько копий твоего шаблона. Т.е. чтобы реализовать твою задачу, тебе необходимо будет составить шаблон так, чтобы он брал урл с удалением (как вариант). Тогда разные потоки будут открывать разные урл и парсить, ускоряя процесс.
2)у некоторых сайтов стоит защита от запросов, поэтому возможно придется повозиться (насколько я знаю, авито и олх защищаются, хотя люди тут на форуме парсят, значит это возможно)