Помогите разбить шаблон на части

  • Автор темы Автор темы keytri
  • Дата начала Дата начала

keytri

Client
Регистрация
28.08.2011
Сообщения
157
Реакции
10
Баллы
18
Работаю с гуглом.Есть 2 файла: ключи и локации.Шаблон берет ключ и локацию нажимает искать забирает данные т все.
Делал в цикле,жрет много памяти.Посоветовали сделать несколько шаблонов, один долгоиграющий, который обрабатывает данные и несколько коротких, которые бы запускались основным шаблоном.

Поскажите как это правильно сделать?
Никогда не делал проэкт в проэкте

Заранее спасибо
 
а в чем суть шаблона? парсер? циклы внутри? долго работает?
 
Парсер:
Все просто: Есть 2 файла: ключи и локации.Шаблон берет ключ и локацию нажимает искать забирает данные первые 100 ссылок.

3500 ключей и 6000 локаций и все это в много потоков))

По времени чтоб пройтись по всем ключам и одной локации получалось 24-36 часов.

Можете тестовый пример показать?
 
Даже наверное больше интересует как запустить несколько коротких.Как это выглядит?
 
ну как вариант:
- в начале проекта брать ключ с удалением.
потом в рамках 1 выполнения шаблона реализовывать цикл прохода по ключу + все локации. каждые 20 выполнений цикла делать перезагрузку инстанса экшеном Браузер - Настройки
ну и запускать в многопотоке это дело)
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)