- Регистрация
- 19.09.2011
- Сообщения
- 2 520
- Благодарностей
- 1 226
- Баллы
- 113
Приветствую участников форума и новичков в области веб-автоматизации.
Представляю вашему вниманию простенький парсер анкет социальной сети Мой Мир Mail.Ru.
Шаблон, в первую очередь, выступает в качестве доказательства того, что даже сейчас возможно создание шаблонов, практически, без использования C#. Именно поэтому пришлось отказаться от автоматического добавления количества попыток выполнения шаблона и автоматического запуска в многопотоке, поскольку на данный момент без C# мне не удалось отловить, что глобальная переменная не инициализирована. В данном случае всё реализовано стандартными экшенами, за исключением обработки дат для добавления в БД MySQL.
Давно известно, что таргетированная рассылка дает более высокий конверт. А в этих анкетах, порой встречаются весьма интересные подробности:
Использование базы данных дает возможность хранить полные варианты анкет и обрабатывать их с высокой скоростью, для создания узкоцелевой выборки из собранной базы пользователей.
В качестве пространства для развития, в данной версии шаблона, парсятся группы только с первой страницы выдачи. Желающие могут это легко доработать.
Шаблон может работать в многопотоке, для этого, полученные, по запросу, группы складываются в файл. Далее они берутся оттуда с удалением, а это значит, что каждый поток обрабатывает участников только одной группы. В случае, если файл пуст, необходимо дать время первому потоку заполнить его группами.
Как известно, с некоторых пор, Мой Мир отдает только 500 участников группы. Чтобы исправить это досадное недоразумение, в шаблон добавлена возможность использования словаря. Например, с именами и фамилиями, для того чтобы расширить выдачу. Архив с именами и фамилиями прилагается.
Парсинг анкеты производится при помощи стандартного HTTP-GET запроса, с использованием относительно новой функции CookieContainer.
Входные настройки
При выводе данных в файлы полный слепок анкеты не сохраняется.
В качестве СУБД я использую портированный MySQL 5.5.25, который входит в состав AMP пакета Denwer, чего и вам советую.
CREATE TABLE IF NOT EXISTS `mymailru` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`mailurl` text NOT NULL,
`email` text NOT NULL,
`inviz` tinyint(1) NOT NULL,
`bdate` date NOT NULL,
`age` tinyint(3) NOT NULL,
`from` text NOT NULL,
`livenow` text NOT NULL,
`lastseen` date NOT NULL,
`info` text NOT NULL,
`keyword` text NOT NULL,
`groupname` text NOT NULL,
PRIMARY KEY (`id`),
KEY `id` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
`id` int(11) NOT NULL AUTO_INCREMENT,
`mailurl` text NOT NULL,
`email` text NOT NULL,
`inviz` tinyint(1) NOT NULL,
`bdate` date NOT NULL,
`age` tinyint(3) NOT NULL,
`from` text NOT NULL,
`livenow` text NOT NULL,
`lastseen` date NOT NULL,
`info` text NOT NULL,
`keyword` text NOT NULL,
`groupname` text NOT NULL,
PRIMARY KEY (`id`),
KEY `id` (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ;
P.S.: Для тех кому нужен парсинг только почтовых адресов - из шаблона легко выпилить ненужные запчасти. Также, хочу заметить, что мобильная версия Моего Мира, на момент написания данного поста, отдает 2020 участников. А в приложении под Android возможно также осуществлять поиск по участникам, как в настольной версии
- Категория
- Парсинг
- Номер конкурса шаблонов
- Третий конкурс шаблонов
- Уровень сложности
- Средний
Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...
Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.
