Как спарсить сайты с яндекса?

[Sambo7]

Всех приветствую, я только учусь зенке, смотреть видео курс и вникать терпения нет поэтому не обессудьте за столь нубские вопросы.

Пытаюсь писать шаблон простенький, суть в следующем, зайти на яндекс, ввести в поисковик key из списка тхт, далее в из выдачи копировать урл домена без http. и всё это дело парсить в отдельный тхт документ.

Я лишь смог почистить кэш и куки и перешёл в поисковик, что дальше делать не знаю.

Буду благодарен за подсказки.

 

[specialist]

Включить запись действий
Ввести запрос, перейти на страницу
Выбрать любой из url, правой кнопкой мышки парсить
Добавить к проекту
Сохранить полученный список в txt файл

Это самый простой способ, но по факту быстрее сразу в url подставлять запрос

 

[Сибиряк]

Если есть лимиты XML Яндекса можно оттуда парсить.
Можно поискать по форуму. Может уже есть реализации))
ссылка

Лучше на примерах учиться.

 

[Sambo7]

Включить запись действий
Ввести запрос, перейти на страницу
Выбрать любой из url, правой кнопкой мышки парсить
Добавить к проекту
Сохранить полученный список в txt файл

Это самый простой способ, но по факту быстрее сразу в url подставлять запрос

Благодарю. Удалось, всё выполнить кроме последнего пункта! Как сохранить полученный список в txt файл? И зациклить все это дело чтоб после нажатия на кнопку далее снова происходил парсинг?

 

[specialist]

сохранить полученный список в txt файл? И зациклить все это дело чтоб после нажатия на кнопку далее снова происходил парсинг?

Как вариант, добавить еще одно действие. Операции со списком. Сохранить в файл. Дописать.

И зациклить все это дело чтоб после нажатия на кнопку далее снова происходил парсинг?

Лучше всего по ссылке, изменять часть url в зависимости от значения, правой кнопкой мыши, подставить значение переменной, которую берем из файла. По ссылкам внизу ходить не рекомендую, все равно без переходов на сайты капчу будет выкидывать, а разбираться где 1 где 2 не самое интересное.

 

[Sambo7]

Как вариант, добавить еще одно действие. Операции со списком. Сохранить в файл. Дописать.

Урл упали в список и сохранились... Отлично!)

Лучше всего по ссылке, изменять часть url в зависимости от значения, правой кнопкой мыши, подставить значение переменной, которую берем из файла. По ссылкам внизу ходить не рекомендую, все равно без переходов на сайты капчу будет выкидывать, а разбираться где 1 где 2 не самое интересное.

Вот этот момент мне немного не понятен, можете подробнее описать? И да, не очень хотелось бы чтобы капча вылазила, возможно ли этого избежать?

 

[specialist]

И да, не очень хотелось бы чтобы капча вылазила, возможно ли этого избежать?

Нужна работа с профилем и "нагуливание" статистики. 0) Добавить действие сохранить профиль, выполнить в пошаговом режиме. 1) Добавить в начало, загрузить профиль 2) В конце работы сохранить.
Далее нужно переходить на некоторые из сайтов в выдаче и "просматривать" их, некоторые добавляют прокрутку страницы, эмуляцию движение и т.п.
Но на самом деле проще кучей прокси пройти, чем тратить время на эмуляцию. Так же можно купить лимиты xml и через них парсить.
Зависит от того зачем эти url нужны.

Вот этот момент мне немного не понятен, можете подробнее описать?

Как демо:
1) Создали новый проект в режиме записи, перешли по ссылке, то что вначале делали, в первом посте
2) Добавили переменную, в режиме просмотра руками изменили ее значение на нужное
3) Открыли экшен переход по URL, стерли (или добавили к текущему) по щелчку правой кнопки мыши из контекстного меню, вставить переменную.

 

[Sambo7]

0) Добавить действие сохранить профиль, выполнить в пошаговом режиме.

Можно этот момент по шагам? Шаг 1 - Добавить действие - данные -операции над профилем?

Зависит от того зачем эти url нужны.

url чтобы пообщаться с владельцами сайтов, хочу попробовать то что недавно узнал из курса, предложить разместить рекламный банер на неделю в тестовом режиме и слить трафик на пп...

 

[specialist]

Добавить действие - данные -операции над профилем?

да, только вначале проще сохранить, потом загрузить. В графическом режиме если поставить просто загрузить, то грузить будет нечего, пустой создавать, когда уже есть с куками не очень интересно.

url чтобы пообщаться с владельцами сайтов

Вот это дело автоматизируется, смотрите конкурсы шаблонов. Там же есть готовые парсеры.

 

[Sambo7]

Вот это дело автоматизируется, смотрите конкурсы шаблонов. Там же есть готовые парсеры.

Я нашел в первом конкурсе шаблонов, шаб по поиску e-mail на сайте со списка урл, больше шабы не искал, начал пытаться свой написать, казалась задача простая, на 3 кубика, а как с вами начал общаться, то начал нервничать, не понимаю ничего в ПМ. Раньше считал себя продвинутым, а сейчас понимаю что нуб....)))))

 

[Сибиряк]

Я нашел в первом конкурсе шаблонов, шаб по поиску e-mail на сайте со списка урл, больше шабы не искал, начал пытаться свой написать, казалась задача простая, на 3 кубика, а как с вами начал общаться, то начал нервничать, не понимаю ничего в ПМ. Раньше считал себя продвинутым, а сейчас понимаю что нуб....)))))

Главное ищите ответы на форуме через гугл, тут реально почти вся инфа есть в примерах, советах и шаблонах.
Пример поиска ссылка

 

[Sambo7]

Благодарю.