Автоматический статейный прогон по движкам Joomla K2

[Плутишка]

То что список приложен к проекту, он парсился в момент написания статьи +/- 2 дня

Парсера не осталось поделиться?

 

[Jerard]

http://a-parser.com/ - пожалуйста )

 

[Alik]

какая ссылка правильная должна быть в файле domains.txt?

_ttp://abc.ru
или
_ttp://abc.ru/component/k2/

 

[sekoan]

http://a-parser.com/ - пожалуйста )
Дороговата получается, есть аналог контент довлоадер, про версия стоит 2000р для 50 потоков, практически под любой вид парсинга можно настроить, как пример парсер групп в вк, с автоматической прокруткой вниз. Я там у специалистов заказал сейчас шаблон для гугла для поиска движков к2, кому интересно могу продать за 3$, этот шаблон можно в дальнейшем настроить под любой парсер, только лишь изменить значение DOMa.

 

[Плутишка]

какая ссылка правильная должна быть в файле domains.txt?

_ttp://abc.ru
или
_ttp://abc.ru/component/k2/

h_ttp://abc.ru

http://a-parser.com/ - пожалуйста )
Дороговата получается, есть аналог контент довлоадер, про версия стоит 2000р для 50 потоков, практически под любой вид парсинга можно настроить, как пример парсер групп в вк, с автоматической прокруткой вниз. Я там у специалистов заказал сейчас шаблон для гугла для поиска движков к2, кому интересно могу продать за 3$, этот шаблон можно в дальнейшем настроить под любой парсер, только лишь изменить значение DOMa.

Им не получится так гибко как зенкой. Да и капчи он не обходит, насколько я помню.

 

[Jerard]

А-парсером не получится как зенкой??? Мне кажется наоборот ))

 

[polwmail]

Народ, чем привести ссылки abc.ru/index/blablalbla/sdf/dfgr к виду ttp://abc.ru софт

 

[Jerard]

Да той же зенкой, в 2 действия. В одном действии берешь строку, в другом записываешь, но уже с ttp:// впереди

 

[Alik]

h_ttp://abc.ru

значит правильно все делал.

но не одного удачного размещения.

 

[polwmail]

Да той же зенкой, в 2 действия. В одном действии берешь строку, в другом записываешь, но уже с ttp:// впереди

Прошу прощения, я неявно выразился, http спереди подставить не сложно, можно и в notepad++ это сделать, меня волнует как убрать хвост, т.е. привести домен к индексу
было : _ttp://ya.ru/aaaaa/cccc/ddd/fg.html
стало: _ttp://ya.ru/
Зенкой тут нужно регулярками поработать, может у кого есть наработка?

 

[sekoan]

Прошу прощения, я неявно выразился, http спереди подставить не сложно, можно и в notepad++ это сделать, меня волнует как убрать хвост, т.е. привести домен к индексу
было : _ttp://ya.ru/aaaaa/cccc/ddd/fg.html
стало: _ttp://ya.ru/
Зенкой тут нужно регулярками поработать, может у кого есть наработка?


На сколько я знаю адрес можно найти: зайти в переменные (окружение) {-Page.Domain-} или {-Page.FullDomain-} они сохраняются автоматически как только переходят на страницу

 

[minsky]

Подскажите пожалуйста, а как вы парсите сайты? искать все сайты и смотреть чтобы в исходном коде было option=com_k2? Но даже так не во всех сайтах из списка в шаблоне он находится

Запрос в Гугле - inurl:option=com_k2 ключевое слово

 

[Alik]

Ребят кто нибудь подскажет что там надо поменять что бы он нормально прогон делал?

 

[minsky]

Парсишь ссылку на сайт из поиска гугл/яд/тд по нужным забросам , потом берешь код по этой ссылке при помощи get запроса и regexp ищешь нужные критерии в коде . В идеале ,для большей скорости парсинга - всё делается на post/get запросах .
Или просто погугли софт для этих целей ,раньше был butterfly парсер.

Я вот этим паршу http://ascent.pro/ru/selka.html

 

[minsky]

Прошу прощения, я неявно выразился, http спереди подставить не сложно, можно и в notepad++ это сделать, меня волнует как убрать хвост, т.е. привести домен к индексу
было : _ttp://ya.ru/aaaaa/cccc/ddd/fg.html
стало: _ttp://ya.ru/
Зенкой тут нужно регулярками поработать, может у кого есть наработка?


На сколько я знаю адрес можно найти: зайти в переменные (окружение) {-Page.Domain-} или {-Page.FullDomain-} они сохраняются автоматически как только переходят на страницу

Notepadом за пару секунд делается

 

[minsky]

регулярное выражение (aaaaa.+)$ - удаляет все до конца строки, начиная с ааааа

 

[zortexx]

Не понимаю в чем проблема, - на зенке парсер гугла пишется за 5 минут. За 7 - вместе со сниппетами. После авторизации с распределением прокси (1 прокси на 1 аккаунт-поток) и соблюдения пауз - всё парсится без капч и во все 5 потоков стандартной версии.

 

[polwmail]

регулярное выражение (aaaaa.+)$ - удаляет все до конца строки, начиная с ааааа

Спасибо ), тоже сделал нотепадом регулярками но вот так
Строка поиск: \.ru.*$
Строка замена: .ru

 

[Jerard]

Собственно мои результаты прогона
Писем на почту пришло 743

Успешно упало в отчет 643 штуки

Шаблон полностью на GET/POST кому интересна покупка пишите в skype: jerardn

 

[Плутишка]

Собственно мои результаты прогона
Писем на почту пришло 743

Успешно упало в отчет 643 штуки

Шаблон полностью на GET/POST кому интересна покупка пишите в skype: jerardn

Это за сколько он запостил все это?

 

[Jerard]

Думаю если в 100 потоков гнать, то минут за 30. Точно сказать не могу, не засекал как то )

 

[sekoan]

Есть результаты прогона? Позиции тиц?

 

[sekoan]

http://www.maultalk.com/topic182566.html тема сейчас актуальная смотрю по к2

 

[Jerard]

То что статистику скинул, по ней результата не будет, т.к. чекал только пробив, соответственно сайт там не указан.
По поводу актуальности, тут тяжело сказать, т.к. прогонять можно по разному, статьи могут быть разного качества. Никто не мешает сделать перелинковку статей между собой + ссылки эти прогонять по профилям или блогах, в общем делать некую сетку.
Так же можно фильтровать домены по таким параметрам как CF,TF,DA,PA про которые мало кто вспоминает, сейчас ТИЦ и PR не так важен как раньше.
Я согласен с тем что щас от них толку и эффективности не так много как было 2-3 года назад, но я не согласен с тем что толк от них нулевой. Главное найти подход.

 

[bad robot]

гугль похоже пофильтровал выдачу по com_k2

 

[Jerard]

Не понимаю как вы ищите

 

[minsky]

https://yadi.sk/i/D8QGvf5RemT85

 

[minsky]

Кстати работает до сир пох эта штука, только новые найденные регу отрубают

 

[minsky]

гугль похоже пофильтровал выдачу по com_k2

inurl:option=com_k2 гугль похоже пофильтровал

 

[xbad1]

Друзья, что бы 2 раза не вставать - с удовольствием куплю шаблон для прогона статей по K2. Предложения в личку, пожалуйста.