Результаты поиска

Пролог: Bing занимает третье место в мире поисковиков (по данным netmarketshare.com), и остается весьма неплохим донором для массового парсинга с поддержкой глубоких настроек фильтрации. Капчу вводить не надо, просто меняем прокси. Шаблон парсит только обычную текстовую выдачу, не картинки, не...

тогда перед созданием списка файлов сделайте проверку на наличие этого файла зеновским кубиком. Если файла нет, то создаем его. Если есть, значит какой то поток уже успел его создать, и тогда мы пропускаем шаг создания. Сработает при условии что там не сотни тысяч файлов и создания файла-списка...

Так создайте физический список файлов перед запуском шаблона. А в шаблоне этот файл прикрепите к списку, с которого с удалением будете брать строки. И в каждом потоке будет уникальная строка из этого списка.

Успокойтесь. Платили через офлайн банк? Ждите стандартные 3 рабочих банковских дня для зачисления платежа. Хотели быстрей? Почему тогда не использовали онайлн валюту? Тот же Webmoney зачисляется за 1-20 минут. Динозавры…

Увы, найти сейчас за 36 Евро сервак с виндой и такими параметрами (Intel Xeon E3-1271V3 10140 32 GB 2 x 240 GB DC SSD ) + без лимита по сетевой активности НЕреально сейчас. Основные мои парсеры и так требуют эту связку “VPN+прокси”, так что разницы нет.

Писал на аглийском что-то типа: После этого работал только через VPN, который подключен к пулу прокси. Но иногда забывал подключить VPN, и ловил опять письмо если какой-то шаблон многопоточный использовал. Главное в 1 месяц много раз не попадаться на таком, а то мне не отключали сервак, но на...

Хз, вроде дешевле нет. Я потом думал еще Вебтропию потестить, но по ней есть и негативные отзывы, так что остался на Хецнере. Если у вас парсер в пару потоков на браузере, то да, всем насрать. А если норм шаб, который фигачит на Get-запросах больше 100 потоков? Я банально своим парсером...

Не вводите людей в заблуждение, там тоже лимиты, просто не такие маленькие: У меня похожий сервак, как на скрине, но брал давно, по 36 Евро, там лимит 20 ТБ, есть еще VPS за 7 Евро - 5 ТБ. Лимиты могут колебаться чуть в зависимости от тарифа и от номера датацентра. К тому же без прокси\впс на...

со скрином: http://zennolab.com/discussion/threads/otkrylsja-v-prodzhekte-u-klienta-zakrytyj-shablon.44599/#post-330668

Я перед записью таблицы в файл делаю ее конвертацию в "мульти-строку" через кубик C#: // get table by name "Table_1" IZennoTable table = project.Tables["Table_1"]; // convert table to string return table.ToString(); Потом при записи файла проверяю: если файл уже есть, то шаб просто дописывает...

//tr[contains(@class, 'trEventChild sportColor1 level')] учите маны по xPath из того поста что я давал, и помимо скринов давайте ссылку на сайт, по скринах не проверить правильно ли синтаксис сложен.

ну так вставьте туда переменную, в которой содержится нужное число, и склейте обратно в 1 строку. Это я так склеивал в string xpath_1 в том коде (в кавычках текстовое значение, а через "плюсик" добавлял переменную match_title_text. Это азы C#.

вопрос не ясен, больше подробностей.

Читайте мой пост выше. Он труп на крупных файлах.

Всегда проверяйте им же количество строк в сумме в выходных файлах, а то он у меня на всех последних версиях очень изредка на крупных файлах (пару гб) теряет пару строк после любой операции с файлом. Мелочь, но все же предупрежу. Старая 6 версия Пингвина и 4 версия KeyWordKeeper норм срабатывают.

Да не делай ты через замену, там могут всплыть косяки на юникс-документах с их переносами строк. Вот регуляряка для замены пустой строки вместе с переносом на пустоту, но хз насколько она универсальная: ^[\r\n]+

"Меню поиска" != "Меню замены". "Ctrl+F" != "Ctrl+H"

в Notepad++: "Правка > операции со строками > удалить пустые строки" В EmEditor: Меню поиска, активируем режим «регулярные выражения», вводим: ^$ Потом жмем «закладка». Потом «Правка > Закладки > Документа > Удалить строки с закладками».

Ну раз пошел интерес к EmEditor, то скину здесь еще подсказки по работе с ним на примере таблиц с разделителем {-String.Tab-}: "как в EmEditor отфильтровать строки в таблице по нужной фразе". Я ошибочно считал раньше, что удобной привычной фильтрации там нет, предполагается что для удобства...

Зенка очень любит зависать на этих кликах и страницу не прокрутить, проверено.

Заменить в коде /td[3] на: /td[. ='11.50'] где 11.50 это нужный текст внутри ячейки. Ну или через переменную там его вставлять, как я match_title_text вставлял. UPD: ну и изучайте сами xPath по ссылкам-мануалам в конце этого поста: путеводитель для новичков при использовании...

Дык значение в ячейке там постоянно меняется в динамике без обновления страницы, точно надо?

Tab tab = instance.MainTab; string match_title_text = project.Variables["match_title_text"].Value; // в переменной наш заголовок матча "Буллетс — Олд Роуд" // формируем наш xPath // Выглядит типа так: ищем строку таблицы, которая содержит наш заголовок матча, а в ней уже ищем ячейку №3 string...

5...20 минут и сделаю...

Скиньте урл страницы, попробуем сделать шаб, если там не много мороки.

Все говорят, что таблицы — это слабое место Зенки. При глюках пробуйте перейти на аналогичный алгоритм на C#, может там не будет поломок. Или откажитесь от использования мульти-символов в качестве разделителя, подозреваю что это увеличивает вероятность глюка. Я использую в качестве разделителя...

Алгоритм для одновременной обработки нескольких городов (и даже областей) придуман, и сейчас тестируется мной в бета-версии шаблона. Как пройдет все испытания, то обновлю шаблон, ну и подниму чуть цену. А пока собрал на новой версии >4 млн объектов из всей России и продаю на складчике, можете...

поправлю ссылку, а то там опечатка. Урл такой: http://zennolab.com/discussion/threads/obzor-zennoposter-xpath-na-primere-jandeks-marketa.37497/

Ситуация такая же как недавно спрашивали, советовал xPath.

ТС наверное ищет как спарсить на странице донора все ссылки именно на другие страницы донора. И абсолютные, и относительные, но ВНУТРЕННИЕ. Там не простой алгоритм, если нужно идеальный результат получить. Может есть какая-то готовая библиотека, я не нашел, придумал вот такую схему: 1. Сначала...

Для сложных кликов оптимальнее изучить xPath: xpath click site:zennolab.com

Шаблон на браузере \ на запросах? В настройках пробовали выделенный процесс ставить? Тут телепатов нет, если нужен быстро результат, то выставляйте шаб в паблик. Если там что-то секретное, то разбирайтесь сами, используя анализ результатов трассировки.

C# кубик: project.Tables["ИмяТаблицы"].Clear(); Или через кубик "Операции с таблицой - Удалить строки - все".

Вместо унылого кликания добавьте кубик C#-кода c XPath: //Переходим на активную вкладку: Tab tab1 = instance.GetTabByAddress("page"); if (tab1.IsBusy) tab1.WaitDownloading(); //используя XPath находим последний елемент в поиске яндекс карт HtmlElement he =...

Подведу итоги февраля: 1. Гугл подкрутил гайки за последний месяц (убавил где-то вдвое максимальную длину текста на 1 запрос перевода). 2. И начал вводить новые (в основном улучшенные) алгоритмы перевода, которые уже видны в браузере. Но старых методов обработки запросов (на которых работает мой...

За три года что-то поменялось, или это все еще самое оптимальное решение?

И пока я не забыл, еще один глюк из тех же тестов: не используйте в родном гет\пост кубике в поле «Таймаут» переменную из «Входных настроек», иначе ее значение будет просто игнорироваться, и при глюченом прокси кубик не выйдет по красной ветке после нужного времени, а будет ждать стандартный...

UPD: каюсь, если кого-то сбил с пути истинного предыдущим постом. Так как в старпосте делать НЕ надо, а то будет кака: Пустые гет запросы после завершения одной из попыток (многопоток)

Да, есть такое, на версии 5.14.0.0 в многопотоке, и подозреваю что на остальных. Причина: вы работаете на гет-запросах с включенной опцией «Не использовать браузер». Но при этом прокси устанавливаете через кубик «Установить прокси» (который когда-то вроде как и не работал для безбраузерного...

А ProjectMaker на шести одновременно :).

Да, просто скачайте файл там по ссылке. В принципе, может на каких-то других словах КК покажет лучший результат, на скринах ведь слишком мало слов использовалось. Это уже сами тестируйте, у меня пока этот шаб пылится без дела.

Ответили бы уже давно, но большинству влом печатать со скрина. Файнридером что ли распознавать?

Если сильно захотеть, можно в космос полететь… Хз зачем, но в конце прошлого года я задавался подобным вопросом. Так и не смог найти в каком шабе я его применял, остался только тестовый шаблон. Начнем по порядку (регистр я игнорировал, точнее все к нижнему привел, с регистром уже сами думайте...

Хз, боюсь тут нужен совет эхххсперта по черным дырам:

:-). Я собираю чтобы популяризировать свой шаблон по парсингу, и чтобы потом продавать эту базу. Ну или рассылкой займусь по тем адресам что в ней.

Автору темы для дополнения своей базы организаций 2гис, мне для дополнения своей базы Яндекс.Карт, среднестатистическим заинтересовавшимся – для сбора целевой аудитории под емеил-рассылку.

Это разработчики Zennolab тонко так намикают вам, что пора бы уже прикупить CapMonster для нормального входа в кабинет.

поделюсь примером настроек из своего платного Гугл-переводчика. Здесь собраны именно поддерживаемые языки Google-Translate на момент создания той темы (ноябрь 2017). Там есть немного отличия от двух-буквенного стандарта ISO 639-1. Используете в обычном кубике перевода Zenno сокращения отсюда...

Просто подскажу алгоритм поиска: 1.1. Собираете под каждую нишу основные ВЧ\СЧ ключи по нужным языкам. 1.2. Парсите выдачу 1-3 популярных поисковиков (где легче парсится с минимум прокси\капч) по этим ключам. (Бесплатный парсер). 1.3. С найденных страниц выделяете только домены, удаляете самые...

Этот конкурс прост кладезь шаблонов для дорвейщиков. Вот и бесплатный Парсер Bing выкатил @surrealmix. Да, в нем нет проверки на "shadow бан", нет настроек языковых параметров запросов, но все очень просто изложено, для новичков сойдет, халявно ведь!