Tramp Donald
Client
- Регистрация
- 31.10.2017
- Сообщения
- 84
- Реакции
- 32
- Баллы
- 18
да есть такой момент,только сейчас заметил.ещё момент...в чекере сделал удаление дублей по IP
бываем много разных строк с одинаковым IP
продай мне пожалуйстаUPD Прикрутил парс из источников которые были в шабе и нодов на порядок больше парсит.в шабе парсило 37 к,у меня же 56 к уникальных дедублированных нодов,в итоге после их проверки на валидность вышло 1594 живых нода,которые в чекере по большей части живые.
Как вариант в соседней категории разместить свою рекламу, спамить то здесь зачем.спасибо за идею,сделал небольшой комбайн на питоне который поднимает все живые ноды и выгружает список рабочик прокси.Буду дорабатывать потихоньку и прикручу сбор источников.
я себе просто докер контейнер сделал, гружу на любую впску, добавляю строки с впнами, указываю логин и пароль для проксей и он мне сам всё поднимает)и ложатся все остальные шаблоны, оперативки у меня 100гб и куда копать хз
Как вариант переделать проверку на каждый по отдельности.Такая ошибка появилась. Как ее убрать.
Как вариант переделать проверку на каждый по отдельности.
Сейчас реализовано как выборка сразу всего списка и обработка в приложении.
@seodamage , отправил на днях сообщение в личку - ответь плиз если не затруднит. спасибо.я себе просто докер контейнер сделал, гружу на любую впску, добавляю строки с впнами, указываю логин и пароль для проксей и он мне сам всё поднимает)
пока основной режим типо грузишь сам строки и он в то количество потоков которое я указал в конфиге начинает эти строки чекать и закреплять за прокси, типо указал работать в 20 потоков он найдёт 20 живых впнов и каждый прокинет на свою проксю на своём порте)
как время будет думаю сделаю чтобы чисто сам всё искал, чекал и т.д.
автору спасибо за идею)
весь гитхаб обошли ?всем прошу прошения но мы написали аналогичный совфт до 10к прокси и на данный момент пока я пмшу 9300 проксей и пк вообще можно ставить на 1 проц и 1 озу блин совтина ппц рад до опы)

Хоть ты поделились инфой без приглашений в телеграмм)весь гитхаб обошли ?![]()
да что сложного то... берём список ip или доменов из собранных списков и на гитхабе ищем в CODE. очень много повторений но рано или поздно хорошие источники найти не проблема.Хоть ты поделились инфой без приглашений в телеграмм)
Там в паблике тонна источников. Вот только качество.....да что сложного то... берём список ip или доменов из собранных списков и на гитхабе ищем в CODE. очень много повторений но рано или поздно хорошие источники найти не проблема.
проблема только в грабинге гитхаба.. много акков надо(api кюч получить для запросов), а регать их ещё та история с капчей.
ну старья точно тонна.. но можно и на дату проверять.. качество прям в новых красках играть начинает..Там в паблике тонна источников. Вот только качество.....
Ну я сильно не запаривался, как то потестил пару источников в которых дата свежая была, было очень не айс. Может просто такие источники попались.ну старья точно тонна.. но можно и на дату проверять.. качество прям в новых красках играть начинает..
Да они там друг у друга листы берут. Хорошие источники только за счёт кучи кучи акком можно насобирать...Ну я сильно не запаривался, как то потестил пару источников в которых дата свежая была, было очень не айс. Может просто такие источники попались.
Провайдер еще не заблокировал?) Как уже здесь в теме отмечал, надо для проверки потоки снизить с 1000 на 50 хотябы.Эта тема сильно ресурсоемкая, кто замечал? Сделал 10 шаблонов и запустил каждый по 2 потока. Шаблоны очень простые, загрузка одной страницы и там вбиваем данные. В целом 20 потоков и процессор загружен на 100 процентов. Подключил поднятие прокси уже из готовых списков. Процессор вроде не очень слабый, по ОЗУ загрузка вообще маленькая.
Посмотреть вложение 139924
Так сам сборщик и чекер из этой темы не постоянно же работает. В рабочих шаблонах просто берет из списка и поднимает прокси.Провайдер еще не заблокировал?) Как уже здесь в теме отмечал, надо для проверки потоки снизить с 1000 на 50 хотябы.
Надо еще поправить шаблон чтоб не нагружало и совсем нерабочие vpn удалять


