Получение наборов доменов из ICANN (1173 зоны) и базовая обработка списков.

[DevOps]

Продолжайте, я читаю

Напишите в личку
Нуждаюсь в молдавских продуктах

 

[Nord]

(ПРОФФЕССИОНАЛЬНОЕ ПОИСКОВОЕ NO-CODE РЕШЕНИЕ | ВАЖНО ПРО CLOUDFLARE В КОНЦЕ ВИДЕО)
Для @seodamage - Ответ на ваш вопрос
"привет, хотел уточнить, а не планируется разобрать кейс с фильтрацией зон по нескольким фаилам, например
wordpress, cloudflare, hcaptcha, recaptcha, blogger, bitrix и подобных разнообразных выборок. "

Также ответ будет полезен и для сеошников, вебмастеров которые помогают с настройками/доведением сайтов "до ума", директологам ну и по теме статьи ответ также имеет значение.

Одним из моментов в контексте вопроса от @seodamage было "я давно думаю о таком комбаине, и впринципе есть мысли как это реализовать, но к сожалению пока так не умею так писать, чтобы работало максимально быстро как у вас и с многопотоком есть недостаток опыта. ". Конечно же, по плану разработки нашего SaaS решения это все будет программно реализовано, но если нужно "прямо сейчас", то можно сделать и без кодирования. Скажу так, иногда когда очень нужно - но не умеешь, сделай как умеешь и максимально быстро. Решение по выборкам опередит многие программные решения новичков.


Объясняю и показываю

Сайт

PS Вопросы и предложения на Телеграмм @Shock_cybersystems

Кстати.

Клауд у большинства "простых" сайтов настроен по минималке, и их можно спокойно парсить и пинговать.
Большинство ( по крайней мере те, кого я пинговал и не в десятко-миллионных обьемах, а поменьше) просто скрывают клаудом IP хоста, чтоб не палить всю сетку сайтов на одном IP

А так - спасибо за информацию.
Захожу почитать ваш подкаст))

 

[DevOps]

Продолжайте, я читаю
[/QUO

Продолжайте, я читаю

Кстати.

Клауд у большинства "простых" сайтов настроен по минималке, и их можно спокойно парсить и пинговать.
Большинство ( по крайней мере те, кого я пинговал и не в десятко-миллионных обьемах, а поменьше) просто скрывают клаудом IP хоста, чтоб не палить всю сетку сайтов на одном IP

А так - спасибо за информацию.
Захожу почитать ваш подкаст))

Вы правы. Тут два момента первый - я беру максимально негативный сценарий, что и показал
Второй - я настраиваю скоростные решения так, чтобы при любом чихе уходить в сторону ( try/catch if/else)
Подкаст, епта

 

[cocieri]

молдавских продуктах

Мамалыгу на разлив, наверное ... . "шутка, не смог удержаться ...".

 

[DevOps]

Мамалыгу на разлив, наверное ... . "шутка, не смог удержаться ...".

Мамалыга....

 

[DevOps]

Мамалыгу на разлив, наверное ... . "шутка, не смог удержаться ...".

 

[Koqpe]

Всегда можно найти решение которое будет гораздо проще, эффективней и более информативно. Как вам 1 200 000 000 + адресов IPv4 которые на 100%

Привет, я где-то пропустил, хотя два раза перечитал топик и посмотрел видео , или Вы не раскрыли откуда взялись миллиард двести миллионов адресов IPv4?

 

[DevOps]

Привет, я где-то пропустил, хотя два раза перечитал топик и посмотрел видео , или Вы не раскрыли откуда взялись миллиард двести миллионов адресов IPv4?

Приношу извинения за ваше потраченное время, и извиняюсь перед форумчанами, вылетело из головы (одновременно веду несколько разработок)
Идете сюда https://app.netlas.io/datastore/ проматываете вниз и находите вот это

И сразу поясню - не стоит поступать так - чур чур его, база старая, на кол этого еретика - не нужно. Я был бы рад если она была бы старее на пару тройку лет. Почему? Все чуть дальше. База ~ 60Гб

 

[DevOps]

Дополнение к предыдыдущему комментарию для Koqpe
Работать с большими файлами трудно (для новичков), а иногда и не целесообразно (для профи)
Вот код для ZP который "нарежет" файлы. Значение 2500000 можете поменять на более "комфортное" для вас

        // Получаем количество строк от пользователя
          int linesPerFile = 25000000; // тут  поставуьте количество строк для каждого файла, 25М примерно соотвествует 1,2 Гб

        // Получаем путь к рабочему столу пользователя
        string desktopPath = Environment.GetFolderPath(Environment.SpecialFolder.Desktop);

        // Создаем папку на рабочем столе с именем пользователя
        string userFolder = Path.Combine(desktopPath, Environment.UserName);
        Directory.CreateDirectory(userFolder);

        // Путь к исходному файлу
        string sourceFilePath = "путь_к_исходному_файлу.txt";// укажите полный путь к РАСПАКОВАННОМУ файлу

        // Открываем исходный файл для чтения
        using (StreamReader reader = new StreamReader(sourceFilePath))
        {
            int fileCount = 1;
            int lineCount = 0;

            // Создаем новый файл для записи
            string outputFilePath = Path.Combine(userFolder, $"file{fileCount}.txt");
            StreamWriter writer = new StreamWriter(outputFilePath);

            string line;
            while ((line = reader.ReadLine()) != null)
            {
                // Записываем строку в текущий файл
                writer.WriteLine(line);
                lineCount++;

                // Если достигнуто указанное количество строк, закрываем текущий файл и создаем новый
                if (lineCount >= linesPerFile)
                {
                    writer.Close();
                    fileCount++;
                    outputFilePath = Path.Combine(userFolder, $"file{fileCount}.txt");
                    writer = new StreamWriter(outputFilePath);
                    lineCount = 0;
                }
            }

            // Закрываем последний файл
            writer.Close();
        }

 

[DevOps]

Мужики, 99$ на месяц можете уделить?
Возврат гарантирию

 

[seodamage]

(ПРОФФЕССИОНАЛЬНОЕ ПОИСКОВОЕ NO-CODE РЕШЕНИЕ | ВАЖНО ПРО CLOUDFLARE В КОНЦЕ ВИДЕО)
Для @seodamage - Ответ на ваш вопрос
"привет, хотел уточнить, а не планируется разобрать кейс с фильтрацией зон по нескольким фаилам, например
wordpress, cloudflare, hcaptcha, recaptcha, blogger, bitrix и подобных разнообразных выборок. "

Также ответ будет полезен и для сеошников, вебмастеров которые помогают с настройками/доведением сайтов "до ума", директологам ну и по теме статьи ответ также имеет значение.

Одним из моментов в контексте вопроса от @seodamage было "я давно думаю о таком комбаине, и впринципе есть мысли как это реализовать, но к сожалению пока так не умею так писать, чтобы работало максимально быстро как у вас и с многопотоком есть недостаток опыта. ". Конечно же, по плану разработки нашего SaaS решения это все будет программно реализовано, но если нужно "прямо сейчас", то можно сделать и без кодирования. Скажу так, иногда когда очень нужно - но не умеешь, сделай как умеешь и максимально быстро. Решение по выборкам опередит многие программные решения новичков.


Объясняю и показываю

Сайт

PS Вопросы и предложения на Телеграмм @Shock_cybersystems

способ интересный но для меня к сожалению не подходит. я наоборот выпиливаю из своих баз всякие сервисы, аля .wordpress.com wix, ucoz, и подобные им т.к. они централизованно защищаются от спама. и пробив в том софте в котором я использую такого рода базы смешной.

у меня наоборот на блоге есть материалы как выпиливать такого рода ресурсы из своих баз.

также на счёт детекта цмсок есть разного рдоа софт, например у меня есть вот такой https://antoshabrain.blogspot.com/p/gsa-pi.html но в нём например нет детекта hcaptcha, или других интересных вещей.

после того как я ознакомился с конкурсной статьёй, понял что у меня не хватает опыта с многопотоком и какими то определёнными вещами, поэтому и написал в качестве идеи для продолжения поста.

 

[DevOps]

способ интересный но для меня к сожалению не подходит. я наоборот выпиливаю из своих баз всякие сервисы, аля .wordpress.com wix, ucoz, и подобные им т.к. они централизованно защищаются от спама. и пробив в том софте в котором я использую такого рода базы смешной.

у меня наоборот на блоге есть материалы как выпиливать такого рода ресурсы из своих баз.

также на счёт детекта цмсок есть разного рдоа софт, например у меня есть вот такой https://antoshabrain.blogspot.com/p/gsa-pi.html но в нём например нет детекта hcaptcha, или других интересных вещей.

после того как я ознакомился с конкурсной статьёй, понял что у меня не хватает опыта с многопотоком и какими то определёнными вещами, поэтому и написал в качестве идеи для продолжения поста.

И вы говорили что не понимаете тему и испытываете проблемы с многопотоком
Угу
Ознакомился с вашей ссылкой и ПО
Уважение и респект
По поводу критики- разрешите отвечу как буду у компа?

 

[DevOps]

способ интересный но для меня к сожалению не подходит. я наоборот выпиливаю из своих баз всякие сервисы, аля .wordpress.com wix, ucoz, и подобные им т.к. они централизованно защищаются от спама. и пробив в том софте в котором я использую такого рода базы смешной.

у меня наоборот на блоге есть материалы как выпиливать такого рода ресурсы из своих баз.

также на счёт детекта цмсок есть разного рдоа софт, например у меня есть вот такой https://antoshabrain.blogspot.com/p/gsa-pi.html но в нём например нет детекта hcaptcha, или других интересных вещей.

после того как я ознакомился с конкурсной статьёй, понял что у меня не хватает опыта с многопотоком и какими то определёнными вещами, поэтому и написал в качестве идеи для продолжения поста.

Сколько времени занял чек 350М ?

 

[DevOps]

способ интересный но для меня к сожалению не подходит. я наоборот выпиливаю из своих баз всякие сервисы, аля .wordpress.com wix, ucoz, и подобные им т.к. они централизованно защищаются от спама. и пробив в том софте в котором я использую такого рода базы смешной.

у меня наоборот на блоге есть материалы как выпиливать такого рода ресурсы из своих баз.

также на счёт детекта цмсок есть разного рдоа софт, например у меня есть вот такой https://antoshabrain.blogspot.com/p/gsa-pi.html но в нём например нет детекта hcaptcha, или других интересных вещей.

после того как я ознакомился с конкурсной статьёй, понял что у меня не хватает опыта с многопотоком и какими то определёнными вещами, поэтому и написал в качестве идеи для продолжения поста.

Извините за флуд, но многопоток это 6 строк кода

 

[seodamage]

Сколько времени занял чек 350М ?

к сожалению точно уже не могу сказать. по несколько миллионов доменов в день. к сожалению пока чекалась вся база, большое количество доменов отмирало.
в какой то момент я начал составлять всевозможные блеклисты и вайтлисты, и на это так же ушло очень много времени. я и сейчас время от времени делаю такие листы.

 

[DevOps]

к сожалению точно уже не могу сказать. по несколько миллионов доменов в день. к сожалению пока чекалась вся база, большое количество доменов отмирало.
в какой то момент я начал составлять всевозможные блеклисты и вайтлисты, и на это так же ушло очень много времени. я и сейчас время от времени делаю такие листы.

В теме пробив CMS закрыт, ни кода ни инструкций. Нет желания переходить дорогу
Чек на 350М - 6 часов с домашнего компа ( DNSClient отMicha Conrad)

 

[seodamage]

Чек на 350М - 6 часов с домашнего компа

что то не укладывается этот момент в голове. я для того чтобы оптимизировать значительную часть чека поднимаю множество своих днс серваков, к которым обращаюсь в процессе чека. если взять 350.000.000 и поделить на 6 часов то получится чуть больше 58.000.000 доменов в час или если поделить на 60 то 972.000 домена в минуту. на сколько я понимаю, ни 1 днс сервер не позволит резолвить домены с такой скоростью.

 

[Nord]

В теме пробив CMS закрыт, ни кода ни инструкций. Нет желания переходить дорогу
Чек на 350М - 6 часов с домашнего компа ( DNSClient отMicha Conrad)

260М за 3 недели, сервер дымел)

 

[DevOps]

Посмотреть вложение 108466

260М за 3 недели, сервер дымел)

Как считаете, это хороший результат для сервера?

 

[seodamage]

Как считаете, это хороший результат для сервера?

да

 

[DevOps]

да

Добро, флуд закрыли, тут ICANN

 

[DevOps]

Видимо придется пилить про IANA, без их данных это бег по кругу. Данные меняются и причем порой кардинально в плане ip диапазонов и ГЕО что необходимо не только решение но и "демон"
Видимо пока пауза

 

[DevOps]

что то не укладывается этот момент в голове. я для того чтобы оптимизировать значительную часть чека поднимаю множество своих днс серваков, к которым обращаюсь в процессе чека. если взять 350.000.000 и поделить на 6 часов то получится чуть больше 58.000.000 доменов в час или если поделить на 60 то 972.000 домена в минуту. на сколько я понимаю, ни 1 днс сервер не позволит резолвить домены с такой скоростью.

1 миллион в минуту с домашнего компа 6 часов на 350 миллионов
С сервера минут 40

 

[DevOps]

что то не укладывается этот момент в голове. я для того чтобы оптимизировать значительную часть чека поднимаю множество своих днс серваков, к которым обращаюсь в процессе чека. если взять 350.000.000 и поделить на 6 часов то получится чуть больше 58.000.000 доменов в час или если поделить на 60 то 972.000 домена в минуту. на сколько я понимаю, ни 1 днс сервер не позволит резолвить домены с такой скоростью.

Главная ошибка "пингаторов " - это все усложнять
Во первых - зачем нужны свои dns серверы? Возьмите авторитетные и сделайте что то наподобие следующего, отправляем запросы через авторитеные сервера зон и сервисы. Сервера провайдеров и телекомов в этом случае не будут участвовать в трассирорвке и не отрубят связь. В то же время не создавая нагрузку на определенный сервер вы можете рандомно менять их "на лету". Ну или вообще собирать сразу все ресурсные записи с домена включая A, AAAA, PTR, MX, TXT e.t.c. и таким образом создавая еще более мощный инструмент, сервис или бизнес каталог на продажу

Но лучше вообще не парить "моск" и пользоваться готовыми ns которых у нас 2 800 000+. Плюс к этому, так как Вы будете обращаться к серверу у которого в листинге уже прописан адрес домена то за счет снижения трассировки вы кратно поднимаете скорость обработки. То есть если Вы даже запустите 100 000 в секунду, то к любому ns который имеет записи конкретных доменов Вы сможете обращаться раз в полминуты. Подробней тут

Написал навскидку, но как говорил - скорость до миллиона в минуту развить на обычном компе - плевое дело. Как то так

 

[seodamage]

Главная ошибка "пингаторов " - это все усложнять
Во первых - зачем нужны свои dns серверы? Возьмите авторитетные и сделайте что то наподобие следующего, отправляем запросы через авторитеные сервера зон и сервисы. Сервера провайдеров и телекомов в этом случае не будут участвовать в трассирорвке и не отрубят связь. В то же время не создавая нагрузку на определенный сервер вы можете рандомно менять их "на лету". Ну или вообще собирать сразу все ресурсные записи с домена включая A, AAAA, PTR, MX, TXT e.t.c. и таким образом создавая еще более мощный инструмент, сервис или бизнес каталог на продажу

Но лучше вообще не парить "моск" и пользоваться готовыми ns которых у нас 2 800 000+. Плюс к этому, так как Вы будете обращаться к серверу у которого в листинге уже прописан адрес домена то за счет снижения трассировки вы кратно поднимаете скорость обработки. То есть если Вы даже запустите 100 000 в секунду, то к любому ns который имеет записи конкретных доменов Вы сможете обращаться раз в полминуты. Подробней тут

Написал навскидку, но как говорил - скорость до миллиона в минуту развить на обычном компе - плевое дело. Как то так

по первому варианту я об этом уже выше написал, я поднимаю собственные днс которые разом обращаются сразу к нескольким корневым DNS и получая ответ от первого из них возвращают результат и записывают его в кэш моих DNS серверов.

по нс серверам, ну там же постоянно их меняют и даже то что было получено 1 час назад может быть уже не актуальным. к тому же я не понял куда именно записывается результат, типо просто извлекает ip адрес полученный от нс сервера и куда то его пишет? в таком случае куда? если он пишет это в какой то кастомный днс сервер то у него должно быть прямо прилично оперативке, иначе не поместятся ключ:значение в виде домен:ip.

 

[seodamage]

на счёт большого списка днс, они не понятно откуда взяты, скорее всего большая их часть это просто чьи то днс сервера, которые могут не содержать информации по конкретному домену. а помимо этого они могут быть взломанные и отдавать уже вредоносные ответы, что опасно и врятли подойдёт для решения этой задачи.

 

[DevOps]

по первому варианту я об этом уже выше написал, я поднимаю собственные днс которые разом обращаются сразу к нескольким корневым DNS и получая ответ от первого из них возвращают результат и записывают его в кэш моих DNS серверов.

по нс серверам, ну там же постоянно их меняют и даже то что было получено 1 час назад может быть уже не актуальным. к тому же я не понял куда именно записывается результат, типо просто извлекает ip адрес полученный от нс сервера и куда то его пишет? в таком случае куда? если он пишет это в какой то кастомный днс сервер то у него должно быть прямо прилично оперативке, иначе не поместятся ключ:значение в виде домен:ip.

Хорошие результаты записываются в файл с хорошими результатами, плохие с плохими.
Ns сервера могут у домена не меняться годами так как это ns
Оперативки не много нужно, как только коллекция наполнилась на какое то установленное значение - сброс в файлы, разгрузка и загрузка новой порции на работу.

 

[DevOps]

на счёт большого списка днс, они не понятно откуда взяты, скорее всего большая их часть это просто чьи то днс сервера, которые могут не содержать информации по конкретному домену. а помимо этого они могут быть взломанные и отдавать уже вредоносные ответы, что опасно и врятли подойдёт для решения этой задачи.

Буду за компом скину, но уже завтра, приболел в одеялке закутался с телефоном

 

[DevOps]

на счёт большого списка днс, они не понятно откуда взяты, скорее всего большая их часть это просто чьи то днс сервера, которые могут не содержать информации по конкретному домену. а помимо этого они могут быть взломанные и отдавать уже вредоносные ответы, что опасно и врятли подойдёт для решения этой задачи.

Кстати да, использовать ip хер пойми чьих dns опасно. Не подумал что то. Тогда второй вариант когда указываешь конкретный ns конкретного домена. Можно и под ZP написать, там никаких библиотек не нужно и насколько помню я там года 2 назад 10М в час разгонял.
Может как нибудь напишу, сейчас нет ресурсов

 

[DevOps]

Нет реурсов развернуть тему
@отправьте в мусор