Суть проблемы:
Надо парсить сайты у которых недавно изменились реальные IP адреса, но dns от гугла или клауда не дают возможность это делать, потому что в их NS записях не так быстро обновляются данные о реальных IP.
Решение проблемы:
Зная реальные IP адреса сайтов развернуть собственный DNS сервер, что было и сделано, но проблема в том, что без прокси сайты парсятся нормально, а когда используешь прокси домены резолвятся на стороне DNS прокси, а не моего, прописанного в настройках сетевухи.
Вопрос:
Можно ли создать гет-запрос с указанием реального IP сайта используя прокси, либо через прокси передать свой собственный DNS сервер.
Перепробовал кучу сервисов с прокси, соксами, все отдают свой DNS и мой не подхватывают.
Указания реального IP в заголовках запроса "Hosts" тоже не помогает.
Может у кого-то есть решение этого вопроса?
Надо парсить сайты у которых недавно изменились реальные IP адреса, но dns от гугла или клауда не дают возможность это делать, потому что в их NS записях не так быстро обновляются данные о реальных IP.
Решение проблемы:
Зная реальные IP адреса сайтов развернуть собственный DNS сервер, что было и сделано, но проблема в том, что без прокси сайты парсятся нормально, а когда используешь прокси домены резолвятся на стороне DNS прокси, а не моего, прописанного в настройках сетевухи.
Вопрос:
Можно ли создать гет-запрос с указанием реального IP сайта используя прокси, либо через прокси передать свой собственный DNS сервер.
Перепробовал кучу сервисов с прокси, соксами, все отдают свой DNS и мой не подхватывают.
Указания реального IP в заголовках запроса "Hosts" тоже не помогает.
Может у кого-то есть решение этого вопроса?