Да ведь это уже давно не проблема, хм. По совету из статьи https://politay.pro/parsim-pokhozhiye-zaprosy/ (советую глянуть, кстати), я использую программу Screaming Frog, с ее помощью можно извлекать любую необходимую информацию из сканируемых веб-страниц в автоматическом режиме. Там есть два...