Парсинг сайта на java

inotoxic

Client
Регистрация
20.04.2015
Сообщения
354
Благодарностей
164
Баллы
43
Добрый день
Есть сайт edadeal.ru - полностью на java скриптах.
Собирать данные через браузер - долго и ресурсоемко для многопотока.
Подскажите гуру париснга, можно ли спарсить сайт на POST/GET запросах?
В какую сторону копать, может у кого есть наработки?
 

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 379
Благодарностей
2 041
Баллы
113
ну а сам что не пробывал отснифать ?
или надо отснифать за тебя и пнуть куда копать ? )
 

inotoxic

Client
Регистрация
20.04.2015
Сообщения
354
Благодарностей
164
Баллы
43
ну а сам что не пробывал отснифать ?
или надо отснифать за тебя и пнуть куда копать ? )
Конечно пробовал.
Как и писал выше - сайт весь на java
вот ответ после get запроса на страницу *https://edadeal.ru/moskva/offers?segment=food
PHP:
<!DOCTYPE html><html><head> <meta charset="utf-8"> <title>Продукты — Акции и скидки сегодня в магазинах Москвы — Едадил</title> <meta name="description" content="Где купить продукты cо скидкой до 50% в Москве в марте 2018 года. Узнайте, где покупать дешевле и экономьте до 50% уже сегодня c Едадил. Каталог акций и скидок на сайте и в мобильном приложении."> <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes"> <meta name="fragment" content="!">  <meta name="google-site-verification" content="5isjz1gObpPn7PREXwtlGeFu6h7rNcYIEvFU6hLeeNI"> <script type="application/ld+json">{ "@context": "http://schema.org", "@type": "WebSite", "name": "Едадил", "alternateName": "Edadeal", "url": "https://edadeal.ru" }</script> <meta name="theme-color" content="#27ae61"> <link rel="icon" type="image/png" sizes="32x32" href="/web/static/img/favicon-32x32.png"><link rel="icon" type="image/png" sizes="96x96" href="/web/static/img/favicon-96x96.png"><link rel="icon" type="image/png" sizes="16x16" href="/web/static/img/favicon-16x16.png"> <link rel="icon" href="/web/static/img/favicon.ico"> <meta property="og:url" content="https://edadeal.ru/moskva/offers?segment=food"><meta property="og:type" content="website"><meta property="og:site_name" content="Едадил"><meta property="og:title" content="Продукты — Акции и скидки сегодня в магазинах Москвы"><meta property="og:image" content="https://edadeal.ru/web/static/img/share_pic.png"><meta property="og:image:width" content="1200"><meta property="og:image:height" content="628"> <meta property="twitter:card" content="summary_large_image"><meta property="twitter:site" content="@edadeal_tw"><meta property="twitter:creator" content="@edadeal_tw"><meta property="twitter:title" content="Продукты — Акции и скидки сегодня в магазинах Москвы"><meta property="twitter:description" content="Где купить продукты cо скидкой до 50% в Москве в марте 2018 года."><meta property="twitter:image" content="https://edadeal.ru/web/static/img/share_pic.png"> <script type="text/javascript">!function(e,s,p,f,r,i,a,t,c){for(e.MANIFEST=a=p?{"p-offers":[["base","p-offers"],["p-offers.11442696d9.css","p-offers.67bf182307.js"]],"p-shopping-list":[["base","p-shopping-list"],["p-shopping-list.a10880fdaf.css","p-shopping-list.dd82f42005.js"]],"p-index":[["base","p-index"],["p-index.d10ae4f5dd.css","p-index.df0b8ce9b9.js"]],"p-retailers":[["base","p-retailers"],["p-retailers.4486a55b84.css","p-retailers.a5d1a0dcce.js"]],"p-retailer":[["base","p-offers","p-retailer"],["p-retailer.feb8854cc6.css","p-retailer.c2499897c6.js"]],"p-offer":[["base","p-offer"],["p-offer.19dbbf0aae.css","p-offer.eec4a31546.js"]],"p-not-found":[["base","p-not-found"],["p-not-found.1724c9eb15.css","p-not-found.5bc7c9e3d0.js"]],base:[["base"],["base.f2a57df8ec.css","base.47255b4deb.js"]],"p-direct":[["p-direct"],["p-direct.dc878a0866.css","p-direct.6ec91a80d5.js"]],libs:"libs.6fdc50c5c9.js"}:{"p-retailer":[["base","p-retailer"],["p-retailer.89d3ff8481.css","p-retailer.0c7c801590.js"]],"p-offers":[["base","p-offers"],["p-offers.5a2ae0e58b.css","p-offers.554824b53e.js"]],"p-index":[["base","p-index"],["p-index.6ca65e7ecd.css","p-index.c16cf4c502.js"]],"p-shopping-list":[["base","p-shopping-list"],["p-shopping-list.b0b4975b6f.css","p-shopping-list.711cb8968b.js"]],"p-retailers":[["base","p-retailers"],["p-retailers.ff7bd4027c.css","p-retailers.78a6d921c4.js"]],"p-offer":[["base","p-offer"],["p-offer.743e5cf98f.css","p-offer.169a246822.js"]],"p-not-found":[["base","p-not-found"],["p-not-found.eb311f9abf.css","p-not-found.fe6f57d033.js"]],base:[["base"],["base.d0ba26bf8c.css","base.52dfb63040.js"]],libs:"libs.559d12d1e9.js"},e.CLIENT_BASE_URL=t=p?"/web/client":"/web/mobile",e.RTB_BLOCKS=p?{pagination:"R-A-239907-1",sidebar:"R-A-239907-2",offers:"R-A-239907-3"}:{offers:"R-A-239907-4",footer:"R-A-239907-5"},e.API_BASE_URL="https://api.edadeal.ru/web/",t+="/",c=a["p-offers"][0];i!==c.length;i++)s.write('<link rel="stylesheet" href="'+t+a[c[i]][1][0]+'">');for(s.write(f+t+a.libs+'"><\/script>'),s.write("<script>Sugar.extend();Sugar.Date.setLocale('ru');<\/script>"),i=0;i!==c.length;i++)s.write(f+t+a[c[i]][1][1]+'"><\/script>')}(window,document,document.documentElement.clientWidth>900,'<script type="text/javascript" src="',0,0); </script> <script type="text/javascript">!function(e,t,a,n,c,o,s){e.GoogleAnalyticsObject=c,e[c]=e[c]||function(){(e[c].q=e[c].q||[]).push(arguments)},e[c].l=1*new Date,o=t.createElement(a),s=t.getElementsByTagName(a)[0],o.async=1,o.src="https://www.google-analytics.com/analytics.js",s.parentNode.insertBefore(o,s)}(window,document,"script",0,"ga"),ga("create","UA-56745447-3","auto"),ga("send","pageview");</script> <script type="text/javascript">!function(e,t,a){(t[a]=t[a]||[]).push(function(){try{t.yaCounter=new Ya.Metrika({id:34675050,clickmap:!0,trackLinks:!0,accurateTrackBounce:!0,webvisor:!0,trackHash:!0})}catch(e){}});var c=e.getElementsByTagName("script")[0],n=e.createElement("script"),r=function(){c.parentNode.insertBefore(n,c)};n.type="text/javascript",n.async=!0,n.src="https://mc.yandex.ru/metrika/watch.js","[object Opera]"==t.opera?e.addEventListener("DOMContentLoaded",r,!1):r()}(document,window,"yandex_metrika_callbacks");</script></head> <body> <div id="root"></div> </body></html>
в коде есть ссылки на скрипты:
p-offers.67bf182307.js
p-shopping-list.dd82f42005.js
base.47255b4deb.js
p-offers.554824b53e.js
 

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 379
Благодарностей
2 041
Баллы
113
так при чём ответ от гет запроса
я спросил ты снифал ?
 

ssXXXss

Client
Регистрация
23.12.2014
Сообщения
7 379
Благодарностей
2 041
Баллы
113
я имел ввиду отснифай с браузера в фидлере, найди нужный запрос где инфа, видимо надо какой то запрос на js сделать
 

inotoxic

Client
Регистрация
20.04.2015
Сообщения
354
Благодарностей
164
Баллы
43
я имел ввиду отснифай с браузера в фидлере, найди нужный запрос где инфа, видимо надо какой то запрос на js сделать
Конечно отснифал через фиддлер
Если было-бы все так просто - я бы не создавал тему и не просил помощи.
 

Nilsoner

Client
Регистрация
24.11.2017
Сообщения
217
Благодарностей
185
Баллы
43

inotoxic

Client
Регистрация
20.04.2015
Сообщения
354
Благодарностей
164
Баллы
43

Nilsoner

Client
Регистрация
24.11.2017
Сообщения
217
Благодарностей
185
Баллы
43
Там еще приложение есть, может быть его еще попробовать посмотреть.
 

inotoxic

Client
Регистрация
20.04.2015
Сообщения
354
Благодарностей
164
Баллы
43
Там еще приложение есть, может быть его еще попробовать посмотреть.
Заметил, что если окно браузера уменьшить до размеров мобильных версий - в ответ отдает другие файлы
 

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)