Парсинг сайта на java

  • Автор темы Автор темы inotoxic
  • Дата начала Дата начала

inotoxic

Client
Регистрация
20.04.2015
Сообщения
354
Реакции
164
Баллы
43
Добрый день
Есть сайт edadeal.ru - полностью на java скриптах.
Собирать данные через браузер - долго и ресурсоемко для многопотока.
Подскажите гуру париснга, можно ли спарсить сайт на POST/GET запросах?
В какую сторону копать, может у кого есть наработки?
 
ну а сам что не пробывал отснифать ?
или надо отснифать за тебя и пнуть куда копать ? )
 
ну а сам что не пробывал отснифать ?
или надо отснифать за тебя и пнуть куда копать ? )
Конечно пробовал.
Как и писал выше - сайт весь на java
вот ответ после get запроса на страницу *https://edadeal.ru/moskva/offers?segment=food
PHP:
Развернуть Свернуть Копировать
<!DOCTYPE html><html><head> <meta charset="utf-8"> <title>Продукты — Акции и скидки сегодня в магазинах Москвы — Едадил</title> <meta name="description" content="Где купить продукты cо скидкой до 50% в Москве в марте 2018 года. Узнайте, где покупать дешевле и экономьте до 50% уже сегодня c Едадил. Каталог акций и скидок на сайте и в мобильном приложении."> <meta name="viewport" content="width=device-width, initial-scale=1.0, user-scalable=yes"> <meta name="fragment" content="!">  <meta name="google-site-verification" content="5isjz1gObpPn7PREXwtlGeFu6h7rNcYIEvFU6hLeeNI"> <script type="application/ld+json">{ "@context": "http://schema.org", "@type": "WebSite", "name": "Едадил", "alternateName": "Edadeal", "url": "https://edadeal.ru" }</script> <meta name="theme-color" content="#27ae61"> <link rel="icon" type="image/png" sizes="32x32" href="/web/static/img/favicon-32x32.png"><link rel="icon" type="image/png" sizes="96x96" href="/web/static/img/favicon-96x96.png"><link rel="icon" type="image/png" sizes="16x16" href="/web/static/img/favicon-16x16.png"> <link rel="icon" href="/web/static/img/favicon.ico"> <meta property="og:url" content="https://edadeal.ru/moskva/offers?segment=food"><meta property="og:type" content="website"><meta property="og:site_name" content="Едадил"><meta property="og:title" content="Продукты — Акции и скидки сегодня в магазинах Москвы"><meta property="og:image" content="https://edadeal.ru/web/static/img/share_pic.png"><meta property="og:image:width" content="1200"><meta property="og:image:height" content="628"> <meta property="twitter:card" content="summary_large_image"><meta property="twitter:site" content="@edadeal_tw"><meta property="twitter:creator" content="@edadeal_tw"><meta property="twitter:title" content="Продукты — Акции и скидки сегодня в магазинах Москвы"><meta property="twitter:description" content="Где купить продукты cо скидкой до 50% в Москве в марте 2018 года."><meta property="twitter:image" content="https://edadeal.ru/web/static/img/share_pic.png"> <script type="text/javascript">!function(e,s,p,f,r,i,a,t,c){for(e.MANIFEST=a=p?{"p-offers":[["base","p-offers"],["p-offers.11442696d9.css","p-offers.67bf182307.js"]],"p-shopping-list":[["base","p-shopping-list"],["p-shopping-list.a10880fdaf.css","p-shopping-list.dd82f42005.js"]],"p-index":[["base","p-index"],["p-index.d10ae4f5dd.css","p-index.df0b8ce9b9.js"]],"p-retailers":[["base","p-retailers"],["p-retailers.4486a55b84.css","p-retailers.a5d1a0dcce.js"]],"p-retailer":[["base","p-offers","p-retailer"],["p-retailer.feb8854cc6.css","p-retailer.c2499897c6.js"]],"p-offer":[["base","p-offer"],["p-offer.19dbbf0aae.css","p-offer.eec4a31546.js"]],"p-not-found":[["base","p-not-found"],["p-not-found.1724c9eb15.css","p-not-found.5bc7c9e3d0.js"]],base:[["base"],["base.f2a57df8ec.css","base.47255b4deb.js"]],"p-direct":[["p-direct"],["p-direct.dc878a0866.css","p-direct.6ec91a80d5.js"]],libs:"libs.6fdc50c5c9.js"}:{"p-retailer":[["base","p-retailer"],["p-retailer.89d3ff8481.css","p-retailer.0c7c801590.js"]],"p-offers":[["base","p-offers"],["p-offers.5a2ae0e58b.css","p-offers.554824b53e.js"]],"p-index":[["base","p-index"],["p-index.6ca65e7ecd.css","p-index.c16cf4c502.js"]],"p-shopping-list":[["base","p-shopping-list"],["p-shopping-list.b0b4975b6f.css","p-shopping-list.711cb8968b.js"]],"p-retailers":[["base","p-retailers"],["p-retailers.ff7bd4027c.css","p-retailers.78a6d921c4.js"]],"p-offer":[["base","p-offer"],["p-offer.743e5cf98f.css","p-offer.169a246822.js"]],"p-not-found":[["base","p-not-found"],["p-not-found.eb311f9abf.css","p-not-found.fe6f57d033.js"]],base:[["base"],["base.d0ba26bf8c.css","base.52dfb63040.js"]],libs:"libs.559d12d1e9.js"},e.CLIENT_BASE_URL=t=p?"/web/client":"/web/mobile",e.RTB_BLOCKS=p?{pagination:"R-A-239907-1",sidebar:"R-A-239907-2",offers:"R-A-239907-3"}:{offers:"R-A-239907-4",footer:"R-A-239907-5"},e.API_BASE_URL="https://api.edadeal.ru/web/",t+="/",c=a["p-offers"][0];i!==c.length;i++)s.write('<link rel="stylesheet" href="'+t+a[c[i]][1][0]+'">');for(s.write(f+t+a.libs+'"><\/script>'),s.write("<script>Sugar.extend();Sugar.Date.setLocale('ru');<\/script>"),i=0;i!==c.length;i++)s.write(f+t+a[c[i]][1][1]+'"><\/script>')}(window,document,document.documentElement.clientWidth>900,'<script type="text/javascript" src="',0,0); </script> <script type="text/javascript">!function(e,t,a,n,c,o,s){e.GoogleAnalyticsObject=c,e[c]=e[c]||function(){(e[c].q=e[c].q||[]).push(arguments)},e[c].l=1*new Date,o=t.createElement(a),s=t.getElementsByTagName(a)[0],o.async=1,o.src="https://www.google-analytics.com/analytics.js",s.parentNode.insertBefore(o,s)}(window,document,"script",0,"ga"),ga("create","UA-56745447-3","auto"),ga("send","pageview");</script> <script type="text/javascript">!function(e,t,a){(t[a]=t[a]||[]).push(function(){try{t.yaCounter=new Ya.Metrika({id:34675050,clickmap:!0,trackLinks:!0,accurateTrackBounce:!0,webvisor:!0,trackHash:!0})}catch(e){}});var c=e.getElementsByTagName("script")[0],n=e.createElement("script"),r=function(){c.parentNode.insertBefore(n,c)};n.type="text/javascript",n.async=!0,n.src="https://mc.yandex.ru/metrika/watch.js","[object Opera]"==t.opera?e.addEventListener("DOMContentLoaded",r,!1):r()}(document,window,"yandex_metrika_callbacks");</script></head> <body> <div id="root"></div> </body></html>
в коде есть ссылки на скрипты:
p-offers.67bf182307.js
p-shopping-list.dd82f42005.js
base.47255b4deb.js
p-offers.554824b53e.js
 
так при чём ответ от гет запроса
я спросил ты снифал ?
 
я имел ввиду отснифай с браузера в фидлере, найди нужный запрос где инфа, видимо надо какой то запрос на js сделать
 
я имел ввиду отснифай с браузера в фидлере, найди нужный запрос где инфа, видимо надо какой то запрос на js сделать
Конечно отснифал через фиддлер
Если было-бы все так просто - я бы не создавал тему и не просил помощи.
 
Там еще приложение есть, может быть его еще попробовать посмотреть.
 
Там еще приложение есть, может быть его еще попробовать посмотреть.
Заметил, что если окно браузера уменьшить до размеров мобильных версий - в ответ отдает другие файлы
 

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)