Как спарсить скрытые данные?

[Gunjubasik]

Всем доброго времени суток. Нужно помочь спарсить все ссылки в виде:

steam://rungame/730/76561202255233023/+csgo_econ_action_preview%20M2197133951425032777A18102113460D5395876147144034197

Спойлер: Картинка

Есть список товаров в Стим - если навести на картинку с оружием и кликнуть по треугольнику - вылазит Inspect in Game - заносим его в конструктор действий - выбираем Get - Атрибут href - в результате получаем что мне нужно.

steam://rungame/730/76561202255233023/+csgo_econ_action_preview%20M2197133951425032777A18102113460D5395876147144034197

Но проблема в том, что остальные товары, которые ниже - не имеют такую ссылку - если открывать исходный код и попытаться найти другие подобные значения к другим товарам, они имеют не правильную форму и спрятаны в script type="text/javascript:

steam:\/\/rungame\/730\/76561202255233023\/+csgo_econ_action_preview%20M2189252652086421510A%assetid%D6981784916877429075

Но достаточно вручную проделать действия как в начале с Inspect in Game - то товар после нового парса, находит этот товар в правильной форме:

steam://rungame/730/76561202255233023/+csgo_econ_action_preview%20M2189252652086421510A18102183930D6981784916877429075

Как я понимаю, клик на Inspect in Game - формирует через javascript правильную ссылку HTML - но как мне спарсить сразу все правильные ссылки?

И еще один вопрос:
Если зайти в список товаров Стим, снизу есть перелистывание страниц и на странице отображено всего 10 товаров:

Спойлер: Картинка

Как мне загружать на одной странице - на много больше товаров, чем есть на самом деле? И есть ли возможность прогр ужать список с 1 до 112 страницы сразу?

Заранее, очень благодарен за помощь!

 

[Phoenix78]

вроде все описали.... никаких проблем нет. пишете шаблон который делает все эти действия. кликает на элементе, парсит данные, переходит на следующую страницу. все это зенка делает на ура.

 

[Gunjubasik]

Возможно есть проще метод, что бы с javascript: перенеслось в нормальный html?

вроде все описали.... никаких проблем нет. пишете шаблон который делает все эти действия. кликает на элементе, парсит данные, переходит на следующую страницу. все это зенка делает на ура.

 

[Gunjubasik]

Есть возможность помочь, пожалуйста ? Я не могу понять, как мне кликнуть на каждую из кнопок Inspect in game - что бы вытащить из java ссылки.

steam://rungame/730/76561202255233023/+csgo_econ_action_preview%20M2197133951425032777A18102113460D5395876147144034197

список товаров в Стим

вроде все описали.... никаких проблем нет. пишете шаблон который делает все эти действия. кликает на элементе, парсит данные, переходит на следующую страницу. все это зенка делает на ура.

 

[Phoenix78]

Есть возможность помочь, пожалуйста ? Я не могу понять, как мне кликнуть на каждую из кнопок Inspect in game - что бы вытащить из java ссылки.

steam://rungame/730/76561202255233023/+csgo_econ_action_preview%20M2197133951425032777A18102113460D5395876147144034197

список товаров в Стим

парсите все нужные элементы в список
получаете колличество элементов из списка
организуете цикл на полученное число
в каждом шаге цикла,
- выбираете все нужные элементы , как в первом шаге, но в поле номер элемента подставляете текущий счетчик цикла
- делаете клик на выбранный элемент
- парсите нужные данные из появившегося элемента
- добавляете даннные в список
после этого можно повторить для каждой страницы

если вдруг не хватает знаний то тут есть обучалка.
для данной задачи нужные разделы
06 Логика.
13.2 Практика → ZennoPoster - Пишем типовые проекты - Парсер.
1.3 Вступление aka Базовые вещи → 3 base Коллекции элементов.
1.4 Вступление aka Базовые вещи → 4 base Списки и таблицы.

еще есть просто шикарная статья

 

[Gunjubasik]

Я просмотрел урок, который вы посоветовали, но ответа на мой вопрос - я там не нашел. И как я уже понял, вы даже не пытались открыть сайт, на котором я это хочу сделать, что бы проверить самому?
Проблема в том, что простые клики по определенны найденным данным, я более или менее умею. Но тут немного другое, для того, что бы сделать клик - нужно навести на каждую из картинок и тогда только появляется треугольник в углу картинки (pop-up) картинка. Я пытался делать клики кубиком:

Спойлер: Картинка

Где {-Variable.Orel-} - это id каждого товара, после чего, открывалась кнопка Inspect in Game (та, с которой мне нужно с помощью GET href взять адрес) - проблема в том, что элемент клика на треугольник находит, но если занести появившуюся картинку (Inspect in Game) в конструктор действий - GET href - будет такой, которая была при создании блока клика с первого треугольника. Т.е. клик не срабатывает правильно, а кроме поиска по атрибуту text каждой из картинки - другой вариант, я найти не смог.

парсите все нужные элементы в список
получаете колличество элементов из списка
организуете цикл на полученное число
в каждом шаге цикла,
- выбираете все нужные элементы , как в первом шаге, но в поле номер элемента подставляете текущий счетчик цикла
- делаете клик на выбранный элемент
- парсите нужные данные из появившегося элемента
- добавляете даннные в список
после этого можно повторить для каждой страницы

если вдруг не хватает знаний то тут есть обучалка.
для данной задачи нужные разделы
06 Логика.
13.2 Практика → ZennoPoster - Пишем типовые проекты - Парсер.
1.3 Вступление aka Базовые вещи → 3 base Коллекции элементов.
1.4 Вступление aka Базовые вещи → 4 base Списки и таблицы.

еще есть просто шикарная статья

 

[Phoenix78]

ладно.... тяжелый случай....

вот сделал в шабе цикл перебора и парсинга данных href из всплывающей подсказки после нажатия на треугольник. как домашнее задание вам, вложить этот цикл внутрь еще одного цикла который будет переходить по страницам.
ну если уж совсем запутаетесь, то пишите, поможем

 

[Gunjubasik]

Вот сразу же и проблема - ссылки не получает. Что я делал не так?

Спойлер: Картинка

ладно.... тяжелый случай....

вот сделал в шабе цикл перебора и парсинга данных href из всплывающей подсказки после нажатия на треугольник. как домашнее задание вам, вложить этот цикл внутрь еще одного цикла который будет переходить по страницам.
ну если уж совсем запутаетесь, то пишите, поможем

 

[Phoenix78]

там на xpah путь составлен. походу у вас 5-я версия. установите 7-ю и пробуйте

 

[Gunjubasik]

7 мая версия - мне придется купить пак обновлений , верно? Я сейчас и занялся какрас написанием ботов, что бы заработать на тот же самый 7мой зенно. Гребаный замкнутый круг.

там на xpah путь составлен. походу у вас 5-я версия. установите 7-ю и пробуйте

 

[Phoenix78]

7 мая версия - мне придется купить пак обновлений , верно? Я сейчас и занялся какрас написанием ботов, что бы заработать на тот же самый 7мой зенно. Гребаный замкнутый круг.

тут 2 варианта.
1. на форуме просто 100500 решений как искать элементы по xpath. я же вам давал ссылку на шикараную статью , только по ней можно легко научиться искать элементы как через стандартный конструктор, так и через xpath. читайте внимательнее.
там же и примеры. берете оттуда рабочий кубик и вставляете нужный xpath . вот он //*[@id="market_action_popup_itemactions"]/a
2. либо получаете родитель по id и в нем выпаршиваете href дочки. этот вариант не ко мне, у нас на форуме полно любителей стандартного конструктора, вот пусть и покажут мастер класс