парсинг товаров с сайта. ошибка

[stas11]

Парсю с иностранного сайта товары в cvs файл. Идет сначала перевод через гугл на русский язык, потом достаем все характеристики и ложим в файл.
В одной категории (допустим ноутбуки) - 500 товаров. У меня нормально парсится 40-45 товаров. После идет ошибка - не нашли активную вкладку инстанта.
Я добавил перезагрузку инстанта после прохождения 40 товаров, но все равно шаблон корректно не выполняется и полностью категорию спарсить не получается. Кто что может подсказать? Если у кого есть возможность проверить шаблон, сразу Вам его предоставлю.
Спасибо за помощь.

 

[rostonix]

Если такая же ошибка, то пробуйте перезагружать инстанс чаще

 

[LexxWork]

вообще парсинг лучше на запросы переводить по возможности.

 

[stas11]

у меня есть выпарсеных 500 ссылок. лучше каждую ссылку через get-запрос делать?

 

[LexxWork]

если есть возможность, то да

 

[stas11]

get-запросом не получилось вытянуть через переводчик гугла нжуную страничку.
так выглядит ссылка
https://translate.google.ru/transla...UTF-8&u={-Variable.tovar-}&edit-text=&act=url

какой еще вариант можно попробовать, чтоб не открывать страничку?

 

[LexxWork]

можно и на запросах если постараться.
пример запроса

GET https://translate.googleusercontent.com/translate_c?act=url&depth=1&hl=ru&ie=UTF8&prev=_t&rurl=translate.google.ru&sl=cz&tl=ru&u=http%3A%2F%2Faukro.cz%2Fshow_item.php%3Fitem%3D5097677958%26sh_dwh_token%3Dd0b6dd74a8394345128e20d296cb1c5e&usg=ALkJrhhfhPvn_CghqQe_mKyxfkjHadSHdQ HTTP/1.1
Host: translate.google.ru
Connection: keep-alive
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36
Referer: https://translate.google.ru/translate?hl=ru&sl=cz&tl=ru&js=y&prev=_t&hl=ru&ie=UTF-8&u=http%3A%2F%2Faukro.cz%2Fshow_item.php%3Fitem%3D5097677958%26sh_dwh_token%3Dd0b6dd74a8394345128e20d296cb1c5e&edit-text=&act=url
Accept-Encoding: gzip,deflate
Accept-Language: ru,en-US;q=0.8,en;q=0.6
Cookie: PREF=ID=e0e5728c24ba0d82:NW=1:TM=1424643241:LM=1424643241:S=mMz8M6PUTnzrid_-

 

[stas11]

спасибо за помощь. подскажите а куда вставлять этот блок? никогда не работал с гет--запросами. Сейчас просто попробовал вставить ту ссылку
https://translate.google.ru/transla...UTF-8&u={-Variable.tovar-}&edit-text=&act=url
мне отдали html код, но без перевода.
А куда вставлять указанный Вами код? буду очень благодарен за оказанную помощь.

 

[LexxWork]

это не код это дамп запроса. читайте форум, найдете все необходимое

 

[Jerard]

http://zennolab.com/discussion/threads/perevodchik-v-kazhdyj-zennoposter.15937/
Вот хорошая статья про переводчики от Radzhab. Все с готовыми примерами.

 

[stas11]

Ребята помоги, не получается воспользоваться предоставленным Вами шаблоном.
Во-первых у меня нет экшена "Директивы using". Там у человека тоже такая проблема была - он сделал по картинке и у него заработало.

можно и на запросах если постараться.
пример запроса

GET https://translate.googleusercontent.com/translate_c?act=url&depth=1&hl=ru&ie=UTF8&prev=_t&rurl=translate.google.ru&sl=cz&tl=ru&u=http%3A%2F%2Faukro.cz%2Fshow_item.php%3Fitem%3D5097677958%26sh_dwh_token%3Dd0b6dd74a8394345128e20d296cb1c5e&usg=ALkJrhhfhPvn_CghqQe_mKyxfkjHadSHdQ HTTP/1.1
Host: translate.google.ru
Connection: keep-alive
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36
Referer: https://translate.google.ru/translate?hl=ru&sl=cz&tl=ru&js=y&prev=_t&hl=ru&ie=UTF-8&u=http%3A%2F%2Faukro.cz%2Fshow_item.php%3Fitem%3D5097677958%26sh_dwh_token%3Dd0b6dd74a8394345128e20d296cb1c5e&edit-text=&act=url
Accept-Encoding: gzip,deflate
Accept-Language: ru,en-US;q=0.8,en;q=0.6
Cookie: PREF=ID=e0e5728c24ba0d82:NW=1:TM=1424643241:LM=1424643241:S=mMz8M6PUTnzrid_-

тут приведен пример на чешский аукро. Как мне такое же реализовать, допустим с вот такой ссылкой
http://aukro.cz/audi-a6-avant-2-5-tdi-4x4-132kw-manual-i5115157249.html

 

[stas11]

это необходимо делать через вот этот С+ код?
string text = "text=%D0%9F%D1%80%D0%B8%D0%B2%D0%B5%D1%82"; // Слово "привет" в urlencode
System.New.WebClient webClient = new System.New.WebClient();
webClient.QueryString.Add("appId", "TG5aw2gSzHVHMqqzffKtQgTcat5MoeQwGlWLpoze_ZCc*");
webClient.QueryString.Add("sl", "auto"); // Язык с которого переводим. В данном случаем детектируется автоматом
webClient.QueryString.Add("tl", "en");
webClient.Encoding = System.Text.Encoding.UTF8;
string result = webClient.UploadString("http://translate.google.com/translate_a/t", text);

//get result
return result;

 

[ssXXXss]

можешь через ява экшен если с браузером работаешь

 

[stas11]

а как реализовать перевод для вот для этой страницы
https://translate.google.ru/transla...kw-manual-i5115157249.html&edit-text=&act=url

очень буду благодарен!

 

[stas11]

прошу еще помощи, LexxWork очень помог (за что ему большое спасибо) - построил запрос , но у меня все-равно выскакивает ошибка.
Ниже привожу экшен перевода с польского сайта аукро. У меня выдает ошибку 302, чтоб я не делал. А LexxWork говорит что у него корректно все отображается.

 

[stas11]

Ребята помогите, кто может. Стоит выгрузка из-за этого перевода.