Парсер , перенос всех значений , нужен совет

[BTRRB]

Парни добрый день. (смотрите скрин)
Как мне вот эти все значения 0-7 выбрать чтобы они сохранялись все в конечном документе, через запятую ?
А то он мне сохраняет только нулевое значение, а мне нужно чтобы он все сохранил что выделены красным, в одну строку через запятую.
Спасибо большое заранее!

 

[zarufakis]

Сохрани все в список, следующим кубиком объедини используя свой разделитель

 

[BTRRB]

Сохрани все в список, следующим кубиком объедини используя свой разделитель

А можно простыми словами, честно не понял что значит следующим кубиком объедини используя свой разделитель.
Спасибо!

 

[BTRRB]

Вопрос решил сам, спасибо!

 

[Sergodjan]

Парни добрый день. (смотрите скрин)
Как мне вот эти все значения 0-7 выбрать чтобы они сохранялись все в конечном документе, через запятую ?
А то он мне сохраняет только нулевое значение, а мне нужно чтобы он все сохранил что выделены красным, в одну строку через запятую.
Спасибо большое заранее!
Посмотреть вложение 42042

Вижу, что уже разобрались, но на всякий случай, вдруг еще кому то понадобится.
Как уже подсказали, сохранить в список (указав Что брать: Всё):

Либо так:

И объединить список в переменную (указав свой разделитель: запятую):

 

[BTRRB]

Вижу, что уже разобрались, но на всякий случай, вдруг еще кому то понадобится.
Как уже подсказали, сохранить в список (указав Что брать: Всё):

Посмотреть вложение 42048

Либо так:

Посмотреть вложение 42049

И объединить список в переменную (указав свой разделитель: запятую):

Посмотреть вложение 42050

СергоДжан, ещё такой вопрос, прошу прощения :
Вот в уроке Пишем типовые проекты - Парсер на 28 Минуте мы собрали список URL по которым располагаются картинки .
У нас получилось несколько URL по которым находятся картинки. Теперь вопрос:

А можно сделать так, что после того, как он вытаскивает URL картинки, чтобы он сразу по этому пути скачивал её в папку без изменений названия картинки .
Чтобы в конечном итоге , с 10 спарсеных страниц в документе Result были URL на все картинки с этих 10 страниц , а в одной папке на компе - были сами картинки со всех 10 страниц , с оригинальным названием картинки.

Мне просто нужно чтобы при импорте на свой сайт, как-то было понятно, что эта картинка принадлежит этому объявлению.
А не так что объявление одно, а картинки с другого объявления .

Спасибо ещё раз за ответ!

 

[Sergodjan]

А можно сделать так, что после того, как он вытаскивает URL картинки, чтобы он сразу по этому пути скачивал её в папку без изменений названия картинки .
Чтобы в конечном итоге , с 10 спарсеных страниц в документе Result были URL на все картинки с этих 10 страниц , а в одной папке на компе - были сами картинки со всех 10 страниц , с оригинальным названием картинки.

Можете сразу же их скачать после спарсивания, беря урлы из списка.

 

[BTRRB]

Можете сразу же их скачать после спарсивания, беря урлы из списка.

Посмотреть вложение 42051

СергоДжан, от души спасибо тебе , всё работает как часы.

 

[BTRRB]

Блин, нашёл ошибку .
Дело в том, что он удаляет мне из списка Results строки с URL ( галочка же стоит взять первую и удалить) , а я хочу чтобы он не смотря на то, что сохраняет картинки, ещё и оставлял строки с URL .
Я выставил в операции над списком галку не удалять , но тогда он завис на одной картинке и только её качает не останавливаясь, в итоге накачал мне 50 картинок первых по списку))).
Как сделать так , чтобы он все скачал и оставил в конечном документе Results все URL с которых он скачивал , не удаляя.
Спасибо ещё раз СергоДжан!

 

[BTRRB]

Можете сразу же их скачать после спарсивания, беря урлы из списка.

Посмотреть вложение 42051

Блин, нашёл ошибку .
Дело в том, что он удаляет мне из списка Results строки с URL ( галочка же стоит взять первую и удалить) , а я хочу чтобы он не смотря на то, что сохраняет картинки, ещё и оставлял строки с URL .
Я выставил в операции над списком галку не удалять , но тогда он завис на одной картинке и только её качает не останавливаясь, в итоге накачал мне 50 картинок первых по списку))).
Как сделать так , чтобы он все скачал и оставил в конечном документе Results все URL с которых он скачивал , не удаляя.
Спасибо ещё раз СергоДжан!
Сори за дубль, подвис что-то.

 

[Sergodjan]

СергоДжан, от души спасибо тебе , всё работает как часы.

Отлично.
Небольшая поправка, серый экшен в цикле необязательно выполнять.
Лучше вынести в начало, вот так:

 

[Sergodjan]

Блин, нашёл ошибку .
Дело в том, что он удаляет мне из списка Results строки с URL ( галочка же стоит взять первую и удалить) , а я хочу чтобы он не смотря на то, что сохраняет картинки, ещё и оставлял строки с URL .
Я выставил в операции над списком галку не удалять , но тогда он завис на одной картинке и только её качает не останавливаясь, в итоге накачал мне 50 картинок первых по списку))).
Как сделать так , чтобы он все скачал и оставил в конечном документе Results все URL с которых он скачивал , не удаляя.
Спасибо ещё раз СергоДжан!
Сори за дубль, подвис что-то.

Тогда каждую порцию урлов картинок парсим в отдельный список, потом из него берем урл по наращиваемому +1 номеру строки и в конце скачивания добавляем содержимое этого списка в конец общего списка урлов и потом очищаем порционный спсиок, осовбождаем его для новой порции урлов (на скриншоте нет этого действия).

 

[BTRRB]

Тогда каждую порцию урлов картинок парсим в отдельный список, потом из него берем урл по наращиваемому +1 номеру строки и в конце скачивания добавляем содержимое этого списка в конец общего списка урлов и потом очищаем порционный спсиок, осовбождаем его для новой порции урлов (на скриншоте нет этого действия).

Посмотреть вложение 42059

Спасибо!
А что прописать в " Установить значение 0 в переменной ->{num}
Это первая зелёная , под Папка для загрузки файлов .

 

[Sergodjan]

Спасибо!
А что прописать в " Установить значение 0 в переменной ->{num}
Это первая зелёная , под Папка для загрузки файлов .

Там нолик прописать - это будет начальный номер строки (первая строка в списке).

 

[Sergodjan]

Как сделать так , чтобы он все скачал и оставил в конечном документе Results все URL с которых он скачивал , не удаляя.

Либо проще сделать так (см. скриншот).
То есть сразу копируем порцию урлов в общий список и потом работаем с порционным списком беря строки с удалением. Здесь никаких счетчиков не нужно будет.

 

[BTRRB]

Там нолик прописать - это будет начальный номер строки (первая строка в списке).

СерджоДжан, попробовал , фото сохранились, а вот URL в конечном документе Results так и не положил , удалили их хотя галка у меня не стоит удалять URL

 

[Sergodjan]

СерджоДжан, попробовал , фото сохранились, а вот URL в конечном документе Results так и не положил , удалили их хотя галка у меня не стоит удалять URL

Попробуйте вариант без счетчика:

https://zennolab.com/discussion/threads/parser-perenos-vsex-znachenij-nuzhen-sovet.65094/post-459148

 

[BTRRB]

Попробуйте вариант без счетчика:

https://zennolab.com/discussion/threads/parser-perenos-vsex-znachenij-nuzhen-sovet.65094/post-459148

Конечно он их туда не ложит, потому что я идиот , я забыл добавить чтобы он сохранял их конечном списке Results .
Добавил, всё делает отлично, спасибо тебе за время большое . На сегодня отключаюсь , переработал видимо уже .
Если что вдруг, завтра напишу

 

[BTRRB]

Попробуйте вариант без счетчика:

https://zennolab.com/discussion/threads/parser-perenos-vsex-znachenij-nuzhen-sovet.65094/post-459148

Серго Приветствую , попробовал я в тестовом . Взял 3 страницы , дал на парс всего + картинок, инфу всю положил , а вот картинки наложил одну на другую , посмотри пожалуйста скрин
Такое ощущение, что он проходит одну страницу , скачивает фото, потом другую , тоже скачивает, но сохраняет ввиде дубля с первой страницы. Как-то мозг совсем сломался . Прошёл три страницы , и сделал 1 оригинал и два дубля по фото.

 

[Sergodjan]

Серго Приветствую , попробовал я в тестовом . Взял 3 страницы , дал на парс всего + картинок, инфу всю положил , а вот картинки наложил одну на другую , посмотри пожалуйста скрин
Такое ощущение, что он проходит одну страницу , скачивает фото, потом другую , тоже скачивает, но сохраняет ввиде дубля с первой страницы. Как-то мозг совсем сломался . Прошёл три страницы , и сделал 1 оригинал и два дубля по фото.

Может быть, есть дубли ссылок на картинки в списке?

 

[BTRRB]

Может быть, есть дубли ссылок на картинки в списке?

Да нет все картинки разные , если парсить по 1 странице , идеально срабатывает , а если ставлю 5 страниц на парс , то картинки одна на другую налепают и в итоге как-то он дубли делает .

 

[BTRRB]

Вот посмотри, 1 спарсил , не одного дубля нет по картинкам .
А если ставлю 3-4 страницы на парс, он мне их утроит в виде копий этих же )

 

[Sergodjan]

Вот посмотри, 1 спарсил , не одного дубля нет по картинкам .
А если ставлю 3-4 страницы на парс, он мне их утроит в виде копий этих же )

Алгоритм взятия ссылок из списка сейчас какой - со счетчиком или без счетчика?
Если со счетчиком, то либо чистить список перед след. порцией парсинга, либо использовать алгоритм без счетчика.

 

[BTRRB]

Алгоритм взятия ссылок из списка сейчас какой - со счетчиком или без счетчика?
Если со счетчиком, то либо чистить список перед след. порцией парсинга, либо использовать алгоритм без счетчика.

Алгоритм сейчас со счётчиком ( смотри скрин )
Если чистить, то помнишь да, выше мы обсуждали, он удаляет взятые URL и не публикует их в документ Result . А мне нужно, чтобы в конечном документе Result - URL -ы с которых он спарсил картинки - остались.
А счётчик мы поставили помнишь выше , да? потому что он зацикливал и качал только первую , не переходя дальше ко второй , галка же удалить снята .
Первый вариант который посоветовал ты , он самый рабочий и самый идеальный, но тогда в документе Results нет списка URL . А они мне нужны .
Чё делать то ?

 

[Sergodjan]

Алгоритм со счетчиком не чистит список от ссылок. Нужно его чистить принудительно перед след. парсингом. В противном случае там будут копиться ссылки от предыдущих сеансов парсинга. Добавьте экшен очистки списка.

 

[BTRRB]

Алгоритм со счетчиком не чистит список от ссылок. Нужно его чистить принудительно перед след. парсингом. В противном случае там будут копиться ссылки от предыдущих сеансов парсинга. Добавьте экшен очистки списка.

Посмотреть вложение 42147

Прости пожалуйста, я просто пропустил эту галочку , я думал что если её поставить, то он не будет в конечном Result сохранять ссылки ( как было во втором нашем случае) .
Поставил её, сделал 3 странички , все три по картинам вышли идеально и в документе Result отобразились все ссылки по которым он скачивал картинки.
Здоровья тебе и спасибо за помощь! Я приду ещё не раз к тебе .
От души благодарен!

 

[Sergodjan]

Поставил её, сделал 3 странички , все три по картинам вышли идеально и в документе Result отобразились все ссылки по которым он скачивал картинки.

В алгоритме со счетчиком ее (галку) ставить как раз не нужно, т.к. строки берутся по номеру счетчика (по номеру строки). Нужно по окончании скачивания чистить промежуточный (порционный) список:

 

[BTRRB]

В алгоритме со счетчиком ее (галку) ставить как раз не нужно, т.к. строки берутся по номеру счетчика (по номеру строки). Нужно по окончании скачивания чистить промежуточный (порционный) список:

Посмотреть вложение 42148

А я поставил галочку на удалить строку после взятия, и всё нормально работает , загрузились все картинки как нужно + все URL отобразились в списке Result
Мистика ?

 

[BTRRB]

В алгоритме со счетчиком ее (галку) ставить как раз не нужно, т.к. строки берутся по номеру счетчика (по номеру строки). Нужно по окончании скачивания чистить промежуточный (порционный) список:

Посмотреть вложение 42148

Серго приветствую ! Серго, подскажи пожалуйста , у меня вопрос . Всё работает идеально, всё качается , всё как часы, но столкнулся с такими мелочами :
1. При парсинге картинок, он мне добавляет все URL на картинки- в одну колонку. https://prnt.sc/plfgsc Получается в оной колонке, куча URL собирается https://prnt.sc/plfbhj . Как сделать так, чтобы каждый URL был в отдельной колонке. В стиле колонка Images 1 - URL1 ; колонка Images 2- URL 2 и т.д
2. У меня есть Тэги https://prnt.sc/plfh20 , он их парсит списком c новой строки (таблицей) https://prnt.sc/plfh7w , а мне нужно чтобы он парсил все Тэги которые находит, в одну строчку, через запятую, каждый Тэг . Как пофиксить ?

 

[BTRRB]

СергоДжан, приветствую тебя! Значит такие новости , Твистер помог, мы решили вопрос с этими 2 пунктами, всё работает как часы . Запустил я тестово 50 страниц на парсинг появились ещё 3 вопроса .

1. Через каждые 10 страниц , в процессе парсинга вылетает капча . https://prnt.sc/psrm8p Шаблон не тормозит процесс, идёт дальше и собирает нулевые данные. Нужно сделать так, чтобы он тормозил как капча вылетает , и давал возможность её ввести для начала в ручную и после ввода, успешного продолжал работу дальше. Как это сделать?
2. Как поставить этот шаблон в Многопоток, скажем в 5 потоков. Ибо я не нашёл как в Project MAker включить функцию многопотока. А мы же проект этот с тобой в Project Maker делали . Как решить этот вопрос тоже.
3. Как только Прокси ловит Бан с донора https://prnt.sc/pss0tl , получается такая же история, он продолжает парсить не останавливаясь с ошибкой 404 . Как исправить на правило, если ловит бан по прокси 404 , взять другой прокси ?
Спасибо ожидаю!