Перезагрузка таблицы Google Sheet. Видит старые данные

[vinznsk]

Добрый день, коллеги!

Возник такой вопрос. Пытаюсь загружать данные в Google Sheets. Делаю одну итерацию, за ней - вторую. Выполняя второй раз проект, скрипт видит старые данные Google Sheet.

Например:

Есть таблица:
URL | Посещаемость
URL заполнены, Посещаемость - пусто везде

1. Запустил скрипт, который собрал данные и заполнил таблицу (циклом проходит каждую колонку, получает "посещаемость" и записывает напротив УРЛ пропуская непустые ячейки)
2. Тут же руками удалил эти данные
3. Запустил скрипт еще раз
4. Скрипт выдал что все ячейки уже заполнены.

Можно ли перезагрузить как-нибудь таблицу, чтобы начинался парсинг сначала сбросив кэш Google Таблицы при этом??

 

[Nike59]

Кэш почистите перед новой загрузкой страницы.

 

[vinznsk]

Кэш почистите перед новой загрузкой страницы.

Не помогает, у меня скрипт без браузера. Через API беру
Нужен аналог вот этой кнопки

 

[molotok]

Тоже бывает дублирование данных в таблице. Но я использую гугл таблицу всего лиш как место для вывода и показа данных, сами данные хранятся в локальной базе данных, и выгружаются в гугл таблицу в конце работы шаблона. Перед выгрузкой гуг таблица полность очищается и заполняется данными из БД.

В случае дублирования данных в гугл таблице - просто удаляю их и жду пока шаблон перезапишет данные.

 

[vinznsk]

Никак не могу решить проблему. Если какой-нибудь способ отключать таблицы (отвязывать), чтобы они заново подгружались при запуске скрипта? Такое ощущение, что если скрипт запускаешь раньше, чем через 5 минут, то данные старые подтягиваются

Да, есть настройка таймаут очистки. Но можно ли как-нибудь очистить эти таблицы по окончанию проекта?

 

[bedl0]

Никак не могу решить проблему. Если какой-нибудь способ отключать таблицы (отвязывать), чтобы они заново подгружались при запуске скрипта? Такое ощущение, что если скрипт запускаешь раньше, чем через 5 минут, то данные старые подтягиваются

Да, есть настройка таймаут очистки. Но можно ли как-нибудь очистить эти таблицы по окончанию проекта?

Апну тепу, проблема актуальна, столкнулся с тем же. Данные в гугл таблице изменились, а проект все равно подтягивает старые, пока не перезапустишь зенностер.
Удалось как-то по фиксить это?

 

[Phoenix78]

Апну тепу, проблема актуальна, столкнулся с тем же. Данные в гугл таблице изменились, а проект все равно подтягивает старые, пока не перезапустишь зенностер.
Удалось как-то по фиксить это?

эти таблицы предназначены для формирования данных в таблицах из зеннопостера, а не для интерактивного взаимодействия таблиц и зеннопостера.
Поэтому надо просто не менять таблицы вне зенки и не будет проблем.
для интерактивного использования есть базы данных и внешние формы для них.

 

[one]

В работе с Google Sheets надо паузы большие ставить после записи и получения данных. Минута-две...

 

[Yuriy Zymlex]

Апну тепу, проблема актуальна, столкнулся с тем же. Данные в гугл таблице изменились, а проект все равно подтягивает старые, пока не перезапустишь зенностер.
Удалось как-то по фиксить это?

Постер заботает только со своей копией, пока её не требуется выгрузить. Нельзя со стороны загружать данные в таблицу.
Используйте базу данных, там имеется встроенный механизм блокировок и всё необходимое для работы.

 

[bedl0]

Спасибо за потраченное время на столь "полезные" советы, но это господа какая-то дич, на кой мне бд если нуждно просто свежие данные из таблицы дернуть при запуске шаблона.

Решение для потомков:
GET запрос, сохранить как файл.
CSV: https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=csv&usp=sharing
XLSX: https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=xlsx&usp=sharing

 

[Artproma]

Потомок пришел. Жуть как нужно обновление.
А скачать, через Get, не получается. Где косяк? подскажите...

 

[nicanil]

Потомок пришел. Жуть как нужно обновление.
А скачать, через Get, не получается. Где косяк? подскажите...

Нет доступа к таблице.

P.S. В скором времени должна быть добавлена функция ручного подтягивания данных из Google Таблицы, аналог кнопки в настройках (в 7.6.0.0 возможно не войдёт, но в одной из следующих версий будет внедрено).

 

[Artproma]

Доступ к файлу предоставил.
Там ничего такого нет. Как скачать файл, вот в чем вопрос.

P.S. В скором времени должна быть добавлена функция ручного подтягивания данных из Google Таблицы, аналог кнопки в настройках (в 7.6.0.0 возможно не войдёт, но в одной из следующих версий будет внедрено).

Обновление нужно уже сейчас. А релиз с ним, я так понимаю, не скоро...

Как заставить зенку обновить данные?..

 

[nicanil]

Как скачать файл, вот в чем вопрос.

Уберите из URL часть /edit#gid=0, чтоб он был таким же, как в примере из этого сообщения.

Как заставить зенку обновить данные?..

На сегодня, стандартными средствами ZP, принудительно заставить загрузить данные из удалённой таблицы нельзя. ZP делает это самостоятельно.

 

[bizzon]

Как заставить зенку обновить данные?..

А если перепривязать таблицу?

 

[Artproma]

Уберите из URL часть /edit#gid=0, чтоб он был таким же, как в примере из этого сообщения.
На сегодня, стандартными средствами ZP, принудительно заставить загрузить данные из удалённой таблицы нельзя. ZP делает это самостоятельно.

Странно, но на другом, нужном мне, проекте скачивается не файл в нужной кодировке, а файл edit без расширения. Я думаю, что я понял в чем дело. Там ограничены права. Буду первоначально входить в аккаунт.

Касаемо второго ответа: У меня проект запускается раз в 15 минут. И при перезапуске данные не обновляются.

 

[Artproma]

А если перепривязать таблицу?

не срабатывает

 

[nicanil]

Странно, но на другом, нужном мне, проекте скачивается не файл в нужной кодировке, а файл edit без расширения. Я думаю, что я понял в чем дело. Там ограничены права. Буду первоначально входить в аккаунт.

Это из-за того, что есть часть /edit#gid=0 в ссылке.

Касаемо второго ответа: У меня проект запускается раз в 15 минут. И при перезапуске данные не обновляются.

Проверьте, что в настройках программы включено "Всегда загружать изменения из облака". Если таблица большая, то попробуйте увеличить "Таймаут загрузки таблицы из облака".

Спойлер

 

[Artproma]

Скачать-то я скачал, а вот как получить данные со второго листа.
Если не сложно, подскажите, вдруг есть гет запрос, чтоб скачать определенную Гугл страницу. Или можно как-то в экселе указать страницу.
Куда не лезу везде костыли, не получается. Всю голову сломал...

 

[nicanil]

Скачать-то я скачал, а вот как получить данные со второго листа.

Только делать отдельный запрос на скачивание необходимого листа.

UPD
При экспорте Excel качает все листы.
CSV - только один лист за раз.
Пример.

 

[Artproma]

пытаюсь делать по примеру

CSV: https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=csv&usp=sharing
XLSX: https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=xlsx&usp=sharing

XLSX качает весь файл. CSV вообще не срабатывает

 

[Artproma]

А как скачать 2 лист?
Лист 2: https://docs.google.com/spreadsheets/d/1x8lkcm9rwHHxOe1aJ6CHeyt9eO4bDWorPzRIPijeDQY/edit#gid=2033554393
Дописываю в конце что угодно (и слэш ставлю и без, пробовал варианты с &), не срабатывает. Появляется файл без расширения.

Может какой код есть, чтоб переподключить таблицу. Просто экшн не обновляет данные.

 

[bedl0]

А как скачать 2 лист?
Лист 2: https://docs.google.com/spreadsheets/d/1x8lkcm9rwHHxOe1aJ6CHeyt9eO4bDWorPzRIPijeDQY/edit#gid=2033554393
Дописываю в конце что угодно (и слэш ставлю и без, пробовал варианты с &), не срабатывает. Появляется файл без расширения.

Может какой код есть, чтоб переподключить таблицу. Просто экшн не обновляет данные.

Есть на C#, скачивает файл по ссылке urlGoogleTable и помешает его в таблицу gTab, по поводу листов не подскажу, но вот по такой ссылке качается второй лист.

https://docs.google.com/spreadsheets/d/1x8lkcm9rwHHxOe1aJ6CHeyt9eO4bDWorPzRIPijeDQY/export?format=xlsx&usp=sharing&gid=2033554393

Код ниже скачает то что вам необходимо и положит в таблицу в gTab в ZP

var googleTableValue = project.Variables["urlGoogleTable"].Value;
var gTable = project.Tables["gTab"];
var gid = "2033554393";

var downloadUrl = googleTableValue.Replace(Path.GetFileName(googleTableValue).ToString(), "export?format=xlsx&usp=sharing" + "&gid=" + gid );
var sourceFileName = ZennoPoster.HTTP.Request(ZennoLab.InterfacesLibrary.Enums.Http.HttpMethod.GET, url: downloadUrl, respType: ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.File, Timeout: 50000, DownloadPath: project.Directory);
var rnd = new Random().Next(10000000);
File.Move(sourceFileName, project.Directory + "/" + rnd + ".xlsx");
gTable.Bind(project.Directory + "/" + rnd + ".xlsx");
Thread.Sleep(new Random().Next(1000));
File.Delete(project.Directory + "/" + rnd + ".xlsx");

 

[Artproma]

Спасибо большое.
Буду тестировать

 

[nicanil]

Если без C#, то можно выполнить запрос на URL https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=csv&usp=sharing&gid=GID
Где KEYTABLE - идентификатор таблицы (пример 13olkcm9rwHHx0znaJ6CHeyt9eO4bDWorPzRIPijennt)
GID - идентификатор листа в таблице (найти можно конце URL адреса, пример - 1259570223)

Основано на этом сообщении от @bedl0

 

[Artproma]

Спасибо. Протестирую. Пока через костыли решил.
Тупо перепривязка таблицы с задержкой в 7 минут. получается долго, но работает.
Главное быть редактором, раньше я им не был, что создавало больше проблем.

 

[Таксист]

Спасибо за потраченное время на столь "полезные" советы, но это господа какая-то дич, на кой мне бд если нуждно просто свежие данные из таблицы дернуть при запуске шаблона.

Решение для потомков:
GET запрос, сохранить как файл.
CSV: https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=csv&usp=sharing
XLSX: https://docs.google.com/spreadsheets/d/KEYTABLE/export?format=xlsx&usp=sharing

Правильно ли я понял: ты решил вопрос перезагрузки тем, что сохраняешь таблицы на жесткий диск и в этот момент сохранения гугл таблица в онлайне перезагружается? Точнее в зенку загружаются последнее реальное состояние гугл таблицы, а не то, что она закешировала раньше?