Несколько пожеланий и вопросов

[Gerero]

ZPC 2507

1. Вкладка Источники
Что должно отображаться в столбце Состояние ?

2. Вкладка Источники
По какому принципу определяется рейтинг источников?
У меня всего 2 состояния: 3 или 4 звездочки, причем совершенно ставятся от балды

На пикче видно, к примеру, что всего проксей 77 живых из них 0, рейтинг соответственно 4 звезды. 4 звезды это наивысший рейтинг? 0 из 0 - 3 звезды, наихудший рейтинг?

Непонятно какое значение вкладывали разработчики в понятие рейтинг, но логичным видится следующее: рейтинг это отношение живых проксей к их общему числу, те 1 звезда присваивается отношению 0-0.25, 2 звезды - 0.26-0.5 и так далее (цифры примерные, было бы замечательно если пользователь мог задавать их).

Соответственно, на панельку нужно вывести кнопки с рейтингом для быстрого выбора тех или иных источников с необходимым рейтингом для возможности их сохранения или удаления.

3. Вкладка Выдача - Задача на выдачу проксей
Перед полем Правило, добавить поле Комментарий

4. Последнее обновление когда было? Неужели в программе нечего улучшать, или ей подготовлена участь бедного родственника? Политика в целом понятна, ZPC не доделали, бросили, давай лучше будем делать Z-Social , там денег больше. В свои продукты верить нужно!

 

[rostonix]

1. Вкладка Источники
Что должно отображаться в столбце Состояние ?

Когда с источника грузится инфа, там появляется знак загрузки.

2. Вкладка Источники
По какому принципу определяется рейтинг источников?
У меня всего 2 состояния: 3 или 4 звездочки, причем совершенно ставятся от балды

Когда все источники загрузятся - отсортируйте список источников по результату последней загрузки. Зеленые - те, что с проксями. Желтые - без проксей, красные - вообще не доступны. Рейтинг источников считается очень просто, по-умолчанию = 3, если нашли на нем прокси (зеленый) - растет (максимум 5), если недоступен (красный) - падает (минимум 1), если нет проксей (желтый) - не изменяется.

Чтобы удалить лишнее, надо отсортировать по рейтингу, и удалить все недоступные - с рейтингом меньше 3 (т.е., 1 или 2). С желтыми можно поработать - зайти вручную на источник и проверить есть ли там прокси. Если есть, то можно добавить регулярных выражений, для того, чтобы такие источники парсились.

4. Последнее обновление когда было? Неужели в программе нечего улучшать, или ей подготовлена участь бедного родственника? Политика в целом понятна, ZPC не доделали, бросили, давай лучше будем делать Z-Social , там денег больше. В свои продукты верить нужно!

Скоро будет обновление, будет чек на работу со своими сайтами (как сейчас чек против гугла)
ProxyChecker это рабочий и прекрасно функционирующий инструмент, который является неотъемлемой частью и ZennoPoster и Z-Social. Поэтому говорить что его забросили это преувеличение)

 

[Gerero]

Когда с источника грузится инфа, там появляется знак загрузки.

По сути лишняя информация, тк есть столбец Доступность источника

Рейтинг источников считается очень просто, по-умолчанию = 3, если нашли на нем прокси (зеленый) - растет (максимум 5),

Получается рейтинг источников рассчитывается по мертвым проксям? Какой смысл в таком рейтинге?

Продублировал пикчу, видно в источнике нет проксей (0), откуда рейтинг равен 3?

Чтобы удалить лишнее, надо отсортировать по рейтингу, и удалить все недоступные - с рейтингом меньше 3 (т.е., 1 или 2).

Нолики оставлять что ли? )))

К чему весь этот разговор?
Парсится список источников сторонним софтом. Цель отобрать из них наиболее годные, для дальнейшей работы только с ними. Существующим чекером на автомате это невозможно сделать. Я даже не смог скормить напаршенный файл, вылезно какое-то ограничение (за давностью точно не помню).

ProxyChecker это рабочий и прекрасно функционирующий инструмент, который является неотъемлемой частью и ZennoPoster и Z-Social. Поэтому говорить что его забросили это преувеличение)

(другой софт) и то чаще обновляется)))

3. Вкладка Выдача - Задача на выдачу проксей
Перед полем Правило, добавить поле Комментарий

Про это молчок.

 

[rostonix]

Продублировал пикчу, видно в источнике нет проксей (0), откуда рейтинг равен 3?

по-умолчанию = 3, если нашли на нем прокси (зеленый) - растет (максимум 5), если недоступен (красный) - падает (минимум 1), если нет проксей (желтый) - не изменяется.

Я даже не смог скормить напаршенный файл, вылезно какое-то ограничение (за давностью точно не помню).

Нужна конкретика.

(другой софт) и то чаще обновляется)))

GSA search engine ranker обновляется пару раз в день) Это не не значит что ZPC не работает. Тут вообще нет связи.

Про это молчок.

Я таску насчет этого поставил.

Резюмирую:
Если есть конкретные предложения, пишите. Если что-то не работает, также нужна конкретика.

 

[Gerero]

Видимо стоит писать по одному вопросу. Повторюсь.
Получается рейтинг источников рассчитывается по мертвым проксям? Какой смысл в таком рейтинге?

 

[rostonix]

Как предлагаете?
По количеству живых не вариант, потому что они фильтруются на дубли при чеке. То есть в источнике 1 = 100 живых проксей, в источнике 20 = 3 живые прокси, при этом в источнике 20 еще 50 живых дублей из источника 1 и 150 из источника два.

 

[Gerero]

Что предлагал я, из первого поста

рейтинг это отношение живых проксей к их общему числу, те 1 звезда присваивается отношению 0-0.25, 2 звезды - 0.26-0.5 и так далее (цифры примерные, было бы замечательно если пользователь мог задавать их).

Соответственно, на панельку нужно вывести кнопки с рейтингом для быстрого выбора тех или иных источников с необходимым рейтингом для возможности их сохранения или удаления.

Т.е. смотрим сколько мертвых проксей на одну живую, далее присваиваем рейтинговую звездочку, к примеру если на 1 живую проксю приходится 100 мертвых это хорошо, а если на 1 живую 700 мертвых -плохо (нужно повнимательней посмотреть как "поделить рейтинг"). Вероятно не самый лучший вариант, но все же лучше существующего.

Вашу логику по количеству живых не понял.
В источниках есть дубли, они фильтруются, соответственно не учитываются, отбрасываются. Или Вы хотели сказать что существующий механизм фильтрации дублей несовершенен?

 

[rostonix]

Ну вот по ващему предложению я выше отписался. У источника 20 будет очень низкий рейтинг, потому что на момент забора из него проксей, дубли. содержащиеся в предыдущих источниках учтены не будут. Они не пойдут на проверку. Забираются только уникальные прокси.

 

[Gerero]

Т.е. существующая система рейтинга источников рассчитанная по мертвым проксям лучше?

Для чего по Вашему нужен рейтинг источников?

Ну и пусть будет у источника 20 низкий рейтинг. Суть то на первом этапе отобрать из огромного количества источников несколько годных. Остаток живых проксей из 20 источника наверняка продублируется в других источниках несколько раз.

Можно усовершенствовать систему рейтинга введя некий коэффициент учитывающий количество дублей и вывести этот кеф в виде шкалы на панель для наглядного показа сколько дублей у этого источника, если Вам будет угодно.

 

[rostonix]

Ну и пусть будет у источника 20 низкий рейтинг. Суть то на первом этапе отобрать из огромного количества источников несколько годных. Остаток живых проксей из 20 источника наверняка продублируется в других источниках несколько раз.

Это можно и сейчас сделать, если вам нужно ориентироваться на количество живых. Отсортировали по порядку по количеству живых и удалили все что не подходит под ваши критерии.
По дублям передам пожелание разработчикам.

 

[Go@]

Непонятно какое значение вкладывали разработчики в понятие рейтинг, но логичным видится следующее: рейтинг это отношение живых проксей к их общему числу, те 1 звезда присваивается отношению 0-0.25, 2 звезды - 0.26-0.5 и так далее (цифры примерные, было бы замечательно если пользователь мог задавать их).

Я вам скажу больше, мы сначала хотели добавить в таблицу источников столбец "Отношение количества живых к общему числу проксей", со значением в % и с возможностью сортировки. Это даже лучше, чем всего 5 состояний, как вы предлагаете. Но такой параметр будет мало полезен, и вот почему:
1) Ресурс, имеющий 1 живой прокси из 2 с соотношением 50% будет лучше, чем ресурс, имеющий 900 живых из 2000, с соотношением 45%, а это не верно.
2) Число проксей, относящихся к ресурсу является инкрементальной разницей к уже имеющимся прокси в базе. Проще говоря, если мы добавляем ресурс, на котором 10000 прокси, но 9000 из них уже находятся в базе, то ресурсу будет установлено только 1000 прокси. Если мы добавляем 2 ресурса в новую базу, но они имеют 30% дубликатов между собой, то число проксей, установленное каждому ресурсу будет зависеть от очередности их загрузки. Это вторая причина, почему расчет рейтинга по принципу "число живых/всего проксей" не работает.

Какой смысл в таком рейтинге?

Рейтинг - это параметр источника, но не его проксей. Он отвечает за то, насколько часто источник бывает доступен и насколько часто на нем выкладываются новые прокси, которые еще не были добавлены в базу проксичекера.

Рейтинг имеет 5 значений, минимум 1, максимум 5.

Только что добавленные источники получают средний рейтинг, равный 3.

После каждой загрузки источника есть 3 варианта:
1) Ресурс недоступен - снижаем рейтинг на 1
2) Ресурс доступен, но новых проксей нет - рейтинг не меняется.
3) Загрузили новые прокси, еще не добавленные в программу - повышаем рейтинг на 1.

Когда в программе много источников, ресурсы с бОльшим рейтингом начинают грузиться в раньше, чем ресурсы с меньшим рейтингом, потому что так больше вероятность, что мы загрузим в базу новые прокси.

Рейтинг - это примерная характеристика, отвечающая за то, как быстрее добавлять свежие прокси в базу программы. Не больше и не меньше.

 

[Go@]

По поводу дублей и коэффициента дублей.

Прокси, содержащиеся в базе проксичекера, уникальны. Дубли удаляются на этапе загрузки.

 

[Gerero]

rostonix, благодарю за ответы
если реализуете поле Комментарии при создании задания на выдачу проксей будет здорово.

По предложению разработчикам насчет дублей несколько переформулировал бы задачу (хотя налицо пересечение)

Как автоматом получить из файла источников из 10000 строк только 100 наиболее годных источников (цифры примерные, но порядок цифр важен) - вроде как одна из базовых функций чекера, сортировка и отбор лучших источников.

И последний на сегодня вопрос.
Автопоиск прокси. Почему нельзя задавать свои запросы? ZPC отдельный продукт, может стоит внести в него такую возможность?

 

[Gerero]

Go@, спасибо за ответы, стало намного понятнее. И как Вы ответите на следующий вопрос:

Как автоматом получить из файла источников из 10000 строк только 100 наиболее годных источников (цифры примерные, но порядок цифр важен) - вроде как одна из базовых функций чекера, сортировка и отбор лучших источников.

 

[rostonix]

Откуда вы откапываете такие мертвоисточники вопрос не менее важный)
При таком количестве источников пересечений по дублям будет подавляющее большинство, это ж паблик.
Всегда говорил что собрать вручную 10-20 сайтов с обновляющимся ежедневно списком проксей на морде сайта даст больший выхлоп чем работа с археологическими источниками из 2000х годов, которые люди тащили с серваков чека хрумера.

 

[Gerero]

Суть то не в том откуда я откопал все это добро, а том способен ли ZPC решить эту задачу или нет ). И зачем тогда внедряли автопоиск прокси?

 

[Gerero]

Идея в исключении ручного труда, полная автоматизация. В идеале, например нужно 300 незакопчеванных гуглом проксей, ввел в предустановках цифру 300, а она выдала их за минимальное время. С каких запросов, источников она их нашла, по какому принципу присваивается рейтинг источникам - неважно, главное прокси, количество времени и машинных ресурсов потраченное на их поиск.

 

[KirillOFF]

Добавлю:
1. При автопоиске прокси нужна возможность автоматически удалять плохие источники и добавлять их в чёрный список.
2. Есть много блогообразных ресурсов, где прокси выкладывают в виде новостей и сейчас чекер не может зайти на главную и собрать ссылки на последние записи, чтобы потом забрать оттуда прокси (аналогично для форумов).
3. При большой очереди на проверку если добавить источник с прокси, которые не нужно чекать (сняты все галочки), они тоже будут стоять и ждать обработки (хотя могли бы быть отмечены живыми сразу после загрузки).
4. Если имеем свои источники и потом включаем автопоиск, в списке источников начинается бардак. И потом при удалении автоматически найденных источников, можно случайно удалить и свои старые (сортировку таблицы иногда колбасит)

 

[Go@]

Go@, спасибо за ответы, стало намного понятнее. И как Вы ответите на следующий вопрос:

Как автоматом получить из файла источников из 10000 строк только 100 наиболее годных источников (цифры примерные, но порядок цифр важен) - вроде как одна из базовых функций чекера, сортировка и отбор лучших источников.

Отвечу.
Мы задумывались над такой задачей, но ее решение не тривиально. Мы имеем N источников с M проксей, каждый прокси содержится в K источниках. Причем N > 1000, M > 100000. Как определить X самых полезных источников, чтобы сэкономить ресурсы компьютера на загрузку источников и проверку проксей? Возможно, в будущем мы решим эту задачу, но сейчас банальная загрузка всех источников и проверка всех проксей будет намного быстрее и менее ресурсозатратной.

Поэтому ответ такой: ориентируйтесь на число живых проксей.

Удалите источники, которые не доступны, на которых отсутствуют или всего несколько живых проксей, например, меньше 10. Так останутся наиболее годные источники.

В очередной версии программы (она скоро выйдет) будет настройка, которая улучшит решение задачи фильтрации большого количества паблик-листов: в настройках источников добавится настройка "проверять прокси только один раз".

 

[KirillOFF]

При удалении источника нужна возможность не удалять живые прокси, что-то типа библиотеки прокси (как в Proxyfire). А то при удалении 100 слабеньких источников можно не только очистить базу от мусора, но и потерять ощутимое кол-во живых.

 

[Go@]

Суть то не в том откуда я откопал все это добро, а том способен ли ZPC решить эту задачу или нет ). И зачем тогда внедряли автопоиск прокси?

Автопоиск собирает паблик прокси и с авто-фильтрацией ресурсов в процессе. Почти тоже самое, когда вы добавляете свои огромные паблик листы, только лучше.

Идея в исключении ручного труда, полная автоматизация. В идеале, например нужно 300 незакопчеванных гуглом проксей, ввел в предустановках цифру 300, а она выдала их за минимальное время. С каких запросов, источников она их нашла, по какому принципу присваивается рейтинг источникам - неважно, главное прокси, количество времени и машинных ресурсов потраченное на их поиск.

Настройте в установках автопоиска проверку на гугл, программа начнет проверять свеженайденные паблик прокси на гугл. Затем фильтруйте их по соответствующему правилу. Но на практике, совсем уж чудес не бывает, пока вы наберете 300 гугл-пасс проксей, часть их них уже умрут или не будут гугл пасс. Можно настроить устаревание проксей в живом списке, чтобы прокси регулярно отправлялись на перепроверку.

 

[Go@]

Добавлю:
1. При автопоиске прокси нужна возможность автоматически удалять плохие источники и добавлять их в чёрный список.

Хорошо, подумаем над этим.

2. Есть много блогообразных ресурсов, где прокси выкладывают в виде новостей и сейчас чекер не может зайти на главную и собрать ссылки на последние записи, чтобы потом забрать оттуда прокси (аналогично для форумов).

Да, такие задачи мы планируем реализовать.

3. При большой очереди на проверку если добавить источник с прокси, которые не нужно чекать (сняты все галочки), они тоже будут стоять и ждать обработки (хотя могли бы быть отмечены живыми сразу после загрузки).

Логично, сделаем.

4. Если имеем свои источники и потом включаем автопоиск, в списке источников начинается бардак. И потом при удалении автоматически найденных источников, можно случайно удалить и свои старые (сортировку таблицы иногда колбасит)

Автопоиск изменяет таблицу в реальном времени, да. Улучшим этот момент. Сейчас, отключите его на время, и отсортируйте по меткам. Источники из автопоиска имеют метку Auto.

 

[KirillOFF]

Автопоиск изменяет таблицу в реальном времени, да. Улучшим этот момент. Сейчас, отключите его на время, и отсортируйте по меткам. Источники из автопоиска имеют метку Auto.

Так и делаю, но иногда с метками бывает беда - не всегда проставляются.
А что скажете по поводу сообщения?

 

[Go@]

Не успеваю всем сразу отвечать

При удалении источника нужна возможность не удалять живые прокси, что-то типа библиотеки прокси (как в Proxyfire). А то при удалении 100 слабеньких источников можно не только очистить базу от мусора, но и потерять ощутимое кол-во живых.

Вы имеете ввиду, что при удалении источников спрашивать, удалять их прокси или нет? Если нет, то помещать оставшиеся от ресурса прокси в некоторую сущность, типа "Свои прокси", и настраивать проверку этих проксей через нее?

 

[KirillOFF]

Вы имеете ввиду, что при удалении источников спрашивать, удалять их прокси или нет? Если нет, то помещать оставшиеся от ресурса прокси в некоторую сущность, типа "Свои прокси", и настраивать проверку этих проксей через нее?

Вроде того. Нужна библиотека прокси, где будут храниться живые прокси (в идеале все), чтобы можно было периодически удалять источники и очищать базу прокси без потери живых прокси.
В ZPC я это реализую выгрузкой живых прокси на диск и потом добавляю этот файл как источник. Мне кажется это нормальной схемой.

 

[Gerero]

В ZPC я это реализую выгрузкой живых прокси на диск и потом добавляю этот файл как источник. Мне кажется это нормальной схемой.

То же так делаю, для меня оказалось эффективной схемой.

 

[Gerero]

При клике на источник правой кнопкой мыши вдобавок к Форсировать загрузку, изменить, удалить добавить пункт открыть в браузере.

 

[rostonix]

При клике на источник правой кнопкой мыши вдобавок к Форсировать загрузку, изменить, удалить добавить пункт открыть в браузере.

Поставил таску