Параллельные запросы

[ssXXXss]

В текстовом файле 1000 аккаунтов, делаю паралельный запрос в 100 потоков, берём с файла йди и выполняем какие то действия
Вопрос: как взять следующий акаунт поток который звыершил действия. У меня сейчас получается так, например 100 потоков сразу стартанули все действия выполнили и выход, ломаю голову и чего то не получается

 

[CSS]

Ничего не понятно, надо сделать переход многопоток => однопоток?

 

[ssXXXss]

Ничего не понятно, надо сделать переход многопоток => однопоток?

это всё в одном кубике в PM, как вернуться к началу не выходя из кубика ??

 

[CSS]

это всё в одном кубике в PM, как вернуться к началу не выходя из кубика ??

Не осилил..

 

[ssXXXss]

Не осилил..

РМ у нас однопоточный, я использую метод Parallel, запускаю на РМ 100 потоков, а в файле у меня логинов 1000, после 100 проходов потоки выходят с кубика, как мне сделать что бы вернуть потоки в начало

 

[CSS]

РМ у нас однопоточный, я использую метод Parallel, запускаю на РМ 100 потоков, а в файле у меня логинов 1000, после 100 проходов потоки выходят с кубика, как мне сделать что бы вернуть потоки в начало

На первый взгляд посчитать сколько строк всего, поделить на количество потоков, и это число использовать в цикле for (получится 10 итераций цикла)

 

[ssXXXss]

На первый взгляд посчитать сколько строк всего, поделить на количество потоков, и это число использовать в цикле for (получится 10 итераций цикла)

Так оно примерно сейчас так и получается, только с кубика выходит, ждёт пока все потоки не завершатся, как только все потоки завершили работу выходит по гуд и снова берёт 100 потоков, а как сделать что бы при завершении внутри цикла всего одного, двух и т.д. потоков брало опять не ждало завершения, например сто потоков, один завершился и тут же вернулся за акаунтом, как закончившемуся потоку передать что ему в начало надо)))

 

[Sergodjan]

Так оно примерно сейчас так и получается, только с кубика выходит, ждёт пока все потоки не завершатся, как только все потоки завершили работу выходит по гуд и снова берёт 100 потоков, а как сделать что бы при завершении внутри цикла всего одного, двух и т.д. потоков брало опять не ждало завершения, например сто потоков, один завершился и тут же вернулся за акаунтом, как закончившемуся потоку передать что ему в начало надо)))

ух ты, йо-майо, это хак года - как из ПM сделать еще один ЗП Про..
или из ЗП Лайт сделать ЗП Про..

 

[ssXXXss]

ух ты, йо-майо, это хак года - как из PM сделать еще один ZP Pro..

Вчера затестил на 500 потоков инет отрубился не потянул, 350 тянет и всё))))), это именно гет запросы сразу

 

[Sergodjan]

Вчера затестил на 500 потоков инет отрубился не потянул, 350 тянет и всё))))), это именно гет запросы сразу

а 350 мало?

 

[ssXXXss]

ну это я РМ просто проверяю, если на ЗП и на сервере то намного наверно больше вытянет)

 

[ssXXXss]

Что пропали разберающиеся в коде), ещё такой вопрос, запускаю 10 потоков и каждый поток в одном месте должен одновременно пройти по N++ колличеству ссылок, сылки делаются из йди и получается общее колличество, но почему у меня получается 10 ссылок а переходы всё время нарастают, переходы получается что считаются по номеру в списке, если это ссылка третья то один поток 3 раза по ней идёт, если 10 то 10 раз, общее выходит из 10 сылок чуть не сто переходов сразу, почему так может быть ??? Что не так я делаю

 

[budora]

Что пропали разберающиеся в коде)

Так разбирающееся в коде, не экстрасенсы и код чужой не видят удалённо.

 

[Sergodjan]

Что пропали разберающиеся в коде), ещё такой вопрос, запускаю 10 потоков и каждый поток в одном месте должен одновременно пройти по N++ колличеству ссылок, сылки делаются из йди и получается общее колличество, но почему у меня получается 10 ссылок а переходы всё время нарастают, переходы получается что считаются по номеру в списке, если это ссылка третья то один поток 3 раза по ней идёт, если 10 то 10 раз, общее выходит из 10 сылок чуть не сто переходов сразу, почему так может быть ??? Что не так я делаю

это оборотная сторона параллельных запросов..
(шутка)

хоть бы код показал..

 

[ssXXXss]

ну весь код это 1000 строк и уже почти проект, вот кусок его где я получаю ссылки и после делаю параллельный запрос

var pages = new List<object>().Select(t => new { USERID = default(string), Page = default(string) }).ToList();
int qw=0;
var page = "";
var userId = "";
for(int l=0; l<id_list_cnt; l++)
{
    page = "";
    userId = "";
    userId = idlist[l];
    userId = userId.Trim();
    page = "https://asdf.ru/asdf/"+userId+"/";
    pages.Add(new {USERID = userId, Page = page});
}

кто понимает не думаю что все 1000 строк надо
P.S. Если ссылки получаю в цикле то переходы получаются намного больше, если в этом варианте то по последней сылке например 10 раз переходит, а не по разным 10 сразу

 

[CSS]

ну весь код это 1000 строк и уже почти проект, вот кусок его где я получаю ссылки и после делаю параллельный запрос

var pages = new List<object>().Select(t => new { USERID = default(string), Page = default(string) }).ToList();
int qw=0;
var page = "";
var userId = "";
for(int l=0; l<id_list_cnt; l++)
{
    page = "";
    userId = "";
    userId = idlist[l];
    userId = userId.Trim();
    page = "https://asdf.ru/asdf/"+userId+"/";
    pages.Add(new {USERID = userId, Page = page});
}

кто понимает не думаю что все 1000 строк надо
P.S. Если ссылки получаю в цикле то переходы получаются намного больше, если в этом варианте то по последней сылке например 10 раз переходит, а не по разным 10 сразу

Не работал с этим делом поэтому на пальцах не подскажу. В теории надо примерно так сделать - одна часть C# кода "подкидывает дрова", а вторая их "топит", подкидывание происходит по мере работы "топки". При такой архитектуре первый освободившийся поток берёт свободное задание и с ним работает. То есть получается некий генератор заданий, и некий обработчик который эти задания исполняет.

 

[ssXXXss]

Не работал с этим делом поэтому на пальцах не подскажу. В теории надо примерно так сделать - одна часть C# кода "подкидывает дрова", а вторая их "топит", подкидывание происходит по мере работы "топки". При такой архитектуре первый освободившийся поток берёт свободное задание и с ним работает. То есть получается некий генератор заданий, и некий обработчик который эти задания исполняет.

Оказывается дров мало было )) накидал с горой и заработало, 100 потоков плюс к каждому по 100 переходов, но вот как вернуть закончившийся поток за следующим аккаунтом понять не могу

 

[ssXXXss]

Интересная штука получается, всё работало и вдруг резко всё медным тазом накрылось, делаю параллельный запрос в 50 потоков и следом второй, всё отрабатывало отлично, сейчас первый запрос проходит а второй все 50 потоков с одним мылом, там нечего менять даже что бы перепутать, что какое то обновление зенно на лету происходит о котором мы не знаем , почему перестало работать??? Решил потоки снизить и попробывать на двух и такая же ересь, два запроса с одним мылом

 

[ZennoScript]

Кстати тоже обращал внимание, что бывают какие то сказачные приколы. Сегодня всё работает, а завтра прихожу на работу и всё не работает. Тоже посещали мысли, что зенка как то на лету обновляется.
Так ли это?

П.с. Обновления для винды отключены, так что пинать на подтянутые обновы фрэймворка или еще чего не стоит.

 

[Sergodjan]

Кстати тоже обращал внимание, что бывают какие то сказачные приколы. Сегодня всё работает, а завтра прихожу на работу и всё не работает. Тоже посещали мысли, что зенка как то на лету обновляется.
Так ли это?

П.с. Обновления для винды отключены, так что пинать на подтянутые обновы фрэймворка или еще чего не стоит.

зенка на лету не обновляется, но могут обновлять серверный компилятор..
может готовят новый билд и что то там тронули заранее..
надеюсь завтра придет rostonix и скажет, что это бред чистой воды..
я даже не обижусь..

 

[ssXXXss]

зенка на лету не обновляется, но могут обновлять серверный компилятор..
может готовят новый билд и что то там тронули заранее..
надеюсь завтра придет rostonix и скажет, что это бред чистой воды..
я даже не обижусь..

ну с проста ведь не может резко перестать работать, я тоже примерно ответ знаю что обнов ни каких типо нет смотрите у себя шаблон, а чё его смотреть если всё работало и резко пиндец пришёл, честно уже пол шаблона разобрал и бесполезно

 

[rostonix]

Компилятор на сервере может быть подкорректирован без переустановки программы. Но C# экшен не меняется, я имею ввиду стандартные экшены.

 

[ssXXXss]

Компилятор на сервере может быть подкорректирован без переустановки программы. Но C# экшен не меняется, я имею ввиду стандартные экшены.

Причину как бы обнаружил, но почему только так стало работать, получается делаю параллельный запрос с lock и тогда идёт только по порядку но пока каждый поток не выполнит какое то действие, а до этого 300 потоков параллельно запускал и всё нормально было, сейчас 50 запускаю и сидишь ждёшь пока обработается, в чём может быть причина изменения ???

 

[rostonix]

а смысл лока в чем, если не ограничивать выполнение кода одним потоком?

 

[ssXXXss]

а смысл лока в чем, если не ограничивать выполнение кода одним потоком?

lock ставлю что бы данные не путались, до этого без лока всё нормально было, а сейчас белиберда получается пять потоков могут схватить одно мыло и регаться, хотя ничего не менял до этого

 

[ssXXXss]

При перехвате try{} catch{} выдаёт вот такие ошибки
1.Exception :: Коллекция была изменена; невозможно выполнить операцию перечисления.
2."Exception :: Индекс за пределами диапазона. Индекс должен быть положительным числом, а его размер не должен превышать размер коллекции.
Имя параметра: index "
3.Exception :: Ссылка на объект не указывает на экземпляр объекта.
Кодом пытаюсь порлучить номер строки ошибки, но всё время выдаёт 0, почитал об этом и написано что должна быть подключенна отладочная инфа, а как это сделать самостоятельно если это возможно так как не могу понять где такие ошибки могут выскочить, уже многое поперепробывал а они всё равно выскакивают

try
{
       //код
}
catch (Exception e)
{
    var st = new System.Diagnostics.StackTrace(e, true);
    var frame = st.GetFrame(0);
    int line = frame.GetFileLineNumber();
    project.SendInfoToLog("", "Exception :: "+e.Message+" :: строка :: "+line.ToString(), true);
}

 

[rostonix]

Такая конструкция работать не будет, т.к. ZennoPoster получает весь проект в виде кода, который ничего не скажет.
Проекты в постере компилируются, а не интерпретируются

 

[ssXXXss]

Такая конструкция работать не будет, т.к. ZennoPoster получает весь проект в виде кода, который ничего не скажет.
Проекты в постере компилируются, а не интерпретируются

Почти день убил на эти поиски, нашёл где эти ошибки выскакивают, пришлось чуть не каждые десять строк оборачивать в try{} catch{}, неудобно конечно по поиску ошибок

 

[Lexicon]

пишите в код, креаторе, там дебаггер есть

 

[ssXXXss]

пишите в код, креаторе, там дебаггер есть

в РМ