Tagged: multiprocessing

20
Апр
2021

Ошибка с модулем multiprocessing (self._args = tuple(args) TypeError: ‘int’ object is not iterable)

Часть кода, в котором ошибка:
def load_process(t):
pass

def load(t2, process): # Симулятор загрузки
timer = t2 / 100 # Вычисляем, сколько времени нужно для полной загрузки
if process:
Process(target=load_process, ar…

29
Мар
2021

Асинхронность в FastAPI / Python

Как сделать, чтобы при получении, например, двух запросов в FastAPI, они выполнялись независимо друг от друга. То есть, если первым придет запрос на обработку, который занимает 20 сек, а вторым придет запрос, который занимает 5 сек, то рез…

25
Мар
2021

Python multiprocessing работа с глобальными переменными

Мне в проекте нужно выполнить одно действие через несколько секунд. Однако изначально я знаю что действие должно быть выполнено не менее чем через 4 секунды, но в процессе выполнения программы это число может увеличиваться.
Вот код:
from m…

13
Мар
2021

Можно ли использовать multiprocessing.Queue для потоков?

На англоязычном stackoverflow есть такой вопрос, но я хотел бы поинтересоваться, если использовать мультипроцессинговую очередь для потоков, то возможно возникнут какие-то проблемы? Или же использование потоками мультипроцессинговой очеред…

04
Мар
2021

Python и multiprocessing Pool зашел в тупик

Всем доброго времени суток зашел в тупик со скриптом. Подскажите как передать название файла который записывается в цикле в переменную ListUrl в функцию fun?
resultUrl = sorted(glob.glob("*.csv")) # Получаю список файлов csv
for …

13
Фев
2021

Параллельные вычисления в Python

Пытаюсь написать код, который при получении новой строки через requests будет вызывать функцию get_value() отдельным процессом. Т.к. поток, получаемый через requests бывает довольно большой, и тогда обработка происходит с отставанием. Пыта…

04
Фев
2021

Python 3 ошибка с lambda во вложенных словарях при использовании multiprocessing

Возникла необходимость разделить большую работу на куски и отдать на выполнение каждому ядру процессора, а после результаты собрать и объединить в один общий. Прочитал статью, вдохновился и … подавился.
Вот мой код, который работает
impo…

03
Фев
2021

Одновременный запуск 14 скриптов python

уважаемые.
Есть такой вопрос. Как реализовать запуск 14 Python скриптов одновременно через один.
Все скрипты по сути дубликаты друг друга. Находятся в разных папках, так как для для каждого создается отдельное небольшое дб и каждый работае…

22
Янв
2021

Как запустить команды WP-CLI в разных потоках?

Хочу создать команду, которая будет включать в себя несколько кастомных команд WP-CLI которые будут запускаться в разных потоках. Много читал за многопоточность в php,но именно как ето реализовать с WP-CLI для WordPress, не нашел. Возможно…

12
Янв
2021

Что выбрать – конкуррентность, параллелизм или новый поток?

У меня есть программа. Она состоит из 5 частей. Чтобы не вдаваться в подробности проведу аналогию: 1 часть флудит в консоль каждые 0.5 секунд, 2 часть редактирует текстовый файл каждую секунду, 3 часть что-то еще каждые 10 секунд и так дал…

02
Янв
2021

Получение информации о потоке исполнения через равные промежутки времени python

Имеется следующий код:
proc = multiprocessing.Pool(n_cpu)
proc.map(func, some_data)

как мне параллельно с этим пулом запустить ещё один процесс который бы через заданное время получал информацию о том как обстоят дела в ка…

17
Дек
2020

Как связать между собой процессы?

У меня есть процессы: (условно) 1. Main – главный процесс 2. First – процесс, где исполняется первая функция 3. Second – процесс, где исполняется вторая функция. Можно ли как то связать эти процессы между собой т.е что бы я мог получить в …

17
Дек
2020

как завершить процессы досрочно т.е до того, как он полностью выполнит функцию?

Вопрос связан с работой модуля Multiprocessing. Я создал несколько процессов с помощью multiprocessing.Process. В этих процессах параллельно выполняются несколько функций. Вопрос: как завершить процессы досрочно т.е до того, как он полност…

12
Дек
2020

Секундомер и сообщения в заданный интервал

Пытаюсь совместить секундомер и отправку сообщений в заданный интервал времени. Но никак не получается заставить работать две функции вместе. Причина насколько я понимаю в том, что первая функция выполняется без конца, но как правильно раз…

24
Ноя
2020

Прозрачное окно поверх остальных, с обновляемым(и) прямоугольником

У меня есть координаты прямоугольника которые я получаю из opencv:
x, y, w, h (x и y это верхний левый угол, w – ширина прямоугольника и h – высота)
x
y ——
| |
| | h
| |
——
w

Мне нужно отображать в центре…

24
Ноя
2020

Настройка multiprocessing python 3.6

У меня есть долго работающий код, который я хочу ускорить за счет параллельного выполнения. По шагам:

Загрузка архива с сервера по API
Распаковка и извлечение необходимых файлов.
Конвертация и обработка файлов.
Публикация.

Так как без ре…

19
Ноя
2020

Различие модулей threading и multiprocessing

Я учусь использовать модули threading и multiprocessing в Python для параллельного выполнения определенных операций и ускорения моего кода.
Мне сложно (может быть, потому что у меня нет никаких теоретических знаний об этом) понять, в чем р…

14
Ноя
2020

Multiprocessing в PyQt5

Столкнулся с проблемой создания потоков для 3 функции в PyQt5
Поток не видит мою функцию и выдает такую ошибку
p = Process(target=scanner, args=(‘1’,))
NameError: name ‘scanner’ is not defined

Process finished with exit code 1

Полный код…

12
Ноя
2020

Python multiprocessing time.sleep

Есть код, в котором создаётся процесс с помощью multiprocessing. Мне нужно сделать задержку в 0.5 секунд в этом процессе. Когда я использую time.sleep, то задержка применяется для всех процессов, что мне не нужно.

05
Ноя
2020

Python Синхронизация JSON данных

Есть программа, в которой запущен процесс. В этом процессе циклично запускаются уже другие процессы. Мне нужно синхронизировать данные между ВСЕМИ процессами, как родительстким, так и дочерними.
В данный момент данные одного процесса перез…

22
Окт
2020

Обработка except в дочернем процессе пула multiprocessing

Отредактировано в 18:50 по Гринвичу (после диалога в комментариях и спустя 6 часов после публикации вопроса)
Как в мультипроцессорном приложении узнать об ошибках в дочерних процессах?
Суть вопроса:
Если в мультипроцессорном приложении в р…

15
Окт
2020

Как переделать код под мой вариант задания? (параллельные системы)

Задание:

Напишите программу моделирования с использованием на языке Java.
В программах класс CPUQueue описывает очередь, класс CPUProcess моделирует поток процессов, а класс CPU – поток обслуживания процесса центральным процессором. Очере…

14
Авг
2020

Разделяемые ресурсы между процессами в python и мьютексы

Как проблему разделяемых ресурсов решает uvicorn?
Запускаю:
uvicorn main.py:app –workers=5 –port=8080 –host=0.0.0.0

Внутри app есть мьютекс (threading.Lock() на часть одного из эндпоинтов). Будет ли этот мьютекс корректно работать, ког…

13
Авг
2020

Асинхронная работа нескольких функций python

Есть три функции A(a), B(b), C(c); Все функции имеют код:
def name(arg): # a или b или c вместо name
while True():
print(a) # a или b или c

Нужно сделать функции асинхронными без потери скорости (или минимальной), к примеру такие:

Фун…