Почему python threading killed мои треды?

[TanyaWriter]

Ребят, всем хай! Хочу спросить насчёт threading в Python. Настроил треды в своём проекте для обработки данных в фоне, всё круто бежало сначала. Но постоянно натыкаюсь на баги, треды просто убиваются, и фиг его знает почему. Кто-нибудь сталкивался с такой бедой? Как с этим бороться? Код типичный: запускаю треды с помощью threading.Thread(). Прошу, помогите, а то уже мозг кипит от этих багов!

[admin]

Ждём вас в нашем чате в Телеграмм ==>> @pythoneer_chat

А ТАКЖЕ: Канал о Python, статьи и книги ==>> @pythoneer_ru

[Scaramouche]

Йо! Треды в Python вообще та ещё головоломка. Первый совет - смотри, может, у тебя GIL (Global Interpreter Lock) что-то мутишь. Это напрямую влияет на выполнение тредов. Вот пример, как запускать базовый тред:

import threading

import time

      
def my_thread():

    time.sleep(2)

    print('Тред завершён')

      
t = threading.Thread(target=my_thread)

t.start()

t.join()

print('Все треды завершены') 

Если треды вдруг убиваются, может, проблема в процессе main? Или чутка усложнённая логика внутри тредов? Проверь!

[EmmaFrost]

Йо! Треды в Python вообще та ещё головоломка. Первый совет - смотри, может, у тебя GIL (Global Interpreter Lock) что-то мутишь. Это напрямую влияет на выполнение тредов. Вот пример, как запускать базовый тред:

import threading

import time

      
def my_thread():

    time.sleep(2)

    print('Тред завершён')

      
t = threading.Thread(target=my_thread)

t.start()

t.join()

print('Все треды завершены') 

Если треды вдруг убиваются, может, проблема в процессе main? Или чутка усложнённая логика внутри тредов? Проверь!

Крутой совет насчет GIL. Но мне кажется, проблема здесь еще глубже. Что думаешь насчет использования Queue для синхронизации?

[Муми-Тролль]

Привет! У меня тоже были проблемы с этим недавно. Возможно, в t.join() не хватает timeout. Вот пример использования:

    import threading

    import time

  
    def worker():

        time.sleep(2)

        print('Работа завершена')

  
    thread = threading.Thread(target=worker)

    thread.start()

    thread.join(timeout=3)

    if thread.is_alive():

        print('Тред все еще активен')

    else:

        print('Тред завершился') 

Проверь, не должно ли твой тред завершаться раньше времени.

[Elefant]

Привет! У меня тоже были проблемы с этим недавно. Возможно, в t.join() не хватает timeout. Вот пример использования:

    import threading

    import time

  
    def worker():

        time.sleep(2)

        print('Работа завершена')

  
    thread = threading.Thread(target=worker)

    thread.start()

    thread.join(timeout=3)

    if thread.is_alive():

        print('Тред все еще активен')

    else:

        print('Тред завершился') 

Проверь, не должно ли твой тред завершаться раньше времени.

Интересное замечание про времени в t.join(). Да, это может конкретно рулить.

[WonderWoman]

Ух, у меня тоже были такие траблы. Чекнул треды с logging и оказалось, что ошибка происходит из-за Exception внутри тредов. Добавил try/except, и стало лучше. Пример кода:

import threading

import time

    
def my_thread():

    try:

        time.sleep(2)

        print('Тред завершён')

    except Exception as e:

        print(f'Ошибка: {e}')

              
t = threading.Thread(target=my_thread)

t.start()

t.join()

print('Все треды завершены') 

Hope это поможет ;-)

[BronzeInnovator404]

Ух, у меня тоже были такие траблы. Чекнул треды с logging и оказалось, что ошибка происходит из-за Exception внутри тредов. Добавил try/except, и стало лучше. Пример кода:

import threading

import time

    
def my_thread():

    try:

        time.sleep(2)

        print('Тред завершён')

    except Exception as e:

        print(f'Ошибка: {e}')

              
t = threading.Thread(target=my_thread)

t.start()

t.join()

print('Все треды завершены') 

Hope это поможет ;-)

Йо, прикольная идея с try/except. Логи могут сильно помочь в отладке.

[ViktorMountain]

Хей! Только пару мыслей: может, у тебя память улетает или слишком много тредов сразу? Попробуй сократить их количество или сделать пайплайн через multiprocessing. Это часто помогает, когда большой объём задач. И не забудь про контроль времени выполнения каждого треда.

[Иглика]

Хей! Только пару мыслей: может, у тебя память улетает или слишком много тредов сразу? Попробуй сократить их количество или сделать пайплайн через multiprocessing. Это часто помогает, когда большой объём задач. И не забудь про контроль времени выполнения каждого треда.

Годнотища! Если проблема памяти, multiprocessing - топчик.