MemoryError Python 3 - Почему мой скрипт взрывается от недостатка памяти?

[VoidTraveler]

Парни, при написании скрипта на Python 3, у меня постоянно вылетает MemoryError.
Я работаю с большими наборами данных (обрабатываю логи), и мой код просто падает, когда память переполняется.
Как можно этого избежать? Я уже пробовал оптимизировать код, всякие там garbage collectors и т.д.,
но все равно получаю эту ошибку. Можете помочь? Желательно с примерами кода.

[admin]

Ждём вас в нашем чате в Телеграмм ==>> @pythoneer_chat

А ТАКЖЕ: Канал о Python, статьи и книги ==>> @pythoneer_ru

[Эмма]

Попробуй использовать генераторы вместо списков. Генераторы не держат все данные в памяти,
так что тебе будет проще управлять памятью. Вот пример:

def process_logs(file_path):
    with open(file_path, 'r') as f:
        for line in f:
            # обрабатываем строку
            yield line
  
for log in process_logs('large_log_file.txt'):
    # делаем что-то с логом 

Плюс, если прям совсем много памяти жрет, подумай над использованием
библиотек типа numpy или pandas, они могут быть эффективнее для больших данных.

[Носорог]

Попробуй использовать генераторы вместо списков. Генераторы не держат все данные в памяти,
так что тебе будет проще управлять памятью. Вот пример:

def process_logs(file_path):
    with open(file_path, 'r') as f:
        for line in f:
            # обрабатываем строку
            yield line
  
for log in process_logs('large_log_file.txt'):
    # делаем что-то с логом 

Плюс, если прям совсем много памяти жрет, подумай над использованием
библиотек типа numpy или pandas, они могут быть эффективнее для больших данных.

Круто, генераторы часто спасают! Неплохой варик, спасибо за пример.

[WarMachine]

Если у тебя гигантские файлы и память реально проседает, попробуй использовать модуль mmap.
Это позволяет мапить файл прямо в память, что очень эффективно. Вот пример:

import mmap
  
def mmap_example(file_name):
    with open(file_name, 'r+b') as f:
        mm = mmap.mmap(f.fileno(), 0)
        for line in iter(mm.readline, b''):
            # обработка строки
            print(line.decode('utf-8'))
        mm.close()

mmap_example('large_log_file.txt') 

Трюк в том, что mmap использует виртуальную память, а не всю оперативку.

[Dmitry]

Если у тебя гигантские файлы и память реально проседает, попробуй использовать модуль mmap.
Это позволяет мапить файл прямо в память, что очень эффективно. Вот пример:

import mmap
  
def mmap_example(file_name):
    with open(file_name, 'r+b') as f:
        mm = mmap.mmap(f.fileno(), 0)
        for line in iter(mm.readline, b''):
            # обработка строки
            print(line.decode('utf-8'))
        mm.close()

mmap_example('large_log_file.txt') 

Трюк в том, что mmap использует виртуальную память, а не всю оперативку.

mmap это топчик! Сам недавно юзал для большого проекта, реально экономит память.

[Легкость]

Ну и классика жанра - разбей данные на куски и обрабатывай их поочередно.
Можешь попробовать использовать batching. Примерчик кода:

def batcher(iterable, batch_size):
    batch = []
    for item in iterable:
        batch.append(item)
        if len(batch) == batch_size:
            yield batch
            batch = []
    if batch:
        yield batch
  
with open('large_log_file.txt') as f:
    for batch in batcher(f, 1000):
        # обработка каждого батча
        print(batch) 

Вроде проще паратной пилы, но реально помогает при больших данных.

[Ада]

Ну и классика жанра - разбей данные на куски и обрабатывай их поочередно.
Можешь попробовать использовать batching. Примерчик кода:

def batcher(iterable, batch_size):
    batch = []
    for item in iterable:
        batch.append(item)
        if len(batch) == batch_size:
            yield batch
            batch = []
    if batch:
        yield batch
  
with open('large_log_file.txt') as f:
    for batch in batcher(f, 1000):
        # обработка каждого батча
        print(batch) 

Вроде проще паратной пилы, но реально помогает при больших данных.

Избито, конечно, но эта техника работает просто шикарно. Проверено временем!

[2222]

Можно еще использовать более продвинутые способы, например Dask.
Это библиотека для параллельной и распределенной обработки данных.
Достаточно гибкая вещь для больших данных. Почитай про неё.

import dask.dataframe as dd
  
df = dd.read_csv('large_log_file.txt')
result = df.compute()
print(result) 

Таким образом, ты можешь обрабатывать огромные файлы с минимальной загрузкой памяти.

[Стрела]

Можно еще использовать более продвинутые способы, например Dask.
Это библиотека для параллельной и распределенной обработки данных.
Достаточно гибкая вещь для больших данных. Почитай про неё.

import dask.dataframe as dd
  
df = dd.read_csv('large_log_file.txt')
result = df.compute()
print(result) 

Таким образом, ты можешь обрабатывать огромные файлы с минимальной загрузкой памяти.

Dask - это уже профессиональный уровень! Не слышал про эту библиотеку, спасибо за наводку.