你清楚如何用memory_profiler分析代码每行的内存占用吗

访客性能优化 2026-06-05 10:16:23 1

本文目录导读：

安装
基本使用方法
高级用法
实用技巧
注意事项
最佳实践场景

是的，memory_profiler 是一个非常实用的 Python 内存分析工具,下面是使用它的完整指南：

安装

pip install memory_profiler
pip install psutil  # 可选，提供更好的性能

基本使用方法

方法1：使用装饰器分析函数

from memory_profiler import profile
@profile
def my_function():
    a = [1] * (10 ** 6)  # 创建一个大列表
    b = [2] * (2 * 10 ** 7)  # 创建更大的列表
    del b  # 删除b
    c = [3] * (3 * 10 ** 6)  # 再创建一个大列表
    return a
if __name__ == '__main__':
    my_function()

运行命令：

python -m memory_profiler your_script.py

输出示例：

Line #    Mem usage    Increment  Occurrences   Line Contents
=============================================================
     3     38.3 MiB     38.3 MiB           1   @profile
     4                                         def my_function():
     5     46.0 MiB      7.7 MiB           1       a = [1] * (10 ** 6)
     6    198.7 MiB    152.7 MiB           1       b = [2] * (2 * 10 ** 7)
     7    198.7 MiB      0.0 MiB           1       del b
     8    221.5 MiB     22.8 MiB           1       c = [3] * (3 * 10 ** 6)
     9    221.5 MiB      0.0 MiB           1       return a

方法2：逐行分析（使用 `%memit` 和 `%mprun`）

在 IPython 或 Jupyter Notebook 中使用：

%load_ext memory_profiler
# 单行分析
%memit sum(range(1000000))
# 函数逐行分析
def my_function():
    a = [1] * (10 ** 6)
    b = [2] * (2 * 10 ** 7)
    del b
    c = [3] * (3 * 10 ** 6)
    return a
%mprun -f my_function my_function()

方法3：使用 `memory_usage` 函数

from memory_profiler import memory_usage
import time
def my_function():
    # 模拟执行代码
    result = sum(range(1000000))
    time.sleep(1)
    return result
# 监控函数执行过程中的内存使用
mem_usage = memory_usage(my_function, interval=0.1, timeout=None)
print(f"最大内存使用: {max(mem_usage):.2f} MiB")
print(f"最小内存使用: {min(mem_usage):.2f} MiB")

高级用法

分析特定代码块

from memory_profiler import profile
# 只分析特定的代码段
def process_data():
    # 不分析的代码
    data = list(range(1000))
    # 分析的代码
    with profile:
        large_list = [i * 2 for i in range(10 ** 6)]
        processed = [x for x in large_list if x % 2 == 0]
    return processed
# 或者使用上下文管理器
from memory_profiler import memory_usage
def analyze_section():
    start_mem = memory_usage()[0]
    # 要分析的代码
    big_data = [i ** 2 for i in range(10 ** 6)]
    end_mem = memory_usage()[0]
    print(f"内存增加: {end_mem - start_mem:.2f} MiB")

自定义输出精度

@profile(precision=4)  # 设置小数点后4位
def my_function():
    a = [1] * (10 ** 6)
    return a
my_function()

实用技巧

生成内存使用图表

from memory_profiler import memory_usage
import matplotlib.pyplot as plt
def memory_intensive():
    # 你的代码
    result = []
    for i in range(100):
        result.append([0] * (10 ** 5))
    return result
mem_usage = memory_usage(memory_intensive, interval=0.1)
plt.plot(mem_usage)
plt.xlabel('Time (0.1s intervals)')
plt.ylabel('Memory (MiB)')'Memory Usage Over Time')
plt.grid(True)
plt.show()

比较不同实现的内存效率

from memory_profiler import profile
@profile
def method1(n):
    return [i ** 2 for i in range(n)]
@profile
def method2(n):
    return list(map(lambda x: x ** 2, range(n)))
@profile
def method3(n):
    result = []
    for i in range(n):
        result.append(i ** 2)
    return result
# 比较不同方法
n = 10 ** 6
method1(n)
method2(n)
method3(n)