① python的内存管理机制
论坛
活动
招聘
专题
打开CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登录
XCCS_澍
关注
Python 的内存管理机制及调优手段？ 原创
2018-08-05 06:50:53
XCCS_澍
码龄7年
关注
内存管理机制：引用计数、垃圾回收、内存池。
一、引用计数：
引用计数是一种非常高效的内存管理手段， 当一个 Python 对象被引用时其引用计数增加 1， 当其不再被一个变量引用时则计数减 1. 当引用计数等于 0 时对象被删除。
二、垃圾回收 ：
1. 引用计数
引用计数也是一种垃圾收集机制，而且也是一种最直观，最简单的垃圾收集技术。当 Python 的某个对象的引用计数降为 0 时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了。比如某个新建对象，它被分配给某个引用，对象的引用计数变为 1。如果引用被删除，对象的引用计数为 0，那么该对象就可以被垃圾回收。不过如果出现循环引用的话，引用计数机制就不再起有效的作用了
2. 标记清除
如果两个对象的引用计数都为 1，但是仅仅存在他们之间的循环引用，那么这两个对象都是需要被回收的，也就是说，它们的引用计数虽然表现为非 0，但实际上有效的引用计数为 0。所以先将循环引用摘掉，就会得出这两个对象的有效计数。
3. 分代回收
从前面“标记-清除”这样的垃圾收集机制来看，这种垃圾收集机制所带来的额外操作实际上与系统中总的内存块的数量是相关的，当需要回收的内存块越多时，垃圾检测带来的额外操作就越多，而垃圾回收带来的额外操作就越少；反之，当需回收的内存块越少时，垃圾检测就将比垃圾回收带来更少的额外操作。
② Python性能提升神器！lru_cache的介绍和讲解
我们经常谈论的缓存一词，更多的类似于将硬盘中的数据存放到内存中以至于提高读取速度，比如常说的redis，就经常用来做数据的缓存。 Python的缓存（lru_cache）是一种装饰在被执行的函数上，将其执行的结果缓存起来，当下次请求的时候，如果请求该函数的传参未变则直接返回缓存起来的结果而不再执行函数的一种缓存装饰器。
那它和redis的区别在哪？有什么优势？怎么使用？ 下面为你讲解
1.现在我们先不使用缓存来写一个求两数之和的函数，并调用执行它两次：
执行结果
可以看到 test 被执行了两次，现在我们加上缓存再进行执行：
执行结果
可以看到 test 函数只被执行了一次，第二次的调用直接输出了结果，使用了缓存起来的值。
2.当我们使用递归求斐波拉契数列 （斐波那契数列指的是这样一个数列：0,1,1,2,3,5,8，它从第3项开始，每一项都等于前两项之和） 的时候，缓存对性能的提升就尤其明显了：
不使用缓存求第40项的斐波拉契数列
执行时间
使用缓存求第40项的斐波拉契数列：
执行时间
两个差距是非常明显的，因为不使用缓存时，相当于要重复执行了很多的函数，而使用了 lru_cache 则把之前执行的函数结果已经缓存了起来，就不需要再次执行了。
查看lru_cache源码会发现它可以传递两个参数： maxsize 、 typed ：
代表被lru_cache装饰的方法最大可缓存的结果数量 （被装饰方法传参不同一样，则结果不一样；如果传参一样则为同一个结果） ， 如果不指定传参则默认值为128，表示最多缓存128个返回结果，当达到了128个时，有新的结果要保存时，则会删除最旧的那个结果。如果maxsize传入为None则表示可以缓存无限个结果；
默认为false，代表不区分数据类型，如果设置为True，则会区分传参类型进行缓存，官方是这样描述的:
但在python3.9.8版本下进行测试，typed为false时，按照官方的测试方法测试得到的还是会被当成不同的结果处理，这个时候typed为false还是为true都会区别缓存，这与官方文档的描述存在差异：
执行结果
但如果是多参数的情况下，则会被当成一个结果：
执行结果
这个时候设置typed为true时，则会区别缓存：
执行结果
当传参个数大于1时，才符合官方的说法，不清楚是不是官方举例有误
当传递的参数是dict、list等的可变参数时，lru_cache是不支持的，会报错：
报错结果
缓存 缓存位置 是否支持可变参数 是否支持分布式 是否支持过期时间设置 支持的数据结构 需单独安装 redis 缓存在redis管理的内存中 是 是 是 支持5种数据结构 是 lru_cache 缓存在应用进程的内存中，应用被关闭则被清空 否 否 否 字典（参数为：key，结果为：value） 否
经过上面的分析，lru_cache 功能相对于redis来说要简单许多，但使用起来更加方便，适用于小型的单体应用。如果涉及的缓存的数据种类比较多并且想更好的管理缓存、或者需要缓存数据有过期时间（类似登录验证的token）等，使用redis是优于lru_cache的。
③ python有缓存模块吗
从Python 3.2开始，可以使用functools库中的装饰器@lru_cache。这是最近使用过的缓存，所以其中的项目没有到期时间，但作为快速入侵，它非常有用。
from functools import lru_cache
@lru_cache(maxsize=256)def f(x):
return x*xfor x in range(20):
print f(x)for x in range(20):
print f(x)
④ 如何在python中使用时间限制进行缓存
可以试试装饰器
defcache(fn=None,time_to_live=3600*24):#oneDAYdefault(orwhatever)
ifnotfn:returnfunctools.partial(cache,time_to_live=time_to_live)
my_cache={}
def_inner_fn(*args,**kwargs)
kws=sorted(kwargs.items())#inpython3.6+youdontneedsorted
key=tuple(args)+tuple(kw)
ifkeynotinmy_cacheortime.time()>my_cache[key]['expires']:
my_cache[key]={"value":fn(*args,**kwargs),"expires":time.time()+time_to_live}
returnmy_cache[key]
return__inner_fn
@cache(time_to_live=3600)#anhour
defmy_sqrt(x):
returnx**0.5@cache(time_to_live=60*30)#30mins
defget_new_emails():
returnmy_stmp.get_email_count()
⑤ 一道Python的题目：实现一个简易的写缓存机制。要怎么写是哪方面的知识要去看什么内容
#-*-coding:utf-8-*-
__author__='lpe234'
__date__='2015-04-30'
classMemCache(object):
def__init__(self,limit=3):
self.limit=limit
self.store=[]
defput(self,param=None):
self.store.append(param)
iflen(self.store)>=self.limit:
self._write_db(self.store[:self.limit])
self.store=self.store[self.limit:]
def_write_db(self,param=None):
print'writetodb{0}'.format(param)
if__name__=='__main__':
mem=MemCache(limit=7)
user_input=range(20)
forxinuser_input:
mem.put(x)
C:Python27python.exeD:/00/gui/tmp.py
writetodb[0,1,2,3,4,5,6]
writetodb[7,8,9,10,11,12,13]
Processfinishedwithexitcode0
⑥ python缓存数据除了全局变量
python缓存数据除了全局变量，就是Python将一些值预先岁凯存好，告雀哪当定义一个变量，并给他赋值时，会先匹配这些缓存好的值，如果有匹配的话，就将变量指袜码向对应的内存。
⑦ python3_原生 LRU 缓存
原生 LRU 缓存（最低 Python 版本为 3.2）
目前，几猜察乎所有层面上的软件和硬件中都需要缓存。Python 3 将 LRU（最近最少使用算法）缓存作为一个名为“lru_cache”的装饰器，使得对缓存的使用非常简单。
下面是一个简单的斐波那契函数，我们知道使用缓存将有助于该函数的计算，因为它会通过递归多次执行相同的工迟兆唯作。
现在，我们可以使用“lru_cache”来优化它（这种优化技术被称为“memoization”）。通过这种码培优化，我们将执行时间从几十秒降低到了几秒。
⑧ 软件开发模版缓存具体步骤怎么操作的呢
模板缓存就是把模版内容缓存到指定位置，只要涉及模版都可以设置缓存，
下面以py程序为例：
1.1 在导入搜索期间首先会被检查的地方是 sys.moles。 这个映射起到缓存之前导入的所有模块的作用（包括其中间路径）。 因此如果之前导入过 foo.bar.baz，则 sys.moles 将包含 foo, foo.bar 和 foo.bar.baz 条目。 每个键的值就是相应的模块对象。
在导入期间，会在 sys.moles 查找模块名称，如存在则其关联的值就是需要导入的模块，导入过程完成。 然而，如果值为 None，则会引发 MoleNotFoundError。 如果找不到指定模块名称，Python 将继续搜索该模块。
1.2 sys.moles 是可写的。删除键可能不会破坏关联的模块（因为其他模块可能会保留对它的引用），但它会使命名模块的缓存条目无效，导致 Python 在下次导入时重新搜索命名模块。键也可以赋值为 None ，强制下一次导入模块导致 MoleNotFoundError 。
但是要小心，因为如果你还保有对某个模块对象的引用，同时停用其在 sys.moles 中的缓存条目，然后又再次导入该名称的模块，则前后两个模块对象将 不是 同一个。 相反地，
1.3 importlib.reload() 将重用 同一个 模块对象，并简单地通过重新运行模块的代码来重新初始化模块内容。
1.1 在导入搜索期间首先会被检查的地方是 sys.moles。 这个映射起到缓存之前导入的所有模块的作用（包括其中间路径）。 因此如果之前导入过 foo.bar.baz，则 sys.moles 将包含 foo, foo.bar 和 foo.bar.baz 条目。 每个键的值就是相应的模块对象。
在导入期间，会在 sys.moles 查找模块名称，如存在则其关联的值就是需要导入的模块，导入过程完成。 然而，如果值为 None，则会引发 MoleNotFoundError。 如果找不到指定模块名称，Python 将继续搜索该模块。
1.2 sys.moles 是可写的。删除键可能不会破坏关联的模块（因为其他模块可能会保留对它的引用），但它会使命名模块的缓存条目无效，导致 Python 在下次导入时重新搜索命名模块。键也可以赋值为 None ，强制下一次导入模块导致 MoleNotFoundError 。
但是要小心，因为如果你还保有对某个模块对象的引用，同时停用其在 sys.moles 中的缓存条目，然后又再次导入该名称的模块，则前后两个模块对象将 不是 同一个。 相反地，
1.3 importlib.reload() 将重用 同一个 模块对象，并简单地通过重新运行模块的代码来重新初始化模块内容。
⑨ python串口收包缓存设置
Python的串行通信模块（serial）支持设置缓冲区大物坦此小，以控制收发数据的字节罩迅数，因此可以使用该模块来设置串口收包缓存。您可以使用ser.set_buffer_size（）函数进行信辩设置，第一个参数是缓冲区大小，默认为1KB。
⑩ python 缓存
详解： https://pythonav.com/wiki/detail/6/88/
一.
1.int 类型的缓存
[-5, 256]的整型闭银，只要Python解释器一运行，这些数值就加载到了内存
2.free_list：float、list、touple、dict等都是这种方式
当一个对象引用计数为0时，按理说就应巧码该被垃圾回收了，但是Python不是这么做的，而是将对象放入到free_list链表里面。这样，以后再去创建孝态哪该对象时，不会重新开辟内存，而是直接使用free_list里面的