① python的內存管理機制
論壇
活動
招聘
專題
打開CSDN APP
Copyright © 1999-2020, CSDN.NET, All Rights Reserved
登錄
XCCS_澍
關注
Python 的內存管理機制及調優手段？ 原創
2018-08-05 06:50:53
XCCS_澍
碼齡7年
關注
內存管理機制：引用計數、垃圾回收、內存池。
一、引用計數：
引用計數是一種非常高效的內存管理手段， 當一個 Python 對象被引用時其引用計數增加 1， 當其不再被一個變數引用時則計數減 1. 當引用計數等於 0 時對象被刪除。
二、垃圾回收 ：
1. 引用計數
引用計數也是一種垃圾收集機制，而且也是一種最直觀，最簡單的垃圾收集技術。當 Python 的某個對象的引用計數降為 0 時，說明沒有任何引用指向該對象，該對象就成為要被回收的垃圾了。比如某個新建對象，它被分配給某個引用，對象的引用計數變為 1。如果引用被刪除，對象的引用計數為 0，那麼該對象就可以被垃圾回收。不過如果出現循環引用的話，引用計數機制就不再起有效的作用了
2. 標記清除
如果兩個對象的引用計數都為 1，但是僅僅存在他們之間的循環引用，那麼這兩個對象都是需要被回收的，也就是說，它們的引用計數雖然表現為非 0，但實際上有效的引用計數為 0。所以先將循環引用摘掉，就會得出這兩個對象的有效計數。
3. 分代回收
從前面「標記-清除」這樣的垃圾收集機制來看，這種垃圾收集機制所帶來的額外操作實際上與系統中總的內存塊的數量是相關的，當需要回收的內存塊越多時，垃圾檢測帶來的額外操作就越多，而垃圾回收帶來的額外操作就越少；反之，當需回收的內存塊越少時，垃圾檢測就將比垃圾回收帶來更少的額外操作。
② Python性能提升神器！lru_cache的介紹和講解
我們經常談論的緩存一詞，更多的類似於將硬碟中的數據存放到內存中以至於提高讀取速度，比如常說的redis，就經常用來做數據的緩存。 Python的緩存（lru_cache）是一種裝飾在被執行的函數上，將其執行的結果緩存起來，當下次請求的時候，如果請求該函數的傳參未變則直接返回緩存起來的結果而不再執行函數的一種緩存裝飾器。
那它和redis的區別在哪？有什麼優勢？怎麼使用？ 下面為你講解
1.現在我們先不使用緩存來寫一個求兩數之和的函數，並調用執行它兩次：
執行結果
可以看到 test 被執行了兩次，現在我們加上緩存再進行執行：
執行結果
可以看到 test 函數只被執行了一次，第二次的調用直接輸出了結果，使用了緩存起來的值。
2.當我們使用遞歸求斐波拉契數列 （斐波那契數列指的是這樣一個數列：0,1,1,2,3,5,8，它從第3項開始，每一項都等於前兩項之和） 的時候，緩存對性能的提升就尤其明顯了：
不使用緩存求第40項的斐波拉契數列
執行時間
使用緩存求第40項的斐波拉契數列：
執行時間
兩個差距是非常明顯的，因為不使用緩存時，相當於要重復執行了很多的函數，而使用了 lru_cache 則把之前執行的函數結果已經緩存了起來，就不需要再次執行了。
查看lru_cache源碼會發現它可以傳遞兩個參數： maxsize 、 typed ：
代表被lru_cache裝飾的方法最大可緩存的結果數量 （被裝飾方法傳參不同一樣，則結果不一樣；如果傳參一樣則為同一個結果） ， 如果不指定傳參則默認值為128，表示最多緩存128個返回結果，當達到了128個時，有新的結果要保存時，則會刪除最舊的那個結果。如果maxsize傳入為None則表示可以緩存無限個結果；
默認為false，代表不區分數據類型，如果設置為True，則會區分傳參類型進行緩存，官方是這樣描述的:
但在python3.9.8版本下進行測試，typed為false時，按照官方的測試方法測試得到的還是會被當成不同的結果處理，這個時候typed為false還是為true都會區別緩存，這與官方文檔的描述存在差異：
執行結果
但如果是多參數的情況下，則會被當成一個結果：
執行結果
這個時候設置typed為true時，則會區別緩存：
執行結果
當傳參個數大於1時，才符合官方的說法，不清楚是不是官方舉例有誤
當傳遞的參數是dict、list等的可變參數時，lru_cache是不支持的，會報錯：
報錯結果
緩存 緩存位置 是否支持可變參數 是否支持分布式 是否支持過期時間設置 支持的數據結構 需單獨安裝 redis 緩存在redis管理的內存中 是 是 是 支持5種數據結構 是 lru_cache 緩存在應用進程的內存中，應用被關閉則被清空 否 否 否 字典（參數為：key，結果為：value） 否
經過上面的分析，lru_cache 功能相對於redis來說要簡單許多，但使用起來更加方便，適用於小型的單體應用。如果涉及的緩存的數據種類比較多並且想更好的管理緩存、或者需要緩存數據有過期時間（類似登錄驗證的token）等，使用redis是優於lru_cache的。
③ python有緩存模塊嗎
從Python 3.2開始，可以使用functools庫中的裝飾器@lru_cache。這是最近使用過的緩存，所以其中的項目沒有到期時間，但作為快速入侵，它非常有用。
from functools import lru_cache
@lru_cache(maxsize=256)def f(x):
return x*xfor x in range(20):
print f(x)for x in range(20):
print f(x)
④ 如何在python中使用時間限制進行緩存
可以試試裝飾器
defcache(fn=None,time_to_live=3600*24):#oneDAYdefault(orwhatever)
ifnotfn:returnfunctools.partial(cache,time_to_live=time_to_live)
my_cache={}
def_inner_fn(*args,**kwargs)
kws=sorted(kwargs.items())#inpython3.6+youdontneedsorted
key=tuple(args)+tuple(kw)
ifkeynotinmy_cacheortime.time()>my_cache[key]['expires']:
my_cache[key]={"value":fn(*args,**kwargs),"expires":time.time()+time_to_live}
returnmy_cache[key]
return__inner_fn
@cache(time_to_live=3600)#anhour
defmy_sqrt(x):
returnx**0.5@cache(time_to_live=60*30)#30mins
defget_new_emails():
returnmy_stmp.get_email_count()
⑤ 一道Python的題目：實現一個簡易的寫緩存機制。要怎麼寫是哪方面的知識要去看什麼內容
#-*-coding:utf-8-*-
__author__='lpe234'
__date__='2015-04-30'
classMemCache(object):
def__init__(self,limit=3):
self.limit=limit
self.store=[]
defput(self,param=None):
self.store.append(param)
iflen(self.store)>=self.limit:
self._write_db(self.store[:self.limit])
self.store=self.store[self.limit:]
def_write_db(self,param=None):
print'writetodb{0}'.format(param)
if__name__=='__main__':
mem=MemCache(limit=7)
user_input=range(20)
forxinuser_input:
mem.put(x)
C:Python27python.exeD:/00/gui/tmp.py
writetodb[0,1,2,3,4,5,6]
writetodb[7,8,9,10,11,12,13]
Processfinishedwithexitcode0
⑥ python緩存數據除了全局變數
python緩存數據除了全局變數，就是Python將一些值預先歲凱存好，告雀哪當定義一個變數，並給他賦值時，會先匹配這些緩存好的值，如果有匹配的話，就將變數指襪碼向對應的內存。
⑦ python3_原生 LRU 緩存
原生 LRU 緩存（最低 Python 版本為 3.2）
目前，幾猜察乎所有層面上的軟體和硬體中都需要緩存。Python 3 將 LRU（最近最少使用演算法）緩存作為一個名為「lru_cache」的裝飾器，使得對緩存的使用非常簡單。
下面是一個簡單的斐波那契函數，我們知道使用緩存將有助於該函數的計算，因為它會通過遞歸多次執行相同的工遲兆唯作。
現在，我們可以使用「lru_cache」來優化它（這種優化技術被稱為「memoization」）。通過這種碼培優化，我們將執行時間從幾十秒降低到了幾秒。
⑧ 軟體開發模版緩存具體步驟怎麼操作的呢
模板緩存就是把模版內容緩存到指定位置，只要涉及模版都可以設置緩存，
下面以py程序為例：
1.1 在導入搜索期間首先會被檢查的地方是 sys.moles。 這個映射起到緩存之前導入的所有模塊的作用（包括其中間路徑）。 因此如果之前導入過 foo.bar.baz，則 sys.moles 將包含 foo, foo.bar 和 foo.bar.baz 條目。 每個鍵的值就是相應的模塊對象。
在導入期間，會在 sys.moles 查找模塊名稱，如存在則其關聯的值就是需要導入的模塊，導入過程完成。 然而，如果值為 None，則會引發 MoleNotFoundError。 如果找不到指定模塊名稱，Python 將繼續搜索該模塊。
1.2 sys.moles 是可寫的。刪除鍵可能不會破壞關聯的模塊（因為其他模塊可能會保留對它的引用），但它會使命名模塊的緩存條目無效，導致 Python 在下次導入時重新搜索命名模塊。鍵也可以賦值為 None ，強制下一次導入模塊導致 MoleNotFoundError 。
但是要小心，因為如果你還保有對某個模塊對象的引用，同時停用其在 sys.moles 中的緩存條目，然後又再次導入該名稱的模塊，則前後兩個模塊對象將 不是 同一個。 相反地，
1.3 importlib.reload() 將重用 同一個 模塊對象，並簡單地通過重新運行模塊的代碼來重新初始化模塊內容。
1.1 在導入搜索期間首先會被檢查的地方是 sys.moles。 這個映射起到緩存之前導入的所有模塊的作用（包括其中間路徑）。 因此如果之前導入過 foo.bar.baz，則 sys.moles 將包含 foo, foo.bar 和 foo.bar.baz 條目。 每個鍵的值就是相應的模塊對象。
在導入期間，會在 sys.moles 查找模塊名稱，如存在則其關聯的值就是需要導入的模塊，導入過程完成。 然而，如果值為 None，則會引發 MoleNotFoundError。 如果找不到指定模塊名稱，Python 將繼續搜索該模塊。
1.2 sys.moles 是可寫的。刪除鍵可能不會破壞關聯的模塊（因為其他模塊可能會保留對它的引用），但它會使命名模塊的緩存條目無效，導致 Python 在下次導入時重新搜索命名模塊。鍵也可以賦值為 None ，強制下一次導入模塊導致 MoleNotFoundError 。
但是要小心，因為如果你還保有對某個模塊對象的引用，同時停用其在 sys.moles 中的緩存條目，然後又再次導入該名稱的模塊，則前後兩個模塊對象將 不是 同一個。 相反地，
1.3 importlib.reload() 將重用 同一個 模塊對象，並簡單地通過重新運行模塊的代碼來重新初始化模塊內容。
⑨ python串口收包緩存設置
Python的串列通信模塊（serial）支持設置緩沖區大物坦此小，以控制收發數據的位元組罩迅數，因此可以使用該模塊來設置串口收包緩存。您可以使用ser.set_buffer_size（）函數進行信辯設置，第一個參數是緩沖區大小，默認為1KB。
⑩ python 緩存
詳解： https://pythonav.com/wiki/detail/6/88/
一.
1.int 類型的緩存
[-5, 256]的整型閉銀，只要Python解釋器一運行，這些數值就載入到了內存
2.free_list：float、list、touple、dict等都是這種方式
當一個對象引用計數為0時，按理說就應巧碼該被垃圾回收了，但是Python不是這么做的，而是將對象放入到free_list鏈表裡面。這樣，以後再去創建孝態哪該對象時，不會重新開辟內存，而是直接使用free_list裡面的