首頁技術(shù)文章正文

Django數(shù)據(jù)庫連接的問題

更新時間:2018-11-26 來源:黑馬程序員 瀏覽量:

  多線程運行項目。有N個工作線程從DB中獲取jobs,并把結(jié)果寫回DB。

  項目運行一段時間后,發(fā)現(xiàn)數(shù)據(jù)庫連接耗盡了,幸好內(nèi)存大,然后一直往上調(diào),最后連接數(shù)都上8000多。耗盡連接數(shù)的時候,postgresql 會出現(xiàn)類似這樣的錯誤:

  FATAL: remaining connection slots are reserved for non-replication superuser connections

  大概是這么兩個知識點:

  1.如果是Web項目,在請求結(jié)束的時候,Django會去關(guān)閉掉連接。是的,沒有連接池。

  2.因為我們是非Web項目,所以不存在請求結(jié)束事件,所以一直沒的關(guān)閉連接。但本來這個應(yīng)該也不會造成問題的,因為沒關(guān)閉就一直用唄,但不知道哪里出了問題,會出現(xiàn)連接泄漏,所以連接數(shù)據(jù)會一直增長。

  最后的解決方案是找時機主動關(guān)閉數(shù)據(jù)庫連接,具體到我們項目,就是每次工作線程完成一個任務(wù)后,就把它相關(guān)的連接關(guān)掉,因為我們用的是ThreadPoolExecutor,所以Django很容易做到這一點。

  代碼如下:

  from django.db import connections

  def on_done(future):

  connections.close_all()

  def main():

  with ThreadPoolExecutor() as executor:

  while True:

  future = executor.submit(do, get_a_job())

  future.add_done_callback(on_done)



作者:傳智播人工智能+Python培訓(xùn)學(xué)院

首發(fā): http://python.itheima.com

分享到:
在線咨詢 我要報名
和我們在線交談!