Django 中的緩存問題

時間  2019-11-14
標籤 django 緩存 問題 欄目 Python 简体版
原文   原文鏈接

Django 中的緩存問題

簡單介紹

​ 在動態網站中,用戶全部的請求,服務器都會去數據庫中進行相應的增,刪,查,改,渲染模板,執行業務邏輯,最後生成用戶看到的頁面.html

​ 當一個網站的用戶訪問量很大的時候,每一次的的後臺操做,都會消耗不少的服務端資源,因此必須使用緩存來減輕後端服務器的壓力.前端

​ 緩存是將一些經常使用的數據保存內存或者memcache中,在必定的時間內有人來訪問這些數據時,則再也不去執行數據庫及渲染等操做,而是直接從內存或memcache的緩存中去取得數據,而後返回給用戶.python

1、Django 中的緩存方式

  • 開發調試緩存
  • 內存緩存
  • 文件緩存
  • 數據庫緩存
  • Memcache緩存(使用python-memcached模塊)
  • Memcache緩存(使用pylibmc模塊)

常用的有文件緩存和Mencache緩存nginx

2、緩存粒度

  • 全棧緩存
  • 單頁面緩存
  • 局部緩存

3、如何使用緩存

3.2.1 開發調試(此模式爲開發調試使用,實際上不執行任何操做)git

settings.py文件配置數據庫

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.dummy.DummyCache',  # 緩存後臺使用的引擎
  'TIMEOUT': 300,            # 緩存超時時間（默認300秒，None表示永不過時，0表示當即過時）
  'OPTIONS':{
   'MAX_ENTRIES': 300,          # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,          # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  },
 }
}

3.2.2 內存緩存(將緩存內容保存至內存區域中)django

settings.py文件配置後端

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',  # 指定緩存使用的引擎
  'LOCATION': 'unique-snowflake',         # 寫在內存中的變量的惟一值 
  'TIMEOUT':300,             # 緩存超時時間(默認爲300秒,None表示永不過時)
  'OPTIONS':{
   'MAX_ENTRIES': 300,           # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,          # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }  
 }
}

3.2.3 文件緩存(把緩存數據存儲在文件中)瀏覽器

settings.py文件配置緩存

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache', #指定緩存使用的引擎
  'LOCATION': '/var/tmp/django_cache',        #指定緩存的路徑
  'TIMEOUT':300,              #緩存超時時間(默認爲300秒,None表示永不過時)
  'OPTIONS':{
   'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,           # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }
 }   
}

3.2.4 數據庫緩存(把緩存數據存儲在數據庫中)

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.db.DatabaseCache',  # 指定緩存使用的引擎
  'LOCATION': 'cache_table',          # 數據庫表    
  'OPTIONS':{
   'MAX_ENTRIES': 300,           # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,          # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }  
 }   
}

注意,建立緩存的數據庫表使用的語句:

python manage.py createcachetable

1.2.5 Memcache緩存(使用python-memcached模塊鏈接memcache)

​ Memcached是Django原生支持的緩存系統.要使用Memcached,須要下載Memcached的支持庫python-memcached或pylibmc.

settings.py文件配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.memcached.MemcachedCache', # 指定緩存使用的引擎
  'LOCATION': '192.168.10.100:11211',         # 指定Memcache緩存服務器的IP地址和端口
  'OPTIONS':{
   'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,           # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }
 }
}

LOCATION 也能夠配置成以下：

'LOCATION': 'unix:/tmp/memcached.sock',   # 指定局域網內的主機名加socket套接字爲Memcache緩存服務器
'LOCATION': [         # 指定一臺或多臺其餘主機ip地址加端口爲Memcache緩存服務器
 '192.168.10.100:11211',
 '192.168.10.101:11211',
 '192.168.10.102:11211',
]

3.2.6 Memcache緩存(使用pylibmc模塊鏈接memcache)

settings.py文件配置
 CACHES = {
  'default': {
   'BACKEND': 'django.core.cache.backends.memcached.PyLibMCCache',  # 指定緩存使用的引擎
   'LOCATION':'192.168.10.100:11211',         # 指定本機的11211端口爲Memcache緩存服務器
   'OPTIONS':{
    'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
    'CULL_FREQUENCY': 3,           # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
   },  
  }
 }

LOCATION也能夠配置成以下:

'LOCATION': '/tmp/memcached.sock',  # 指定某個路徑爲緩存目錄
'LOCATION': [       # 分佈式緩存,在多臺服務器上運行Memcached進程,程序會把多臺服務器看成一個單獨的緩存,而不會在每臺服務器上覆制緩存值
 '192.168.10.100:11211',
 '192.168.10.101:11211',
 '192.168.10.102:11211',
]

Memcached是基於內存的緩存,數據存儲在內存中.因此若是服務器死機的話,數據就會丟失,因此Memcached通常與其餘緩存配合使用

4、Django中緩存的應用

Django提供了不一樣粒度的緩存,能夠緩存某個頁面,能夠只緩存一個頁面的某個部分,甚至能夠緩存整個網站.

數據庫

class Book(models.Model):
    name=models.CharField(max_length=32)
    price=models.DecimalField(max_digits=6,decimal_places=1)

視圖函數

from django.views.decorators.cache import cache_page
import time
from .models import *

@cache_page(15)          #超時時間爲15秒
def index(request):
　　t=time.time()      #獲取當前時間
　　bookList=Book.objects.all()
　　return render(request,"index.html",locals())

模板

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h3>當前時間:-----{{ t }}</h3>

<ul>
    {% for book in bookList %}
       <li>{{ book.name }}--------->{{ book.price }}$</li>
    {% endfor %}
</ul>

</body>
</html>

上面的例子是基於內存的緩存配置,基於文件的緩存該怎麼配置呢??

更改settings.py的配置

CACHES = {
 'default': {
  'BACKEND': 'django.core.cache.backends.filebased.FileBasedCache', # 指定緩存使用的引擎
  'LOCATION': 'E:\django_cache',          # 指定緩存的路徑
  'TIMEOUT': 300,              # 緩存超時時間(默認爲300秒,None表示永不過時)
  'OPTIONS': {
   'MAX_ENTRIES': 300,            # 最大緩存記錄的數量（默認300）
   'CULL_FREQUENCY': 3,           # 緩存到達最大個數以後，剔除緩存個數的比例，即：1/CULL_FREQUENCY（默認3）
  }
 }
}

而後再次刷新瀏覽器,能夠看到在剛纔配置的目錄下生成的緩存文件

經過實驗能夠知道,Django會以本身的形式把緩存文件保存在配置文件中指定的目錄中.

全站使用緩存

​ 既然是全站緩存,固然要使用Django中的中間件.

​ 用戶的請求經過中間件,通過一系列的認證等操做,若是請求的內容在緩存中存在,則使用FetchFromCacheMiddleware獲取內容並返回給用戶

​ 當返回給用戶以前,判斷緩存中是否已經存在,若是不存在,則UpdateCacheMiddleware會將緩存保存至Django的緩存之中,以實現全站緩存

# 緩存整個站點，是最簡單的緩存方法

# 在 MIDDLEWARE_CLASSES 中加入 「update」 和 「fetch」 中間件
MIDDLEWARE_CLASSES = (
    ‘django.middleware.cache.UpdateCacheMiddleware’, #第一
    'django.middleware.common.CommonMiddleware',
    ‘django.middleware.cache.FetchFromCacheMiddleware’, #最後
)
# 「update」 必須配置在第一個
# 「fetch」 必須配置在最後一個

修改settings 中的配置

MIDDLEWARE_CLASSES = (
    'django.middleware.cache.UpdateCacheMiddleware',   #響應HttpResponse中設置幾個headers
    'django.contrib.sessions.middleware.SessionMiddleware',
    'django.middleware.common.CommonMiddleware',
    'django.middleware.csrf.CsrfViewMiddleware',
    'django.contrib.auth.middleware.AuthenticationMiddleware',
    'django.contrib.auth.middleware.SessionAuthenticationMiddleware',
    'django.contrib.messages.middleware.MessageMiddleware',
    'django.middleware.clickjacking.XFrameOptionsMiddleware',
    'django.middleware.security.SecurityMiddleware',
    'django.middleware.cache.FetchFromCacheMiddleware',   #用來緩存經過GET和HEAD方法獲取的狀態碼爲200的響應

)
CACHE_MIDDLEWARE_SECONDS=10
視圖函數：
from django.views.decorators.cache import cache_page
import time
from .models import *


def index(request):

     t=time.time()      #獲取當前時間
     bookList=Book.objects.all()
     return render(request,"index.html",locals())

def foo(request):
    t=time.time()      #獲取當前時間
    return HttpResponse("HELLO:"+str(t))

模板(index.html)：

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
<h3 style="color: green">當前時間:-----{{ t }}</h3>

<ul>
    {% for book in bookList %}
       <li>{{ book.name }}--------->{{ book.price }}$</li>
    {% endfor %}
</ul>

</body>
</html>

4.3局部視圖緩存

例子,刷新頁面時,整個網頁有一部分實現緩存

views視圖函數

from django.views.decorators.cache import cache_page
import time
from .models import *
def index(request):
     t=time.time()      #獲取當前時間
     bookList=Book.objects.all()
     return render(request,"index.html",locals())

模板(index.html):

{% load cache %}
<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
 <h3 style="color: green">不緩存:-----{{ t }}</h3>

{% cache 2 'name' %}
 <h3>緩存:-----:{{ t }}</h3>
{% endcache %}

</body>
</html>

4、如何提升網站的併發量

QPS：

  • 前端處理--（主要是減小請求次數）
    • 使用 CDN （靜態文件放在別人的服務器上面去）
      • CDN的全稱是Content Delivery Network，即內容分發網絡。CDN是構建在網絡之上的內容分發網絡，依靠部署在各地的邊緣服務器，經過中心平臺的負載均衡、內容分發、調度等功能模塊，使用戶就近獲取所需內容，下降網絡擁塞，提升用戶訪問響應速度和命中率。CDN的關鍵技術主要有內容存儲和分發技術。CDN的基本原理是普遍採用各類緩存服務器，將這些緩存服務器分佈到用戶訪問相對集中的地區或網絡中，在用戶訪問網站時，利用全局負載技術將用戶的訪問指向距離最近的工做正常的緩存服務器上，由緩存服務器直接響應用戶請求。
      • 圖片防盜鏈--前端的 請求頭 refer 信息（顯示前一個網站）
        • 能夠挺過refer 控制
        • Nginx 處理
    • 精靈圖(拼圖，屢次請求變成一次請求)
    • 頁面本地緩存
  • 後端：
    • nginx 擋在WSGI以前-nginx 的負載均衡 後臺服務作集羣部署
      • 反向代理
      • 正向代理
    • 進入到中間件事後 -----後臺緩存 在 process_request 裏面寫
      • ---設置緩存的超時時間，保持緩存數據更新一致性的問題
    • 數據庫的主從同步
    • 數據庫的讀寫分離（用的比較多）
    • 異步處理（celery：分佈式的異步任務框架）
    • 用性能高的語言去處理併發高的語言

TPS

反向代理

  • 在計算機網絡中，反向代理是代理服務器的一種。服務器根據客戶端的請求，從其關聯的一組或多組後端服務器上獲取資源，而後再將這些資源返回給客戶端，客戶端只會得知反向代理的IP地址，而不知道在代理服務器後面的服務器簇的存在[1]。

    與前向代理不一樣，前向代理做爲客戶端的代理，將從互聯網上獲取的資源返回給一個或多個的客戶端，服務端（如Web服務器）只知道代理的IP地址而不知道客戶端的IP地址；而反向代理是做爲服務器端（如Web服務器）的代理使用，而不是客戶端。客戶端藉由前向代理能夠間接訪問不少不一樣互聯網服務器（簇）的資源，而反向代理是供不少客戶端都經過它間接訪問不一樣後端服務器上的資源，而不須要知道這些後端服務器的存在，而覺得全部資源都來自於這個反向代理服務器。

正向代理

  • 正向代理:是一個位於客戶端和原始服務器(origin server)之間的服務器，爲了從原始服務器取得內容，客戶端向代理髮送一個請求並指定目標(原始服務器)，而後代理向原始服務器轉交請求並將得到的內容返回給客戶端。客戶端才能使用正向代理。

集羣和分佈式

負載均衡

  • 負載均衡創建在現有網絡結構之上，它提供了一種廉價有效透明的方法擴展網絡設備和服務器的帶寬、增長吞吐量、增強網絡數據處理能力、提升網絡的靈活性和可用性。
  • 負載均衡（Load Balance）其意思就是分攤到多個操做單元上進行執行，例如Web服務器、FTP服務器、企業關鍵應用服務器和其它關鍵任務服務器等，從而共同完成工做任務。

輪詢：

  • 輪詢（Polling）是一種CPU決策如何提供周邊設備服務的方式，又稱「程控輸入輸出」（Programmed I/O）。輪詢法的概念是：由CPU定時發出詢問，依序詢問每個周邊設備是否須要其服務，有即給予服務，服務結束後再問下一個周邊，接着不斷周而復始。
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程