PHP解決網站大數據大流量與高併發

1：硬件方面

普通的一個p4的服務器天天最多能支持大約10萬左右的IP，若是訪問量超過10W那麼須要專用的服務器才能解決，若是硬件不給力 軟件怎麼優化都是於事無補的。主要影響服務器的速度有：網絡-硬盤讀寫速度-內存大小-cpu處理速度。

2：軟件方面

第一個要說的就是數據庫，

首先要有一個很好的架構，查詢儘可能不用* 避免相關子查詢 給常常查詢的添加索引 用排序來取代非順序存取，若是條件容許 ，通常MySQL服務器最好安裝

在Linux操做系統中 。關於apache和nginx在高併發的狀況下推薦使用nginx，ginx是Apache服務器不錯的替代品。nginx內存消耗少 官方測試可以支撐5萬併發鏈接，在實際生產環境中跑到2～3萬併發鏈接數。php方面不須要的模塊儘可能關閉，使用memcached，Memcached 是一個高性能的分佈式內存對象緩存系統，不使用數據庫直接從內存當中調數據，這樣大大提高了速度，iiS或Apache啓用GZIP壓縮優化網站，壓縮網站內容大大節省網站流量。

第二，禁止外部的盜鏈。

外部網站的圖片或者文件盜鏈每每會帶來大量的負載壓力，所以應該嚴格限制外部對 於自身的圖片或者文件盜鏈，好在目前能夠簡單地經過refer來控制盜鏈，Apache自 己就能夠經過配置來禁止盜鏈，IIS也有一些第三方的ISAPI能夠實現一樣的功能。當 然，僞造refer也能夠經過代碼來實現盜鏈，不過目前蓄意僞造refer盜鏈的還很少， 能夠先不去考慮，或者使用非技術手段來解決，好比在圖片上增長水印。

第三，控制大文件的下載。

大文件的下載會佔用很大的流量，而且對於非SCSI硬盤來講，大量文件下載會消耗 CPU，使得網站響應能力降低。所以，儘可能不要提供超過2M的大文件下載，若是須要 提供，建議將大文件放在另一臺服務器上。 _ 第四，使用不一樣主機分流主要流量_

將文件放在不一樣的主機上，提供不一樣的鏡像供用戶下載。好比若是以爲RSS文件佔用 流量大，那麼使用FeedBurner或者FeedSky等服務將RSS輸出放在其餘主機上，這 樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不佔用太多資源了 _ 第五，使用不一樣主機分流主要流量_

將文件放在不一樣的主機上，提供不一樣的鏡像供用戶下載。好比若是以爲RSS文件佔用流量大，那麼使用FeedBurner或者FeedSky等服務將RSS輸出放在其餘主機上，這樣別人訪問的流量壓力就大多集中在FeedBurner的主機上，RSS就不佔用太多資源了。 _ 第六，使用流量分析統計軟件。_

在網站上安裝一個流量分析統計軟件，能夠即時知道哪些地方耗費了大量流量，哪些頁面須要再進行優化，所以，解決流量問題還須要進行精確的統計分析才能夠。好比：Google Analytics（Google分析）。 高併發和高負載的約束條件：硬件、部署、操做系統、Web 服務器、PHP、MySQL、測試

部署：服務器分離、數據庫集羣和庫表散列、鏡像、負載均衡

負載均衡分類： 1)、DNS輪循 2）代理服務器負載均衡 3）地址轉換網關負載均衡 4）NAT負載均衡 5）反向代理負載均衡 6）混合型負載均衡

部署方案1：

適用範圍：靜態內容爲主體的網站和應用系統；對系統安全要求較高的網站和應用系統。

Main Server：主服務器

承載程序的主體運行壓力，處理網站或應用系統中的動態請求；

將靜態頁面推送至多個發佈服務器；

將附件文件推送至文件服務器；

安全要求較高，以靜態爲主的網站，可將服務器置於內網屏蔽外網的訪問。

DB Server：數據庫服務器

承載數據庫讀寫壓力；

只與主服務器進行數據量交換，屏蔽外網訪問。

File/Video Server：文件/視頻服務器

承載系統中佔用系統資源和帶寬資源較大的數據流；

做爲大附件的存儲和讀寫倉庫；

做爲視頻服務器將具有視頻自動處理能力。

發佈服務器組：

只負責靜態頁面的發佈，承載絕大多數的Web請求；

經過Nginx進行負載均衡部署。

部署方案2：

適用範圍：以動態交互內容爲主體的網站或應用系統；負載壓力較大，且預算比較充足的網站或應用系統；

Web服務器組：

Web服務無主從關係，屬平行冗餘設計；

經過前端負載均衡設備或Nginx反向代理實現負載均衡；

劃分專用文件服務器/視頻服務器有效分離輕/重總線；

每臺Web服務器可經過DEC可實現鏈接全部數據庫，同時劃分主從。

數據庫服務器組：

相對均衡的承載數據庫讀寫壓力；

經過數據庫物理文件的映射實現多數據庫的數據同步。

共享磁盤/磁盤陣列

將用於數據物理文件的統一讀寫

用於大型附件的存儲倉庫 經過自身物理磁盤的均衡和冗餘，確保總體系統的IO效率和數據安全；

方案特性：

經過前端負載均衡，合理分配Web壓力；

經過文件/視頻服務器與常規Web服務器的分離，合理分配輕重數據流；

經過數據庫服務器組，合理分配數據庫IO壓力；

每臺Web服務器一般只鏈接一臺數據庫服務器，經過DEC的心跳檢測，可在極短期內自動切換至冗餘數據庫服務器；

磁盤陣列的引入，大幅提高系統IO效率的同時，極大加強了數據安全性。

Web服務器：

Web服務器很大一部分資源佔用來自於處理Web請求，一般狀況下這也就是Apache產生的壓力，在高併發鏈接的狀況下，Nginx是Apache服務器不錯的替代品。Nginx (「engine x」) 是俄羅斯人編寫的一款高性能的 HTTP 和反向代理服務器。在國內，已經有新浪、搜狐通行證、網易新聞、網易博客、金山逍遙網、金山愛詞霸、校內網、YUPOO相冊、豆瓣、迅雷看看等多家網站、 頻道使用 Nginx 服務器。

Nginx的優點：

高併發鏈接：官方測試可以支撐5萬併發鏈接，在實際生產環境中跑到2～3萬併發鏈接數。

內存消耗少：在3萬併發鏈接下，開啓的10個Nginx 進程才消耗150M內存（15M*10=150M）。

內置的健康檢查功能：若是 Nginx Proxy 後端的某臺 Web 服務器宕機了，不會影響前端訪問。

策略：相對於老牌的Apache，咱們選擇Lighttpd和Nginx這些具備更小的資源佔用率和更高的負載能力的web服務器。

Mysql：

MySQL自己具有了很強的負載能力，MySQL優化是一項很複雜的工做，由於這最終須要對系統優化的很好理解。你們都知道數據庫工做就是大量的、 短時的查詢和讀寫，除了程序開發時須要注意創建索引、提升查詢效率等軟件開發技巧以外，從硬件設施的角度影響MySQL執行效率最主要來自於磁盤搜索、磁盤IO水平、CPU週期、內存帶寬。

　　根據服務器上的硬件和軟件條件進行MySQl優化。MySQL優化的核心在於系統資源的分配，這不等於無限制的給MySQL分配更多的資源。在MySQL配置文件中咱們介紹幾個最值得關注的參數：

改變索引緩衝區長度(key_buffer)

改變表長(read_buffer_size)

設定打開表的數目的最大值(table_cache)

對緩長查詢設定一個時間限制(long_query_time)

若是條件容許 ，通常MySQL服務器最好安裝在Linux操做系統中，而不是安裝在FreeBSD中。

策略： MySQL優化須要根據業務系統的數據庫讀寫特性和服務器硬件配置，制定不一樣的優化方案，而且能夠根據須要部署MySQL的主從結構。

PHP：

一、加載儘量少的模塊；

二、若是是在windows平臺下，儘量使用IIS或者Nginx來替代咱們日常用的Apache；

三、安裝加速器（都是經過緩存php代碼預編譯的結果和數據庫結果來提升php代碼的執行速度） eAccelerator，eAccelerator是一個自由開放源碼php加速器，優化和動態內容緩存，提升了性能php腳本的緩存性能，使得PHP腳本在編譯的狀態下，對服務器的開銷幾乎徹底消除。

Apc：Alternative PHP Cache（APC）是 PHP 的一個免費公開的優化代碼緩存。它用來提供免費，公開而且強健的架構來緩存和優化 PHP 的中間代碼。

memcache：memcache是由Danga Interactive開發的，高性能的，分佈式的內存對象緩存系統，用於在動態應用中減小數據庫負載，提高訪問速度。主要機制是經過在內存裏維護一個統 一的巨大的hash表，Memcache可以用來存儲各類格式的數據，包括圖像、視頻、文件以及數據庫檢索的結果等

Xcache：國人開發的緩存器，

策略： 爲PHP安裝加速器。

代理服務器（緩存服務器）：

Squid Cache（簡稱爲Squid）是一個流行的自由軟件（GNU通用公共許可證）的代理服務器和Web緩存服務器。Squid有普遍的用途，從做爲網頁服務器的前置cache服務器緩存相關請求來提升Web服務器的速度，到爲一組人共享網絡資源而緩存萬維網，域名系統和其餘網絡搜索，到經過過濾流量幫助網絡安全，到局域網經過代理網。Squid主要設計用於在Unix一類系統運行。

策略：安裝Squid 反向代理服務器，可以大幅度提升服務器效率。

壓力測試：壓力測試是一種基本的質量保證行爲，它是每一個重要軟件測試工做的一部分。

壓力測試的基本思路很簡單：不是在常規條件下運行手動或自動測試，而是在計算機數量較少或系統資源匱乏的條件下運行測試。一般要進行壓力測試的資源包括內部內存、CPU 可用性、磁盤空間和網絡帶寬等。通常用併發來作壓力測試。

壓力測試工具：webbench，ApacheBench等

漏洞測試：在咱們的系統中漏洞主要包括：sql注入漏洞，xss跨站腳本攻擊等。安全方面還包括系統軟件，如操做系統漏洞，mysql、apache等的漏洞，通常能夠經過升級來解決。

漏洞測試工具：Acunetix Web Vulnerability Scanner

No related content found.