⑴ apache 這個軟體是幹嘛用
Apache是一個歷史悠久並且功能十分強大的WEB伺服器,但其豐富的功能對於一個新手來說往往不知道從何下手。我個人感覺Apache的設計充分體現了模塊化設計的優勢,通過在動態模塊載入(DSO)模式下的安裝,任何子應用模塊都可以通過配置文件的簡單修改進行積木式的靈活配置。安裝的過程可以從簡單的靜態html服務開始,一個模塊一個模塊的學習使用。從單純的HTML靜態服務(core),到復雜的動態頁面服務(core + php, core + resin, core + php + mod_gzip, core + resin + mod_expire)。
本文主要從簡化安裝==>性能調優==>維護方便的角度,介紹了WEB服務的規劃、HTTPD安裝/應用模塊配置、升級/維護等過程。讓Apache和PHP,Resin等應用模塊的獨立升級,完全互不影響。
WEB應用容量規劃:根據硬體配置和WEB應用的特點進行WEB服務的規劃及一些簡單的估算公式;
Apache安裝過程:apache的通用的簡化安裝選項,方便以後的應用的模塊化配置;
修改 HARD_SERVER_LIMIT:
vi /path/to/apache_src/src/include/httpd.h
#define HARD_SERVER_LIMIT 2560 <===將原來的 HARD_SERVER_LIMIT 256 後面加個「0」
apache編譯:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
可選應用模塊/工具的安裝:php resin mod_gzip mod_expire及各個模塊之間的配合;
mod_php安裝:./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
mod_resin安裝:./configure --with-apxs=/home/apache/bin/apxs
mod_gzip安裝:修改Makefile中的 apxs路徑:然後make make install
工具:日誌輪循工具cronolog安裝:http://www.cronolog.org
升級/維護:看看通用和模塊化的安裝過程如何簡化了日常的升級/維護工作;
按照以上的方法:系統管理員和應用管理員的職責可以清楚的分開,互相獨立。
系統安裝:系統管理員的職責就是安裝好一台DSO模式的Apache,然後COLON即可,
應用安裝:由應用管理員負責具體應用所需要的模塊,比如PHP Resin等,並設置httpd.conf中相關的配置。
系統升級:系統管理員:升級操作系統/升級Apache
應用升級:應用管理員:升級應用模塊,PHP Resin等。
WEB應用的容量規劃
Apache主要是一個內存消耗型的服務應用,我個人總結的經驗公式:
apache_max_process_with_good_perfermance < (total_hardware_memory / apache_memory_per_process ) * 2
apache_max_process = apache_max_process_with_good_perfermance * 1.5
為什麼會有一個apache_max_process_with_good_perfermance和apache_max_process呢?原因是在低負載下系統可以使用更多的內存用於文件系統的緩存,從而進一步提高單個請求的響應速度。在高負載下,系統的單個請求響應速度會慢不少,而超過 apache_max_process,系統會因為開始使用硬碟做虛擬內存交換空間而導致系統效率急劇下降。此外,同樣的服務:2G內存的機器的 apache_max_process一般只設置到1G內存的1.7倍,因為Apache本身會因為進程過多導致性能下降。
例子1:
一個apache + mod_php的伺服器:一個apache進程一般需要4M內存
因此在一個1G內存的機器上:apache_max_process_with_good_perfermance < (1g / 4m) * 2 = 500
apache_max_process = 500 * 1.5 = 750
所以規劃你的應用讓服務盡量跑在500個進程以下以保持比較高的效率,並設置Apache的軟上限在800個。
例子2:
一個apache + mod_resin的伺服器: 一個apache進程一般需要2M內存
在一個2G內存的機器上:
apache_max_process_with_good_perfermance < (2g / 2m ) * 2 = 2000
apache_max_process = 2000 * 1.5 = 3000
以上估算都是按小文件服務估算的(一個請求一般大小在20k以下)。對於文件下載類型站點,可能還會受其他因素:比如帶寬等的影響。
Apache安裝過程
伺服器個數的硬上限HARD_SERVER_LIMIT的修改:
在Apache的源代碼中預設的最大進程數是256個,需要修改apache_1.3.xx/src/include/httpd.h
#ifndef HARD_SERVER_LIMIT
#ifdef WIN32
#define HARD_SERVER_LIMIT 1024
#elif defined(NETWARE)
#define HARD_SERVER_LIMIT 2048
#else
#define HARD_SERVER_LIMIT 2560 <===將原來的HARD_SERVER_LIMIT 256 後面加個「0」
#endif
#endif
解釋:
Apache預設的最大用戶數是256個:這個配置對於伺服器內存還是256M左右的時代是一個非常好的預設設置,但隨著內存成本的急劇下降,現在大型站點的伺服器內存配置一般比當時要高一個數量級不止。所以256個進程的硬限制對於一台1G內存的機器來說是太浪費了,而且Apache的軟上限 max_client是受限於HARD_SERVER_LIMIT的,因此如果WEB伺服器內存大於256M,都應該調高Apache的 HARD_SERVER_LIMIT。根據個人的經驗:2560已經可以滿足大部分小於2G內存的伺服器的容量規劃了(Apache的軟上限的規劃請看後面)。
Apache的編譯:以下通用的編譯選項能滿足以後任意模塊的安裝
./configure --prefix=/another_driver/apache/ --enable-shared=max --enable-mole=most
比如:
./configure --prefix=/home/apache/ --enable-shared=max --enable-mole=most
解釋:
--prefix=/another_driver/apache/:建議將apache服務安裝在另外一個驅動設備上的目的在於硬碟往往是一個系統使用壽命最低的設備,因此:將服務數據和系統完全分開,不僅能提高了數據的訪問速度,更重要的,大大方便系統升級,應用備份和恢復過程。
--shared-mole=max:使用動態載入方式載入子模塊會帶來5%的性能下降,但和帶來的配置方便相比更本不算什麼:比如模塊升級方便,系統升級風險降低,安裝過程標准化等
--enable-mole=most:用most可以將一些不常用的mole編譯進來,比如後面講到的mod_expire是就不在 apache的預設常用模塊中
如果不想build so, 也可以這樣:
./configure \
"--with-layout=Apache" \
"--prefix=/path/to/apache" \
"--disable-mole=access" \
"--disable-mole=actions" \
"--disable-mole=autoindex" \
"--disable-mole=env" \
"--disable-mole=imap" \
"--disable-mole=negotiation" \
"--disable-mole=setenvif" \
"--disable-mole=status" \
"--disable-mole=userdir" \
"--disable-mole=cgi" \
"--disable-mole=include" \
"--disable-mole=auth" \
"--disable-mole=asis"
但結果會發現,這樣編譯對服務性能只能有微小的提高(5%左右),但卻失去了以後系統升級和模塊升級的靈活性,無論是模塊還是Apache本身升級都必須把Apache和PHP的SOURCE加在一起重新編譯。
apache的預設配置文件一般比較大:可以使用去掉注釋的方法精簡一下:然後再進入具體的培植過程能讓你更快的定製出你所需要的。
grep -v "#" httpd.conf.default >httpd.conf
需要修改的通用項目有以下幾個:
#服務埠,預設是8080,建議將整個Apache配置調整好後再將服務埠改到正式服務的埠
Port 8080 => 80
#伺服器名:預設沒有
ServerName name.example.com
#最大服務進程數:根據服務容量預測設置
MaxClients 256 => 800
#預設啟動服務後的服務進程數:等服務比較平穩後,按平均負載下的httpd個數設置就可以
StartServers 5 => 200
不要修改:
以前有建議說修改:
MinSpareServers 5 => 100
MaxSpareServers 10 => 200
但從我的經驗看來:預設值已經是非常優化的了,而且讓Apache自己調整子共享進程個數還是比較好的。
特別修改:
在solaris或一些比較容易出現內存泄露的應用上:
MaxRequestsPerChild 0 =>3000
應用模塊和工具的安裝配置:
由於使用模塊動態載入的模式,所以可以方便的通過簡單的配置調整來把Apache定製成你需要的:最好把不常用模塊全部清除(無論處於安全還是效率)。
比如:對於靜態頁面伺服器:就什麼其他子模塊都不載入,對於PHP應用就加上PHP模塊,對於JAVA應用就把Resin模塊載入上。而且各種模塊的插拔非常簡單,這樣調試過程中就可以簡單的通過注釋掉不需要的模塊,而不用重新編譯。
一般說來,可以不需要的模塊包括:
#LoadMole env_mole libexec/mod_env.so
#LoadMole negotiation_mole libexec/mod_negotiation.so
#LoadMole status_mole libexec/mod_status.so
#server side include已經過時了
#LoadMole includes_mole libexec/mod_include.so
#不需要將沒有預設index文件的目錄下所有文件列出
#LoadMole autoindex_mole libexec/mod_autoindex.so
#盡量不使用CGI:一直是Apache安全問題最多的地方
#LoadMole cgi_mole libexec/mod_cgi.so
#LoadMole asis_mole libexec/mod_asis.so
#LoadMole imap_mole libexec/mod_imap.so
#LoadMole action_mole libexec/mod_actions.so
#不使用安全認證可以大大提高訪問速度
#LoadMole access_mole libexec/mod_access.so
#LoadMole auth_mole libexec/mod_auth.so
#LoadMole setenvif_mole libexec/mod_setenvif.so
最好保留的有:
#用於定製log格式
LoadMole config_log_mole libexec/mod_log_config.so
#用於增加文件應用的關聯
LoadMole mime_mole libexec/mod_mime.so
#用於預設index文件:index.php等
LoadMole dir_mole libexec/mod_dir.so
可用可不用的有:
#比如:需要在~/username/下調試php可以將
LoadMole userdir_mole libexec/mod_userdir.so
#比如:需要將以前的URL進行轉向或者需要使用CGI script-alias
LoadMole alias_mole libexec/mod_alias.so
常用的模塊:
最常用的可能就是php和JAVA應用伺服器的前端,此外,從性能上講利用mod_gzip可以減少40%左右的流量,減少機器用於傳輸的負載,而 mod_expires可以減少10%左右的重復請求,讓重復的用戶對指定的頁面請求結果都CACHE在本地,根本不向伺服器發出請求。
建議將所有MODULE的配置都放到相應模塊的配置內部:<IfMole some_mole.c>some_mole config </IfMole>
PHP的安裝:
/path/to/php_src/configure --with-apxs=/path/to/apache/bin/apxs --with-other-moles-you-need
需要修改的配置:
AddType application/x-httpd-php .php .php3 .any_file_in_php
resin的安裝設置:
/path/to/resin/src/configure --with-apxs=/path/to/apache/bin/apxs
具體的resin設置放在另外一個文件中:比如/home/resin/conf/resin.conf
<IfMole mod_caucho.c>
CauchoConfigFile /path/to/apache/conf/resin.conf
</IfMole>
mod_expires的安裝配置:
<IfMole mod_expires.c>
ExpiresActive on
ExpiresByType image/gif "access plus 1 month"
ExpiresByType text/css "now plus 1 month"
ExpiresDefault "now plus 1 day"
</IfMole>
注釋:
所有的.gif文件1個月以後過期
所有的文件預設1天以後過期
mod_gzip的安裝
http://www.chedong.com/tech/compress.html
日誌的輪循:cronolog的安裝和設置
cronolog可以非常整齊的將日誌按天輪循存儲
預設編譯安裝到/usr/local/bin/下,只需要將配置改成:
CustomLog "|/usr/local/sbin/cronolog /home/apache/logs/%w/access_log" combined
日誌將按天截斷並存放在以星期為目錄名的目錄下:比如:log/1是周一,log/5是周五, log/0是周日
用gzip壓縮每天的日誌:
30 4 * * * /usr/bin/gzip -f /home/apache/logs/`date -d yesterday +%w`/access_log
日誌的定期刪除:
30 5 * * */usr/bin/find /home/apache/logs/ -name access_log.gz -mtime +3 |xargs -r /bin/rm -f
升級維護:
由於使用動態模塊載入方式(DSO模式)安裝Apache,Apache的HTTPD核心服務和應用模塊以及應用模塊之間都變的非常靈活,建議將所有獨立模塊的配置都放在
<IfMole mod_name>
CONFIGURATIONS..
</IfMole>
里,這樣配置非常容易通過屏蔽某個模塊來進行功能調整:比如:
#AddMole mod_gzip.c
就屏蔽了mod_gzip,而其他模塊不首任何影響。
安裝和維護過程:
系統安裝:系統管理員的職責就是安裝系統和一個按照DSO模式安裝的Apache,然後COLON。
應用安裝:由應用管理員負責具體應用所需要的模塊並設置HTTPD。
系統升級:系統管理員:升級系統/升級Apache
應用升級:應用管理員:升級應用模塊:PHP CAUCHO等
系統備份/恢復:如果Apache不在預設的系統盤上,只需要將Apache目錄備份就可以了,遇到系統分區的硬體問題直接使用預先准備好的系統COLON,再直接將Apache所在物理盤恢復就行了。
系統管理員:Apache的最簡化安裝 OS + Apache (httpd core only)
應用管理員:應用模塊定製 純靜態頁面服務
core
PHP動態頁面
core+so
+php
JAVA應用
core+so
+caucho
+ssl
應用例子: www.example.com
image.example.com
bbs.example.com mall.example.com
例子:Apache和PHP模塊的獨立升級。
如果Apache是按照以下方式安裝:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
PHP是按照以下方式安裝:
./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
以後單獨升級Apache的時候,仍然是:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
make
su
#/home/apache/bin/apachectl stop
#make install
單獨升級php時,仍然是:
./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
make
su
#/home/apache/bin/apachectl stop
#make install
#/home/apache/bin/apachectl start
基於反相代理的WEB加速:
squid和mod_proxy都可以實現反相代理加速。而基於緩存的代理加速比起原有WEB服務,速度會有數量級的提升。
小提示:
Apache安裝後,預設根目錄下沒有但很有用的2個文件:
favicon.ico: favicon.ico是一個16x16的站點圖標文件,如果瀏覽器發現有這個文件,在地址欄中會用這個圖標替換調瀏覽器的網頁圖標。IE6和 MOZILLA等主流瀏覽器都支持這個功能。
例如: http://www.chedong.com/favicon.ico
robots.txt: 用於告訴搜索引擎的爬蟲程序(spider)網站那些頁面可以被索引,那些不可以。
具體說明請參考:http://www.robotstxt.org/wc/robots.html
參考文檔:
Apache項目
http://httpd.apache.org
PHP
http://www.php.net
Resin
http://www.caucho.com
mod_gzip
http://sourceforge.net/projects/mod-gzip/
Cronolog
http://www.cronolog.org
mod_expires
http://httpd.apache.org/docs/mod/mod_expires.html
面向搜索引擎的CMS設計:
http://www.chedong.com/tech/cms.html
⑵ Apache是什麼軟體 有什麼好處和壞處 急!!!!!!!!!!!!!!! 謝謝
Apache是一個歷史悠久並且功能十分強大的WEB伺服器,但其豐富的功能對於一個新手來說往往不知道從何下手。我個人感覺Apache的設計充分體現了模塊化設計的優勢,通過在動態模塊載入(DSO)模式下的安裝,任何子應用模塊都可以通過配置文件的簡單修改進行積木式的靈活配置。安裝的過程可以從簡單的靜態html服務開始,一個模塊一個模塊的學習使用。從單純的HTML靜態服務(core),到復雜的動態頁面服務(core + php, core + resin, core + php + mod_gzip, core + resin + mod_expire)。
本文主要從簡化安裝==>性能調優==>維護方便的角度,介紹了WEB服務的規劃、HTTPD安裝/應用模塊配置、升級/維護等過程。讓Apache和PHP,Resin等應用模塊的獨立升級,完全互不影響。
WEB應用容量規劃:根據硬體配置和WEB應用的特點進行WEB服務的規劃及一些簡單的估算公式;
Apache安裝過程:apache的通用的簡化安裝選項,方便以後的應用的模塊化配置;
修改 HARD_SERVER_LIMIT:
vi /path/to/apache_src/src/include/httpd.h
#define HARD_SERVER_LIMIT 2560 <===將原來的 HARD_SERVER_LIMIT 256 後面加個「0」
apache編譯:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
可選應用模塊/工具的安裝:php resin mod_gzip mod_expire及各個模塊之間的配合;
mod_php安裝:./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
mod_resin安裝:./configure --with-apxs=/home/apache/bin/apxs
mod_gzip安裝:修改Makefile中的 apxs路徑:然後make make install
工具:日誌輪循工具cronolog安裝:http://www.cronolog.org
升級/維護:看看通用和模塊化的安裝過程如何簡化了日常的升級/維護工作;
按照以上的方法:系統管理員和應用管理員的職責可以清楚的分開,互相獨立。
系統安裝:系統管理員的職責就是安裝好一台DSO模式的Apache,然後COLON即可,
應用安裝:由應用管理員負責具體應用所需要的模塊,比如PHP Resin等,並設置httpd.conf中相關的配置。
系統升級:系統管理員:升級操作系統/升級Apache
應用升級:應用管理員:升級應用模塊,PHP Resin等。
WEB應用的容量規劃
Apache主要是一個內存消耗型的服務應用,我個人總結的經驗公式:
apache_max_process_with_good_perfermance < (total_hardware_memory / apache_memory_per_process ) * 2
apache_max_process = apache_max_process_with_good_perfermance * 1.5
為什麼會有一個apache_max_process_with_good_perfermance和apache_max_process呢?原因是在低負載下系統可以使用更多的內存用於文件系統的緩存,從而進一步提高單個請求的響應速度。在高負載下,系統的單個請求響應速度會慢不少,而超過 apache_max_process,系統會因為開始使用硬碟做虛擬內存交換空間而導致系統效率急劇下降。此外,同樣的服務:2G內存的機器的 apache_max_process一般只設置到1G內存的1.7倍,因為Apache本身會因為進程過多導致性能下降。
⑶ web測試中對客戶端和伺服器的性能測試都涉及到什麼
這種就類似於雲計算等後端基礎服務的測試,對於一些大的公司,會有一個專門的團隊來開發這種後端基礎服務,這種服務當然也需要測試人員來保證質量。
這類服務一般都是通過HTTP介面的方式提供給剛才講的WEB/APP的後端使用,所以,第一個要做的也就是介面測試,也就是用Postman等工具做手工測試、用TestNG+HttpClient或者Python的Nose框架做自動化測試。
不過,對於這類後端服務來說,介面只是暴露給外用的部分,內部邏輯通常是非常復雜的,所以,除了針對介面做測試之外,測試人員還需要細致地了解這些服務端產品的技術框架及技術實現,需要了解到模塊的級別,對於系統框架圖、時序圖等都有很好的理解。針對這些理解去設計用例,再跟開發一起討論如何實現用例。
如果這種基礎服務用了某一個開源軟體,那通常也需要測試人員能關注社區的進展,並把我們發現的Bug及解決方案等推到社區,為社區做貢獻。
除了介面測試之外,在我們公司,異常測試、穩定性測試、性能測試也是服務端測試必備的測試類型。
異常測試會模擬各種異常情況,比如硬體異常-機器掛掉的情況下能否啟動備機、硬碟掛掉的情況下是否會丟失數據;網路異常-網路忽然斷掉、或者網路流量變小的情況;系統異常-操作系統忽然掛掉的情況。這些極端的情況出現的時候,我們需要驗證數據有沒有丟、能不能盡快啟動備機對外提供服務、系統狀態有沒有異常等。我們會採用各種方式或者工具來模擬這些異常,比如用TrafficControl工具來控制網路流量。
穩定性測試,就是模擬系統在7*24的運行下會不會出問題,一般會用介面測試或者性能測試用例不斷地跑,在運行期間,我們會模擬各種情況,比如說負載的變化、系統的各種干擾等。可以用ChaosMonkey等工具來進行這類測試。
性能測試,其實細分起來會有各種類型,比如負載測試、壓力測試、配置測試、甚至還有線上壓測、容量規劃等。最常規的性能測試,一般是先規定一個系統需要承受的壓力,比如說,某一個系統,1個小時之內會有1W單的單子,那基於這個需求我們分析伺服器後端需要承受的壓力,分析出來以後,就寫性能測試腳本,然後逐漸增加壓測的力度,直到超過這個預定的壓力。通常在這個測試過程中會發現各種問題,比如資料庫索引沒有建、線程池太小、系統異常等。需要解決了之後再加大壓力測試。也是用Grinder/JMeter等工具來進行性能測試,不過難的不是這些工具的使用,而是發現問題以後的定位。
對於這種後端服務的測試人員來說,技術上的要求是挺高的,需要有較好的編程能力,需要對資料庫、操作系統等機制有很好的了解才行。
⑷ 網站資料庫如何進行容量規劃
關系型資料庫有四個顯著的特徵,即安全性、完整性、並發性和監測性。資料庫的安全性就是要保證資料庫中數據的安全,防止未授權用戶隨意修改資料庫中的數據,確保數據的安全。在大多數資料庫管理系統中,主要是通過許可來保證資料庫的安全性。完整性是資料庫的一個重要特徵,也是保證資料庫中的數據切實有效、防止錯誤、實現商業規則的一種重要機制。在資料庫中,區別所保存的數據是無用的垃圾還是有價值的信息,主要是依據資料庫的完整性是否健全。在SQL Server 7.0中,數據的完整性是通過一系列邏輯來保障的,這些邏輯分為三個方面,即實體完整性、域完整性和參考完整性。對任何系統都可以這樣說,沒有監測,就沒有優化.。
中安威士資料庫安全加固系統是在進行資料庫審計的同時兼有防火牆實時阻斷和資料庫透明加密的綜合系統。主要功能包括:詳盡的資料庫審計、多因子認證訪問控制、風險評估、自動建模、敏感數據加密和綜合報表等。為客戶帶來的價值:
滿足合規要求,快速通過評測;
簡化業務至理,核心數據加密,提高數據安全管理能力;
完善縱深防禦體系,提升整體安全防護能力;
降低核心數據資產被侵犯的風險,保障業務連續性。
⑸ 關於apache的緩存
B伺服器,但其豐富的功能對於一個新手來說往往不知道從何下手。我個人感覺Apache的設計充分體現了模塊化設計的優勢,通過在動態模塊載入(DSO)模式下的安裝,任何子應用模塊都可以通過配置文件的簡單修改進行積木式的靈活配置。安裝的過程可以從簡單的靜態html服務開始,一個模塊一個模塊的學習使用。從單純的HTML靜態服務(core),到復雜的動態頁面服務(core + php, core + resin, core + php + mod_gzip, core + resin + mod_expire)。
本文主要從簡化安裝==>性能調優==>維護方便的角度,介紹了WEB服務的規劃、HTTPD安裝/應用模塊配置、升級/維護等過程。讓Apache和PHP,Resin等應用模塊的獨立升級,完全互不影響。
WEB應用容量規劃:根據硬體配置和WEB應用的特點進行WEB服務的規劃及一些簡單的估算公式;
Apache安裝過程:apache的通用的簡化安裝選項,方便以後的應用的模塊化配置;
修改 HARD_SERVER_LIMIT:
vi /path/to/apache_src/src/include/httpd.h
#define HARD_SERVER_LIMIT 2560 <===將原來的 HARD_SERVER_LIMIT 256 後面加個「0」
apache編譯:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
可選應用模塊/工具的安裝:php resin mod_gzip mod_expire及各個模塊之間的配合;
mod_php安裝:./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
mod_resin安裝:./configure --with-apxs=/home/apache/bin/apxs
mod_gzip安裝:修改Makefile中的 apxs路徑:然後make make install
工具:日誌輪循工具cronolog安裝:
升級/維護:看看通用和模塊化的安裝過程如何簡化了日常的升級/維護工作;
按照以上的方法:系統管理員和應用管理員的職責可以清楚的分開,互相獨立。
系統安裝:系統管理員的職責就是安裝好一台DSO模式的Apache,然後COLON即可,
應用安裝:由應用管理員負責具體應用所需要的模塊,比如PHP Resin等,並設置httpd.conf中相關的配置。
系統升級:系統管理員:升級操作系統/升級Apache
應用升級:應用管理員:升級應用模塊,PHP Resin等。
WEB應用的容量規劃
Apache主要是一個內存消耗型的服務應用,我個人總結的經驗公式:
apache_max_process_with_good_perfermance < (total_hardware_memory / apache_memory_per_process ) * 2
apache_max_process = apache_max_process_with_good_perfermance * 1.5
為什麼會有一個apache_max_process_with_good_perfermance和apache_max_process呢?原因是在低負載下系統可以使用更多的內存用於文件系統的緩存,從而進一步提高單個請求的響應速度。在高負載下,系統的單個請求響應速度會慢不少,而超過 apache_max_process,系統會因為開始使用硬碟做虛擬內存交換空間而導致系統效率急劇下降。此外,同樣的服務:2G內存的機器的 apache_max_process一般只設置到1G內存的1.7倍,因為Apache本身會因為進程過多導致性能下降。
⑹ web應用高並發導致系統資料庫崩潰一般怎麼解決
1、程序和資料庫部署在同一台伺服器上 2.多學習一些相關的書籍比如:構建高性能Web站點,大規模Web服務開發技術 構建可擴展的Web站點 , Web容量規劃的技術,分布式資料庫系統及其應用。 掌握其原理和結構 。
⑺ 什麼是web網站設計
首先web是網站的一個程序,是一個文件夾,每個網站必不可少的一個文件,這個文件裡面存儲的東西主要就是網站的代碼,因為你沒有在長春世紀學過,所以理解可能費點勁,不過我還是挺願意為你解答的,以後有什麼網路問題就找我
⑻ Apache是用來干什麼的
Apache是一個歷史悠久並且功能十分強大的WEB伺服器,但其豐富的功能對於一個新手來說往往不知道從何下手。我個人感覺Apache的設計充分體現了模塊化設計的優勢,通過在動態模塊載入(DSO)模式下的安裝,任何子應用模塊都可以通過配置文件的簡單修改進行積木式的靈活配置。安裝的過程可以從簡單的靜態html服務開始,一個模塊一個模塊的學習使用。從單純的HTML靜態服務(core),到復雜的動態頁面服務(core + php, core + resin, core + php + mod_gzip, core + resin + mod_expire)。
本文主要從簡化安裝==>性能調優==>維護方便的角度,介紹了WEB服務的規劃、HTTPD安裝/應用模塊配置、升級/維護等過程。讓Apache和PHP,Resin等應用模塊的獨立升級,完全互不影響。
WEB應用容量規劃:根據硬體配置和WEB應用的特點進行WEB服務的規劃及一些簡單的估算公式;
Apache安裝過程:apache的通用的簡化安裝選項,方便以後的應用的模塊化配置;
修改 HARD_SERVER_LIMIT:
vi /path/to/apache_src/src/include/httpd.h
#define HARD_SERVER_LIMIT 2560 <===將原來的 HARD_SERVER_LIMIT 256 後面加個「0」
apache編譯:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
可選應用模塊/工具的安裝:php resin mod_gzip mod_expire及各個模塊之間的配合;
mod_php安裝:./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
mod_resin安裝:./configure --with-apxs=/home/apache/bin/apxs
mod_gzip安裝:修改Makefile中的 apxs路徑:然後make make install
工具:日誌輪循工具cronolog安裝:http://www.cronolog.org
升級/維護:看看通用和模塊化的安裝過程如何簡化了日常的升級/維護工作;
按照以上的方法:系統管理員和應用管理員的職責可以清楚的分開,互相獨立。
系統安裝:系統管理員的職責就是安裝好一台DSO模式的Apache,然後COLON即可,
應用安裝:由應用管理員負責具體應用所需要的模塊,比如PHP Resin等,並設置httpd.conf中相關的配置。
系統升級:系統管理員:升級操作系統/升級Apache
應用升級:應用管理員:升級應用模塊,PHP Resin等。
WEB應用的容量規劃
Apache主要是一個內存消耗型的服務應用,我個人總結的經驗公式:
apache_max_process_with_good_perfermance < (total_hardware_memory / apache_memory_per_process ) * 2
apache_max_process = apache_max_process_with_good_perfermance * 1.5
為什麼會有一個apache_max_process_with_good_perfermance和apache_max_process呢?原因是在低負載下系統可以使用更多的內存用於文件系統的緩存,從而進一步提高單個請求的響應速度。在高負載下,系統的單個請求響應速度會慢不少,而超過 apache_max_process,系統會因為開始使用硬碟做虛擬內存交換空間而導致系統效率急劇下降。此外,同樣的服務:2G內存的機器的 apache_max_process一般只設置到1G內存的1.7倍,因為Apache本身會因為進程過多導致性能下降。
例子1:
一個apache + mod_php的伺服器:一個apache進程一般需要4M內存
因此在一個1G內存的機器上:apache_max_process_with_good_perfermance < (1g / 4m) * 2 = 500
apache_max_process = 500 * 1.5 = 750
所以規劃你的應用讓服務盡量跑在500個進程以下以保持比較高的效率,並設置Apache的軟上限在800個。
例子2:
一個apache + mod_resin的伺服器: 一個apache進程一般需要2M內存
在一個2G內存的機器上:
apache_max_process_with_good_perfermance < (2g / 2m ) * 2 = 2000
apache_max_process = 2000 * 1.5 = 3000
以上估算都是按小文件服務估算的(一個請求一般大小在20k以下)。對於文件下載類型站點,可能還會受其他因素:比如帶寬等的影響。
Apache安裝過程
伺服器個數的硬上限HARD_SERVER_LIMIT的修改:
在Apache的源代碼中預設的最大進程數是256個,需要修改apache_1.3.xx/src/include/httpd.h
#ifndef HARD_SERVER_LIMIT
#ifdef WIN32
#define HARD_SERVER_LIMIT 1024
#elif defined(NETWARE)
#define HARD_SERVER_LIMIT 2048
#else
#define HARD_SERVER_LIMIT 2560 <===將原來的HARD_SERVER_LIMIT 256 後面加個「0」
#endif
#endif
解釋:
Apache預設的最大用戶數是256個:這個配置對於伺服器內存還是256M左右的時代是一個非常好的預設設置,但隨著內存成本的急劇下降,現在大型站點的伺服器內存配置一般比當時要高一個數量級不止。所以256個進程的硬限制對於一台1G內存的機器來說是太浪費了,而且Apache的軟上限 max_client是受限於HARD_SERVER_LIMIT的,因此如果WEB伺服器內存大於256M,都應該調高Apache的 HARD_SERVER_LIMIT。根據個人的經驗:2560已經可以滿足大部分小於2G內存的伺服器的容量規劃了(Apache的軟上限的規劃請看後面)。
Apache的編譯:以下通用的編譯選項能滿足以後任意模塊的安裝
./configure --prefix=/another_driver/apache/ --enable-shared=max --enable-mole=most
比如:
./configure --prefix=/home/apache/ --enable-shared=max --enable-mole=most
解釋:
--prefix=/another_driver/apache/:建議將apache服務安裝在另外一個驅動設備上的目的在於硬碟往往是一個系統使用壽命最低的設備,因此:將服務數據和系統完全分開,不僅能提高了數據的訪問速度,更重要的,大大方便系統升級,應用備份和恢復過程。
--shared-mole=max:使用動態載入方式載入子模塊會帶來5%的性能下降,但和帶來的配置方便相比更本不算什麼:比如模塊升級方便,系統升級風險降低,安裝過程標准化等
--enable-mole=most:用most可以將一些不常用的mole編譯進來,比如後面講到的mod_expire是就不在 apache的預設常用模塊中
如果不想build so, 也可以這樣:
./configure \
"--with-layout=Apache" \
"--prefix=/path/to/apache" \
"--disable-mole=access" \
"--disable-mole=actions" \
"--disable-mole=autoindex" \
"--disable-mole=env" \
"--disable-mole=imap" \
"--disable-mole=negotiation" \
"--disable-mole=setenvif" \
"--disable-mole=status" \
"--disable-mole=userdir" \
"--disable-mole=cgi" \
"--disable-mole=include" \
"--disable-mole=auth" \
"--disable-mole=asis"
但結果會發現,這樣編譯對服務性能只能有微小的提高(5%左右),但卻失去了以後系統升級和模塊升級的靈活性,無論是模塊還是Apache本身升級都必須把Apache和PHP的SOURCE加在一起重新編譯。
apache的預設配置文件一般比較大:可以使用去掉注釋的方法精簡一下:然後再進入具體的培植過程能讓你更快的定製出你所需要的。
grep -v "#" httpd.conf.default >httpd.conf
需要修改的通用項目有以下幾個:
#服務埠,預設是8080,建議將整個Apache配置調整好後再將服務埠改到正式服務的埠
Port 8080 => 80
#伺服器名:預設沒有
ServerName name.example.com
#最大服務進程數:根據服務容量預測設置
MaxClients 256 => 800
#預設啟動服務後的服務進程數:等服務比較平穩後,按平均負載下的httpd個數設置就可以
StartServers 5 => 200
不要修改:
以前有建議說修改:
MinSpareServers 5 => 100
MaxSpareServers 10 => 200
但從我的經驗看來:預設值已經是非常優化的了,而且讓Apache自己調整子共享進程個數還是比較好的。
特別修改:
在solaris或一些比較容易出現內存泄露的應用上:
MaxRequestsPerChild 0 =>3000
應用模塊和工具的安裝配置:
由於使用模塊動態載入的模式,所以可以方便的通過簡單的配置調整來把Apache定製成你需要的:最好把不常用模塊全部清除(無論處於安全還是效率)。
比如:對於靜態頁面伺服器:就什麼其他子模塊都不載入,對於PHP應用就加上PHP模塊,對於JAVA應用就把Resin模塊載入上。而且各種模塊的插拔非常簡單,這樣調試過程中就可以簡單的通過注釋掉不需要的模塊,而不用重新編譯。
一般說來,可以不需要的模塊包括:
#LoadMole env_mole libexec/mod_env.so
#LoadMole negotiation_mole libexec/mod_negotiation.so
#LoadMole status_mole libexec/mod_status.so
#server side include已經過時了
#LoadMole includes_mole libexec/mod_include.so
#不需要將沒有預設index文件的目錄下所有文件列出
#LoadMole autoindex_mole libexec/mod_autoindex.so
#盡量不使用CGI:一直是Apache安全問題最多的地方
#LoadMole cgi_mole libexec/mod_cgi.so
#LoadMole asis_mole libexec/mod_asis.so
#LoadMole imap_mole libexec/mod_imap.so
#LoadMole action_mole libexec/mod_actions.so
#不使用安全認證可以大大提高訪問速度
#LoadMole access_mole libexec/mod_access.so
#LoadMole auth_mole libexec/mod_auth.so
#LoadMole setenvif_mole libexec/mod_setenvif.so
最好保留的有:
#用於定製log格式
LoadMole config_log_mole libexec/mod_log_config.so
#用於增加文件應用的關聯
LoadMole mime_mole libexec/mod_mime.so
#用於預設index文件:index.php等
LoadMole dir_mole libexec/mod_dir.so
可用可不用的有:
#比如:需要在~/username/下調試php可以將
LoadMole userdir_mole libexec/mod_userdir.so
#比如:需要將以前的URL進行轉向或者需要使用CGI script-alias
LoadMole alias_mole libexec/mod_alias.so
常用的模塊:
最常用的可能就是php和JAVA應用伺服器的前端,此外,從性能上講利用mod_gzip可以減少40%左右的流量,減少機器用於傳輸的負載,而 mod_expires可以減少10%左右的重復請求,讓重復的用戶對指定的頁面請求結果都CACHE在本地,根本不向伺服器發出請求。
建議將所有MODULE的配置都放到相應模塊的配置內部:<IfMole some_mole.c>some_mole config </IfMole>
PHP的安裝:
/path/to/php_src/configure --with-apxs=/path/to/apache/bin/apxs --with-other-moles-you-need
需要修改的配置:
AddType application/x-httpd-php .php .php3 .any_file_in_php
resin的安裝設置:
/path/to/resin/src/configure --with-apxs=/path/to/apache/bin/apxs
具體的resin設置放在另外一個文件中:比如/home/resin/conf/resin.conf
<IfMole mod_caucho.c>
CauchoConfigFile /path/to/apache/conf/resin.conf
</IfMole>
mod_expires的安裝配置:
<IfMole mod_expires.c>
ExpiresActive on
ExpiresByType image/gif "access plus 1 month"
ExpiresByType text/css "now plus 1 month"
ExpiresDefault "now plus 1 day"
</IfMole>
注釋:
所有的.gif文件1個月以後過期
所有的文件預設1天以後過期
mod_gzip的安裝
http://www.chedong.com/tech/compress.html
日誌的輪循:cronolog的安裝和設置
cronolog可以非常整齊的將日誌按天輪循存儲
預設編譯安裝到/usr/local/bin/下,只需要將配置改成:
CustomLog "|/usr/local/sbin/cronolog /home/apache/logs/%w/access_log" combined
日誌將按天截斷並存放在以星期為目錄名的目錄下:比如:log/1是周一,log/5是周五, log/0是周日
用gzip壓縮每天的日誌:
30 4 * * * /usr/bin/gzip -f /home/apache/logs/`date -d yesterday +%w`/access_log
日誌的定期刪除:
30 5 * * */usr/bin/find /home/apache/logs/ -name access_log.gz -mtime +3 |xargs -r /bin/rm -f
升級維護:
由於使用動態模塊載入方式(DSO模式)安裝Apache,Apache的HTTPD核心服務和應用模塊以及應用模塊之間都變的非常靈活,建議將所有獨立模塊的配置都放在
<IfMole mod_name>
CONFIGURATIONS..
</IfMole>
里,這樣配置非常容易通過屏蔽某個模塊來進行功能調整:比如:
#AddMole mod_gzip.c
就屏蔽了mod_gzip,而其他模塊不首任何影響。
安裝和維護過程:
系統安裝:系統管理員的職責就是安裝系統和一個按照DSO模式安裝的Apache,然後COLON。
應用安裝:由應用管理員負責具體應用所需要的模塊並設置HTTPD。
系統升級:系統管理員:升級系統/升級Apache
應用升級:應用管理員:升級應用模塊:PHP CAUCHO等
系統備份/恢復:如果Apache不在預設的系統盤上,只需要將Apache目錄備份就可以了,遇到系統分區的硬體問題直接使用預先准備好的系統COLON,再直接將Apache所在物理盤恢復就行了。
系統管理員:Apache的最簡化安裝 OS + Apache (httpd core only)
應用管理員:應用模塊定製 純靜態頁面服務
core
PHP動態頁面
core+so
+php
JAVA應用
core+so
+caucho
+ssl
應用例子: www.example.com
image.example.com
bbs.example.com mall.example.com
例子:Apache和PHP模塊的獨立升級。
如果Apache是按照以下方式安裝:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
PHP是按照以下方式安裝:
./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
以後單獨升級Apache的時候,仍然是:
./configure --prefix=/home/apache --enable-shared=max --enable-mole=most
make
su
#/home/apache/bin/apachectl stop
#make install
單獨升級php時,仍然是:
./configure --with-apxs=/home/apache/bin/apxs --enable-track-vars --with-mysql
make
su
#/home/apache/bin/apachectl stop
#make install
#/home/apache/bin/apachectl start
基於反相代理的WEB加速:
squid和mod_proxy都可以實現反相代理加速。而基於緩存的代理加速比起原有WEB服務,速度會有數量級的提升。
小提示:
Apache安裝後,預設根目錄下沒有但很有用的2個文件:
⑼ 求《大型網站伺服器容量規劃》全文免費下載百度網盤資源,謝謝~
《大型網站伺服器容量規劃》網路網盤pdf最新全集下載:
鏈接:https://pan..com/s/1lV6WYMbSORDq0WDzvovBwA
簡介:本書講解了用數學回歸分析方法來做伺服器容量規劃的思路,讓讀者掌握伺服器容量規劃的量化方法;模型的選擇是伺服器容量規劃的關鍵,不同的程序有不同的模型。本書使用nginx+PHP+MySQL為實例演示了具體的規劃過程,以便達到觸類旁通的作用,使讀者具備構建復雜模型的能力,以解決伺服器容量規劃的實際問題。本書還介紹了伺服器容量一般監控的技術及實現方法,如整機CPU、進程CPU、進程IO等。學習完相關章節後,讀者也可以編寫監控程序了。
⑽ php 系統架構
網上收索的,共享給你:
《Beautiful Architecture》?
《Beautiful Code》的姐妹作,裡面有三成的架構是自己感興趣的,已經有國內出版社拿下了,架構師的唐詩三百首------O'reilly新書Beautiful Architecture(InfoQ)?。
《97 Things Every Software Architect Should Know 》?
一個開放的wiki?,O'Reilly 將它發布成書,不知道有沒人在翻,架構公理的書(InfoQ)?。
《Pattern-Oriented Software Architecture, Volume 4 - A Pattern Language forDistributed Computing》?
架構模式的集大成者,號稱有人在翻但等了一年中文版還是沒翻出來啊,面向模式軟體架構第4、5卷出版(InfoQ)?。
架構技術類
雲計算已經開始代替SOA成為新一代Buz Word,回顧一下整個SOA出版風潮,自己覺得值得一讀不忽悠的居然只有一本《SOA in Practic - SOA實踐指南-分布式系統設計的藝術》?。
在熱潮徹底退卻前,SOA的書還在繼續出著,OSGI與SCA的書也開始出現:
《SOA Design Patterns》?
又是Thomas Erl的書,很奇怪的連電子版都找不到,SOA設計模式出版啦(InfoQ)?。
還 沒出版的呀一大堆 --《SOA Patterns》、《ESB Architecture for SOA》、《SOA with Java》、《Open Source SOA》、《OSGi in Action》、《SpringSource dm Server in Action》、《Molar Java: Creating Flexible Applications with OSGi and Spring》、《Understanding SCA》、《Apache Tuscany in Action》...
編程匠師類
立志做一個匠師的人今年比較幸福,可以看的書很多:
《Beautiful Code - 代碼之美》 ?
很有經典潛質的一本,去年沒有讀完今年繼續,《代碼之美》的精選版(InfoQ)?。
《Protive Programmer - 卓有成效的程序員》?
Thoughtworks中國翻譯的,看了下樣章,熊節(透明)的翻譯依然是這么好, 《卓有成效的程序員》推薦序:做一個懶人(InfoQ)?。
《Clean Code: A Handbook of Agile Software Craftsmanship》?
Rober。C大叔的書,不知道誰在翻,應該很容易翻啊,到後面大段大段都是代碼。
《Effective Java中文版(第2版)》
Web系統架構及開發推薦書籍:
一、《Linux企業集群—用商用硬體和免費軟體構件高可用集群》
深入分析了LVS, HeartBeat等,是構建Linux集群不可多得的資料。
二、《構建高性能Web站點》
重點介紹如何構建一個高性能的Web系統,國內為數不多的值得一讀的技術書籍。
三、《大規模Web服務開發技術》
對大型網站涉及到的技術及相關知識點做了介紹。
四、《構建可擴展的Web站點》
Flicker的經驗之談,重點講述如何構建一個可擴展的Web系統。
五、《Web容量規劃的技術》
Flicker的經驗之談,重點講述如何進行容量規劃。
六、Scalability Rules: 50 Principles for Scaling Web Sites
主要講述如何開發易擴展的系統。
七、《分布式資料庫系統及其應用》(第二版)
中
科院研究生教材,很有料!大型網站的資料庫通常是分布式的,如何設計分布式資料庫系統?如何優化分布式查詢?本書都作了比較專業的解答。另外,
《MongoDB權威指南》、《Cassandra權威指南》對了解NoSQL的同學來說,也非常值得一讀。選擇合適的數據存儲工具是架構師經常面對的問
題。
php架構:
《企業應用架構模式》
《軟體架構的藝術》
《J2EE核心模式》
四人幫《設計模式》——推薦其他衍生書籍。
《架構實戰—軟體架構設計的過程》英文版最好,中文翻譯的太差。
《J2EE反模式》
《POSA》的5本(《面向模式的軟體架構》系列)
《架構之美》
《模型驅動設計》