從100PV到1億級PV網(wǎng)站架構(gòu)演變
一個網(wǎng)站就像一個人，存在一個從小到大的過程。養(yǎng)一個網(wǎng)站和養(yǎng)一個人一樣，不同時期需要不同的方法，不同的方法下有共同的原則。本文結(jié)合我自已14年網(wǎng)站人的經(jīng)歷記錄一些架構(gòu)演變中的體會。
1：積累是必不可少的
架構(gòu)師不是一天練成的。
1999年，我作了一個個人主頁，在學校內(nèi)的虛擬空間，參加了一次主頁大賽，幾個DREAMWEAVER的頁面，幾個TABLE作布局，一個DB連接，幾行PHP的代碼嵌入在HTML中，再用FTP傳到服務器上就可以給別人展示一個網(wǎng)站。
2000年，個人主頁已經(jīng)不能滿足好奇，在當時的網(wǎng)管中心管起幾臺機器，作起網(wǎng)線水晶頭，用ALL PEOPLE SEEMS TO NEED DATA PROCESS的理論開始認識了7層網(wǎng)絡模塊（面試技術(shù)員工時，經(jīng)常會問這些網(wǎng)絡基礎知識的理解）。有了基礎理論的武裝，我也開始配置各種服務來玩 LINUX，AIX和FREEBSD這些系統(tǒng)。面對各種原理不懂的系統(tǒng)，目的只是想盡辦法去解決網(wǎng)站需要的各種基礎服務。當時搭建了REALSERVER 流媒體服務，各種開源FTP下載服務，BATTLENET游戲網(wǎng)關(guān)，APACHE（keepalive等配置，http報頭相關(guān)的知識 也是面試的老客戶），DNS，QMAIL等服務給學校的學生使用；
網(wǎng)站有近10萬PV的時候，開始考慮如何作擴展拆分，MYSQL的MASTER SLAVE作讀寫分離，MYSQL的索引優(yōu)化是當時唯一會使用的DB性能優(yōu)化方法。這個階段基本上能解決需求，同時也遇到瓶頸，不知道訪問量再大一個數(shù)量級，怎么辦?明顯感到技術(shù)能力不夠。當時受限于網(wǎng)站的量一直沒有新的數(shù)量級的突破，導致了幾年內(nèi)技術(shù)工作以維護為主，體驗著網(wǎng)站日常運維的各種糾結(jié)，體力活。而這時期網(wǎng)站的2層架構(gòu)方法也一再被重復應用到后續(xù)的N個網(wǎng)站的搭建過程中，2001年開始的JSP與PHP之爭好像對我沒什么感覺，因為我還是只會用那種很土的2層架構(gòu)作著網(wǎng)站：頁面中嵌入JSP，連接后端的MYSQL進行數(shù)據(jù)的CRUD，沒有事務，沒有考慮數(shù)據(jù)庫讀寫錯誤，沒有考慮兩層系統(tǒng)不可用，因為有問題只需要重啟，有報錯只需要改JSP后刷新頁面。作網(wǎng)站確實是體力活。
2005年，在道富參與了FXCNG項目，用MULE ESB，接觸到MULE的前幾個月還沒有意識到這個系統(tǒng)在架構(gòu)中的位置。直到半年后，在與第三方系統(tǒng)集成的應用中，才發(fā)現(xiàn)，這樣的一個系統(tǒng)就是傳說中的中間件，他可以專業(yè)的解決一部份系統(tǒng)的職能，比如當時的消息和遠程調(diào)用代理。這時候我逐步有了一些架構(gòu)觀點，一個大型的應用系統(tǒng)中，是需要隔離一部份技術(shù)職能，讓系統(tǒng)責任單一，方便技術(shù)維護和團隊擴展，專人辦專事。
2006年，阿里軟件，一個全新的開始。進入阿里軟件的前三個月在馬總的老家，淘寶的發(fā)源地：湖畔花園小區(qū)，2樓的4室兩廳里進行了封閉式開發(fā)，很累，但很興奮。這段時間，我參與了一個全新外貿(mào)ERP系統(tǒng)的搭建。雖然只作為一名普通的JAVA開發(fā)工程師，僅負責一個很小的模塊開發(fā)，但還是正式體會到一個大型系統(tǒng)的初創(chuàng)過程。這段時間對MVC的架構(gòu)理論有了深刻的理解。MVC三層架構(gòu)比2層架構(gòu)帶來的更好的技術(shù)擴展與團隊擴展能力讓我映像深刻。M層負責DB 邏輯的CRUD，架構(gòu)師們開發(fā)出了大量的中間層JAR包，完成了DAO層，DO的封裝，M層也完成了SERVICE層，完成了BO的封裝，接口包的封裝，系統(tǒng)使用了最常用的工廠、單例、FACACE等模式（直到現(xiàn)在，我面試人還是常常只會問這些基本的模式）。V層的模板隔離，前端開發(fā)可以在這一層和后端開發(fā)一起修改界面（之后，更大規(guī)模的團隊連這一層都可以再分離）。C層完成輸入輸出的基本校驗和檢查然后調(diào)用后面的服務層功能或作轉(zhuǎn)發(fā)。 簡潔樸素的結(jié)構(gòu)生命力是比較持久的。直到現(xiàn)在，MVC還是具有很強的生命力，在更種大型網(wǎng)站中承擔重要架構(gòu)骨架。
07年，我對應用層，服務中心層，持久層三層架構(gòu)并沒有多少的實踐應用和理解。因為MVC對于初創(chuàng)系統(tǒng)或中小型網(wǎng)站，20人左右的團隊規(guī)模來講，已經(jīng)適用。換個角度看，當時在3個月內(nèi)作出一個完整的ERP系統(tǒng)也只用使用MVC，再選進的架構(gòu)也需要考慮網(wǎng)站發(fā)展的階段。用戶一邊使用，工程師一邊迭代改進架構(gòu)，這個方式是作網(wǎng)站，不是傳統(tǒng)應用軟件開發(fā)。ERP本身源自傳統(tǒng)應用軟件領域，我們在用互聯(lián)網(wǎng)的方式作管理軟件，最大的挑戰(zhàn)應該是這種邊作邊改進架構(gòu)的理念。07年，這個理念之爭逐步在團隊內(nèi)達成了一致，架構(gòu)師們小心的平衡著業(yè)務和架構(gòu)，這個網(wǎng)站高峰時，也支撐到了日訪問量近千萬的級別，沒有閃架。
08年，阿里軟件開放平臺，又是一個新系統(tǒng)。全新的系統(tǒng)架構(gòu)總是可以得到足夠的時間來考慮末來1到3年的增漲。實際上，互聯(lián)網(wǎng)系統(tǒng)，我們感覺只能考慮到一年的架構(gòu)。這一年，我參與架構(gòu)設計，開始理解了三層架構(gòu)的價值與擴展能理，服務中心開始搭建，因為這個系統(tǒng)將接受的幾百萬在線的旺旺用戶訪問，所以部份系統(tǒng)開始考慮服務中心，想把業(yè)務邏輯聚合到服務層，由統(tǒng)一的團隊進行擴展維護。另外，隨著兩年下來小的業(yè)務系統(tǒng)越來越多，小機上的oracle連接數(shù)也吃緊了，服務中心的需求越來越大。首先進行的是用戶中心，想法是集成整個集團隊賬號體系，基于『旺號』體系。這個用戶中心項目有個響亮的名字：UDB，項目過程可以寫一本書。這里不再展開。
《SAAS架構(gòu)設計》這本書，針對的是軟件平臺的早期ISV用戶?，F(xiàn)在的眼光來看，這書寫的過于簡單，正如十年后再來看今天我的寫的這個筆記一樣。
09年，加盟了剛剛成立的aliexpress部門。經(jīng)歷了兩三個應用的小系統(tǒng)到億級PV的在線交易系統(tǒng)。遇到了很多問題，體會到一個小系統(tǒng)與大網(wǎng)站不同階段架構(gòu)的演變過程有不同的難處。
下文從不同維度分享億級PV網(wǎng)站架構(gòu)下我的體會和觀點。
2：知識結(jié)構(gòu)
網(wǎng)站架構(gòu)師有很多，有科班出身的，有美術(shù)專業(yè)的，有生物專業(yè)的，有學物理的，有派出所警察出身的，我覺得都是OK的。我也接觸到了這些架構(gòu)師，非常有特點，在很多技術(shù)領域有自已專深的。英雄不問出路，好漢不提當年勇。架構(gòu)師知識背景可以不同，個人看法是不同領域的人作網(wǎng)站架構(gòu)可以帶入很多交叉的思路。就像種樹的人再去種花，其實也是可以看到一些共性的總結(jié)抽象。
網(wǎng)站架構(gòu)師需要有編程的經(jīng)驗，從基本的算法，常用的設計模式，多線程開發(fā)，遠程調(diào)用，不同類型數(shù)據(jù)源使用，這些是面試的時候看得基本功。我認為一個資深的測試專家一定是開發(fā)高手，一個架構(gòu)師必須也是有長期的開發(fā)經(jīng)驗，很多性能優(yōu)化是要從一行行代碼優(yōu)化起的。試想在一個被調(diào)用1000萬次次每天的頁面，一行代碼如果每次都走到，每次少運算1ns,也可以節(jié)省不少的電力。我為環(huán)保作貢獻，我驕傲。
網(wǎng)站架構(gòu)師需要對網(wǎng)絡環(huán)境有很好的知識理解。架構(gòu)問題是需要考慮網(wǎng)絡部署。比如系統(tǒng)因不可用而發(fā)生切換的時候，從一個機房切到另一個機房，要考慮網(wǎng)站的服務對用戶訪問速度上會有多大影響。這時候的技術(shù)方案可能是切DNS，也可能是切前端的跳轉(zhuǎn)機，或是底層部份服務調(diào)用到另一個機房。對于這類切換的方案，架構(gòu)師需要計算網(wǎng)絡時間的開銷帶來的QPS影響，和用戶體驗上的延遲，每個請求估算需要精確到ms級。如果是全球范圍內(nèi)DNS切換，需要知道DNS刷新的時間經(jīng)驗周期，比如：全球更新在1小時左右，而80%的地區(qū)用戶會在20分鐘內(nèi)刷新，這樣系統(tǒng)帶來的業(yè)務影響會有多大。
網(wǎng)站架構(gòu)師需要對網(wǎng)絡協(xié)議有深入的理解。HTTP協(xié)議是最基礎的，無論是SESSION還是COOKIE在HTTP協(xié)議基礎上怎么應用，COOKIE的大小，數(shù)量，瀏覽器是怎么處理HTTP協(xié)議的。這些基礎有關(guān)鍵時候會影響業(yè)務的進行。比如，SAFRI瀏覽器對第三方COOKIE是禁用的，某功能跨域?qū)?COOKIE的時候每次都會重新生成COOKIE，直接導致系統(tǒng)統(tǒng)計用戶UV的時候，數(shù)量增大，影響各種轉(zhuǎn)化率的計算。HTTP協(xié)議還需要考慮本身的連接管理池大小和連接是否KEEPALIVE，這些細節(jié)很多時候成為架構(gòu)上擴展能力的瓶頸。一個靜態(tài)頁面服務的HTTP MAXCLIENT設置 為2500，機器只有10臺，很可能在一次中小型活動中連接數(shù)到頂，用戶部份請求無法滿足。
架構(gòu)師需要考慮數(shù)據(jù)格式帶來的性能影響。很多遠程系統(tǒng)調(diào)用走的是HTTP協(xié)議為基礎，數(shù)據(jù)格式為純文本或JSON，或XML等，這類調(diào)用需要考慮數(shù)據(jù)的序列化和反序列化，這個工作是CPU開銷型的，對性能優(yōu)化上需要有針對性。QPS高的系統(tǒng)RT一定會短，但RT短的系統(tǒng)不一定比RT高的系統(tǒng)能表現(xiàn)更好的 QPS。
架構(gòu)師需要有很好的數(shù)學能力，計算一個QPS里系統(tǒng)從網(wǎng)絡請求發(fā)出，到網(wǎng)絡的IO時間，DB的磁盤讀寫時間，CPU運算時間，再到數(shù)據(jù)庫連接數(shù)，數(shù)據(jù)分庫分表容量規(guī)劃，都需要有精確的計算。因為容量計算不正確帶來問題也是非常多的。比如一臺小機上ORACLE的連接數(shù)開了2000個，而應用系統(tǒng)由于不斷的擴展，小業(yè)務系統(tǒng)不斷加入，大型促銷活動前，臨時機器的不斷上線，很快就把DB連接數(shù)用完，引起業(yè)務部份不可用。架構(gòu)師需要去合理估算每種應用的服務能力，以及他對DB等資源的合理連接數(shù)。
加構(gòu)師對JVM的內(nèi)存分區(qū)及管理策略要有深入的了解，GC的頻率可以發(fā)現(xiàn)很多系統(tǒng)容量的問題。一個OLD區(qū)不斷加大的系統(tǒng)，伴隨YGC高頻發(fā)生，加上 TCP機器連接數(shù)很可能高，可能是要是機器了。一個業(yè)務功能不斷疊加的系統(tǒng)，很可能PERM區(qū)會需要加大設置，否則容易OUT OF MEMORY。
加構(gòu)師需要精讀《數(shù)據(jù)庫系統(tǒng)概念》這類書，對不同DB的索引原理和庫表存儲結(jié)構(gòu)有了解，我們可以不是ORACLE ACE，但一定要聽得懂ACE的DB架構(gòu)和性能優(yōu)化方面的建議。并且在原則上，前端用戶系統(tǒng)架構(gòu)上不要出現(xiàn)直連DB的設計，這是億級PV架構(gòu)的基礎設計保障，特別是一些營銷類功能系統(tǒng)，短時并發(fā)大的頁面不能有DB直連，一些小應用可例外對待。
架構(gòu)師需要很好的學習能力，技術(shù)是不斷變化的，昨天用DUBBO，明天可能要換HSF；今天MEMCACHE，明天可能REDIS；今天剛剛把應用拆分，明天可能就要合并。公司外的技術(shù)社區(qū)還不斷有一些好的開源中間件和框架出來，需要不斷學習，關(guān)注。大網(wǎng)站的架構(gòu)模式不一定合適小網(wǎng)站，新中間件和框架實施需要考慮運維成本和學習推廣成本，架構(gòu)上要選合適當前階段的。架構(gòu)師需要和不同類型的專業(yè)人才溝通，所以要能快速理解并學習不同專業(yè)的知識去補充自身的知識結(jié)構(gòu)不足。
架構(gòu)師需要理解業(yè)務，在一些業(yè)務系統(tǒng)型的網(wǎng)站，業(yè)務架構(gòu)師也顯得異常關(guān)鍵，比如像交易型系統(tǒng)，支付型系統(tǒng)。業(yè)務架構(gòu)師需要解決業(yè)務層次結(jié)構(gòu)，業(yè)務邊界劃分，業(yè)務優(yōu)先級與技術(shù)優(yōu)先級的平衡。傳統(tǒng)軟件的系統(tǒng)分析師不知道是否也干這角色？但互聯(lián)網(wǎng)的業(yè)務架構(gòu)師要求更高，應該是建立在系統(tǒng)架構(gòu)師的基礎上再看高一層，通過業(yè)務和技術(shù)的綜合影響力去幫助網(wǎng)站取得合理的架構(gòu)，更好得拿到業(yè)務結(jié)果。
網(wǎng)站架構(gòu)師的知識結(jié)構(gòu)是寬又深的。
3：設計理念
每個架構(gòu)師都會有一些自已原設計理念和原則。我的基本思路是：架構(gòu)要作到至少1年的預見性（半年不叫預見性，因為方案實施要半年）。設計的目標是盡量讓系統(tǒng)可以水平擴展，并利于。當然，有些業(yè)務處在生存的邊緣，可能架構(gòu)方案只有幾個月的生命力。但一些成本不高收益穩(wěn)定的架構(gòu)理念，不管什么時候都是值得優(yōu)先考慮的。以下是架構(gòu)設計的一些常用手段。
1>：異步換同步：系統(tǒng)中的很多調(diào)用是可以異步化的，包括WEB界面上的AJAX異步，還有服務端的消息型異步；AJAX調(diào)用的應用要注意把這種類型的應用集中到一個隔離的服務系統(tǒng)中，以方便在必要的時候進行服務降級。
AJAX調(diào)用一般都是界面上非同步非強依賴的功能點；服務端異步的系統(tǒng)可以讓服務端的請求RT變短，提升服務器QPS，同時減少應用強依賴。
一個小型系統(tǒng)（峰值萬級消息per second）的服務端異步消息可以借助RMDB的表實現(xiàn)，當網(wǎng)站規(guī)模變大時（峰值百萬級消息每秒），消息系統(tǒng)需要有一個中間件，負責消息持久化及數(shù)據(jù) CRUD管理；再大點的時候，消息中間件的分布式與可用性會有更高要求，需要綜合使用多種架構(gòu)設計理念；
同步換異步對軟件工程上的好處是，可以把一個子系統(tǒng)的不同模塊分別由不同的人開發(fā)維護，調(diào)試期間，兩個模塊也不會有很強的依賴。提高開發(fā)并發(fā)性。
2>: 集中變分布：
一個網(wǎng)站小的時候，很多業(yè)務都會在一兩個應用系統(tǒng)中實現(xiàn)。比如一個電子商務網(wǎng)站，從登錄，到首頁，到搜索，到產(chǎn)品DETAIL，到購物車，下單支付，風控，訂單管理，用戶中心到售后用戶糾紛流程。網(wǎng)站小的時候，這種一體化的業(yè)務架構(gòu)模式在網(wǎng)站規(guī)模小的時候，無論是研發(fā)團隊規(guī)模還是硬件成本都是比較低的。這個時期的擴展性一般只需要作到LB后面掛一片集群。服務器資源利用率這時候也是比較高的。
隨著業(yè)務規(guī)模擴大，需要把系統(tǒng)獨立分拆出來，基本原則是：不同維護策略和服務等級的頁面和服務 不要放在一個應用容器中，最好不要放在一個虛擬機或物理機上。發(fā)生過很多次緊急事件。因為大流量頁面上帶著一個小的AJAX請求，把提供AJAX服務的 WEB應用壓死。而這種AJAX應用平時又是比較容易在容量評估的時候被忽略的。也比較難以管理AJAX，因為一個前端開發(fā)工程師很可能因為一次小的運營活動加上一個調(diào)用。服務器端不同服務類型的功能也需要分拆到不同服務中，服務的聚合一定要有一定的原則，并不斷的調(diào)整治理聚合服務內(nèi)容。如果把一個文件生成類的業(yè)務功能（比如用戶批量導入導單）和一個下單的服務放在一起，很容易讓下單這類核心主干邏輯功能受批量導出功能影響，當架構(gòu)師需要作服務降級時，不得不侵入代碼層作服務功能的隔離。
架構(gòu)上的基礎設施也需要有隔離策略。比如一個功能先后需要完成讀數(shù)據(jù)，再生成文件，再發(fā)消息，再寫數(shù)據(jù)庫，寫CACHE，再把數(shù)據(jù)同步到另一個機房。這一串邏輯中，除了異步化策略之外，還需要考慮一些基礎職能的隔離，比如把生成文件的功能封裝成一個服務，文件存儲也需要從集中式變成分布式。T級可以考慮 NAS類的集中式存儲方案，P級和Z級的文件容量一般是需要考慮分布式文件系統(tǒng)方案，開源的也比較多。數(shù)據(jù)庫與從集中式變分布式是現(xiàn)在流行的方案，之前我們小網(wǎng)站的時候常用MASTER SLAVE，然后再大點搞雙MASTER寫，多SLAVE讀；再大點流量或者應用系統(tǒng)過多時，數(shù)據(jù)庫的連接數(shù)也會受到考驗，這時候分布式的分庫分表方案是必須的。當然對架構(gòu)師來講，如果能用上一種云方案，不需要業(yè)務架構(gòu)師考慮分庫分表方案，那會更有幸福感。同步系統(tǒng)也需要考慮集中變分布的策略，兩個機房或同一機房兩個系統(tǒng)進行數(shù)據(jù)鏡像同步，需要考慮多通道，分表，分字段，分庫進行同步，有時候還需加入一些商業(yè)邏輯作為同步數(shù)據(jù)的判斷。非鏡像同步的時候，同步系統(tǒng)還需要考慮業(yè)務邏輯之間的事務特性。
#p#
3>: 架構(gòu)層次化：
早期網(wǎng)站一般是兩層架構(gòu)，應用層+數(shù)據(jù)庫層；現(xiàn)在大型網(wǎng)站經(jīng)常采用三層架構(gòu)，應用+服務中心+持久層，這三層分別在不斷的增強可用性和可擴展性；理論上增強后的三層可以稱為saas+ paas +iaas。
我把saas層看作現(xiàn)在淘寶開放平臺上的第三方ISV應用，獨立發(fā)展，互不影響，SAAS層數(shù)據(jù)隔離，運維隔離。SAAS層還可以自建分布式CACHE，集中式CACHE或簡單的本機CACHE。電子商務網(wǎng)站本身的系統(tǒng)也可以把這個當成架構(gòu)設計的目標之一，把自已的應用層作成像第三方APP一樣的存在，這樣發(fā)展效率和擴展性都會高很好。
paas層是我理解中的服務中心，具有應用邏輯的一個業(yè)務層服務中心，比如UIC用戶中心，IC商品中心，TC交易中心等等 ，一般這樣的一個服務中心會被多個上層SAAS應用所調(diào)用依賴。對一只被一個SAAS應用依賴的服務中心是否值得建立，這個要看投入產(chǎn)出比，一般小網(wǎng)站可以直接讓應用連著DB，而中型網(wǎng)站也可以考慮在一個應用內(nèi)部分為兩層，先從JAR包層面隔離，PHP的話可以用代碼目錄結(jié)構(gòu)上來隔離。網(wǎng)站更大規(guī)模的時候，1：1的依賴也是值得建服務中心的，因為這樣可以隔離下面的持久層和上面的應用層，并且可以在PAAS層隔離考慮緩存等職能，可以考慮在這一層實現(xiàn)流控，隔離對DB連接數(shù)量的依賴。PAAS層要盡量實現(xiàn)自已的水平擴展，服務無狀態(tài)。
iaas層負責實現(xiàn)持久層，一般數(shù)據(jù)源都在這一層，常見網(wǎng)站的數(shù)據(jù)源不外呼這四種：RMDB（這個玩轉(zhuǎn)了近20年了），KV（最近10年比較熱，KV可以分為內(nèi)存型或持久型，對于持久型的KV，可以把數(shù)據(jù)掛到各類存儲中），inverted index or file(倒排索引類），F(xiàn)ILE SYSTEM（各類傳統(tǒng)文件存儲或自已實施的小文件中間件，普通文件中間件）。
這三次之間是1：1：1的關(guān)系建立，還是N:1:1，或是N：N：N，都是需綜合考慮的。曾經(jīng)有一次，我在設計一個系統(tǒng)的時候，為應用層界面設計了一個用戶列表的頭像顯示功能就引發(fā)了一個調(diào)用比例考慮不全的重大問題。當時，用戶有個旺旺的第三方游戲插件，插件主界面上有個好友列表，每個好友都有個頭像讀取的請求。假設用戶每天9點左右登錄旺旺的人中會有10%的人馬上去玩這個游戲，9點左右在線按100萬人算，每個人的好友有平均50個，則每天9點左右用戶頭像URL的HTTP請求量會有50*10萬，產(chǎn)生近500萬個突發(fā)的HTTP請求。雖然有CDN，依然存在很大的頭像請求容量的不足，并且服務端獲取用戶好友列表信息的接口調(diào)用并發(fā)量也會很大，如果沒有提前對第三方應用進行接口調(diào)用限制和設計上的規(guī)范化，調(diào)用比例很可能帶來極大的系統(tǒng)傷害。
應用層與服務層之間的調(diào)用與依賴會隨著網(wǎng)站規(guī)模變得越來越復雜，當網(wǎng)站小的時候，這兩層直接的固定協(xié)議調(diào)用是可以接受的，調(diào)用方知道服務端的IP LIST，也知道調(diào)用的SOCKET，還有調(diào)用的協(xié)議；規(guī)模更大的時候，調(diào)用變成N：N的方式，隨然有層次，但已經(jīng)成網(wǎng)狀結(jié)構(gòu)，這時候需要服務治理與服務依賴的監(jiān)控，流控等基礎設施。對于服務治理，引入服務中間件，比如阿里的DUBBO和HSF是比較成熟的可以處理每天億級的服務調(diào)用量并作好配置維護，調(diào)用統(tǒng)計，分布式，名稱服務，流控，路由等基礎職責，業(yè)界開源的也有很多；服務層還需要處理異步消息調(diào)用與消息通知的機制，這時候需還要配全一些消息中間件。
4>: 功能分解化
網(wǎng)站的應用級功能在網(wǎng)站小的時候一般都在一個物理機上，但在網(wǎng)站發(fā)展過程中，有些模塊經(jīng)常因業(yè)務原因發(fā)生變化和升級，有些模塊流量和調(diào)用量比較大，有些模塊處理的及時性和異步性要求不同，有些模塊與外部調(diào)用特別多；有些模塊經(jīng)常報異常，有些模塊IO多，有些模塊偏CPU計算型。不同的模塊需要隨網(wǎng)站規(guī)模發(fā)展進展不斷的分解。
架構(gòu)師之道在于庖丁解牛一般的理解業(yè)務系統(tǒng)的復雜度和結(jié)構(gòu)關(guān)系，進行合適的分解和聚合，這是我理解業(yè)務架構(gòu)的核心貢獻之一。一個業(yè)務架構(gòu)師首先是一個技術(shù)架構(gòu)師，沒有技術(shù)背景無法理解系統(tǒng)內(nèi)的技術(shù)邊界，沒有業(yè)務能理無法預見架構(gòu)變化的趨勢，也無法預見業(yè)務系統(tǒng)的流量變化。
5>:服務中心化
服務化有很多方式，三層網(wǎng)站架構(gòu)下，億級PV的網(wǎng)站最好能把同一業(yè)務邏輯被多方使用，邊界清楚的功能隔離出來作為服務。服務中心可以封裝對持久層的訪問，形成帶有業(yè)務邏輯的一種原子性服務，加上一些事務性控制的多個原子服務。服務中心不要有界面，管理好服務的粒度，可用性，高并發(fā)下的性能，以及服務路由，監(jiān)控為主要任務。
6>:結(jié)點監(jiān)控化
億級PV網(wǎng)站的監(jiān)控是非常關(guān)鍵的，很多系統(tǒng)問題，服務問題，流量問題，性能問題，業(yè)務異動都需要通過監(jiān)控來發(fā)現(xiàn)。監(jiān)控可以分為幾類，一類是快照型的，像搞活動的時候特別需要一個大盤監(jiān)控。可以看全局的流量，交易量，訪客分布，來源分布，系統(tǒng)LOAD，DB連接數(shù)，CPU和網(wǎng)卡口子的狀態(tài)；一類是基線型，可以看到每小時，分天同一個指標的變化歷史?？吹揭粋€頁面響應速度，服務器RT時間的變化；一類是關(guān)鍵業(yè)務邏輯結(jié)點的按需統(tǒng)計，比如需要看一下某頁面改動后某個頁面點擊量和原來的差別。
監(jiān)控會帶來系統(tǒng)的性能損失，特別是在線打點，不管你是在容器層面作的，還是在業(yè)務邏輯侵入方式實現(xiàn)的；另一種是通過日志分析，可能實時性差一些，比如有3 分鐘延遲；還有一類是基于RMDB直連的分析，一般會在備庫上把數(shù)據(jù)導出來作分析，實時性好一些，但對備庫或主庫DB有壓力。還有一類是基于消息的分析來實現(xiàn)監(jiān)控。讓一些關(guān)鍵結(jié)點有動作時，發(fā)現(xiàn)異步消息到消息隊列上，然后監(jiān)控系統(tǒng)的抓取模塊和正常 業(yè)務邏輯一樣去訂閱消費這些消息。這種方式需要監(jiān)控團隊與業(yè)務邏輯有協(xié)同，這對長期運維有挑戰(zhàn)。
4：基礎架構(gòu)
億級網(wǎng)站的基礎架構(gòu)是較多時間投入的一個工作，小網(wǎng)站一般沒有中間件的概念，基礎架構(gòu)投入精力不多，但一樣可以運行的很好。對于小網(wǎng)站，DB也像是一個中間件。一個億級PV的網(wǎng)站，要看PV，也要看UV。這兩個數(shù)字的規(guī)模對系統(tǒng)的技術(shù)架構(gòu)挑戰(zhàn)點是不同的。PV流過的系統(tǒng)和UV經(jīng)過的系統(tǒng)路徑不同，比例可能也有所不同。
架構(gòu)師需要分析這個路徑，好比庖丁解牛般的分析。在合適的節(jié)點引入中間件。比如一個億級商品量的系統(tǒng)，需要從商品的POST服務性能，圖片存儲空間，圖片縮圖處理服務，多語言商品信息翻譯，商品信息與圖片在不同系統(tǒng)之間同步的服務，圖片CDN服務，商品信息更新的通知和提醒服務，商品搜索服務，商品統(tǒng)計類信息服務等不同階段和信息模塊的CRUD中引入中間件，讓系統(tǒng)可擴展，可承受高并發(fā)。
在合適的時間點引入中間件提升架構(gòu)水平擴展能力，只是關(guān)心可擴展是不夠的。基礎架構(gòu)不只是要關(guān)心系統(tǒng)的可擴展能力，還需要關(guān)心可用性。系統(tǒng)達到億級PV 后，每停機1分鐘損失的流量都都是很大的。系統(tǒng)架構(gòu)師預見并規(guī)劃好系統(tǒng)容量。對于預料之外的超過容量的PV進行服務降級，限流，針對系統(tǒng)不可用時提供組織保障機制，用提前制定的緊急響應流程讓不可用時間盡可能變短，這也是很重要的架構(gòu)師職責。異地機房容災或是同一機房的系統(tǒng)切換也應該有定期不定期的演習。對于不同國家之間的機房災備，系統(tǒng)必須考慮機房之間的調(diào)用延遲，國內(nèi)同步系統(tǒng)一般在10MS之內(nèi)的延遲是可以接受的，對于非同步系統(tǒng)，延遲可適當放大，這種延遲的時間需要根據(jù)業(yè)務特性進行評估。對于中美之間的200ms級別的延遲，系統(tǒng)需要有合理的評估，盡可能不要有中美服務同步調(diào)用。這個200ms的延遲來自網(wǎng)絡物理傳輸，來自路由器路由算法的延遲，也有來自機房本地的信息號交換過程，是剛性的，很多大型電商網(wǎng)站都面臨這一問題的挑戰(zhàn)。EBAY， AMAZON，alibaba和GOOGLE這類的網(wǎng)站架構(gòu)設計時，一定會有很多系統(tǒng)不得不討論這一延遲帶來的系統(tǒng)方案區(qū)別。有時候網(wǎng)站會因業(yè)務原因考慮建完全獨立分站，有時候會灰這種架構(gòu)問題的影響考慮作單寫還是雙寫。如果是全球機房，則這一問題會變得更復雜。數(shù)據(jù)同步和分發(fā)會是一個關(guān)鍵的中間件和可用性設施。
性能是大規(guī)模網(wǎng)站的重要基礎架構(gòu)問題。網(wǎng)站應用層，我們關(guān)心系統(tǒng)的關(guān)鍵頁面的QPS值，比如在100并發(fā)下，系統(tǒng)某頁面能接受每秒幾次正常調(diào)用；綜合頁面的QPS也是需要關(guān)注的，特別是當一個前臺應用內(nèi)的界面比較多的時候。WEB應用的QPS可以通過服務端日志中的COOKIE來回放，進行線上線下的壓測來取得一個有信心的數(shù)字。前臺的WEB應用原則上不要有直接的DB層訪問，小規(guī)模網(wǎng)站者需要平衡投入產(chǎn)出比，有時候作一些TRADE OFF也是值得的。對于服務層的應用，一般關(guān)心TPS，因為調(diào)用都來自WEB應用系統(tǒng)，所以通過COOKIE回放這種調(diào)用是不可能。持久層的TPS和上兩層的QPS，TPS量之間存在一個比例。多個數(shù)據(jù)庫的TPS可能對應一個服務層的一個TPS。這對于系統(tǒng)的容量和機器的擴容估主也非常關(guān)鍵，需要維護這么一個狀態(tài)的快照。架構(gòu)師才能讓這個狀態(tài)時刻保持胸有成竹。發(fā)現(xiàn)關(guān)鍵資源瓶頸對于分析QPS和TPS是非常 關(guān)鍵的。
服務治理除了作抽應用層服務中心的工作和JAR包之間的依賴管理之外，服務強弱依賴也是需要有一個系統(tǒng)來監(jiān)控和管理的。隨時知道一個新上的系統(tǒng)在依賴哪個服務，或被哪個應用依賴，這是架構(gòu)師工作的必要工具。架構(gòu)師從輸出經(jīng)驗，到提供工具平臺，是一個必然的過程。小網(wǎng)站需要一個架構(gòu)師的經(jīng)驗快速搭建，大規(guī)模網(wǎng)站則不可能靠一個人的經(jīng)驗來進行判斷，需要更多的數(shù)據(jù)采集和分析生成規(guī)則。監(jiān)控系統(tǒng)是一個網(wǎng)站健康狀態(tài)的指示儀。
部署架構(gòu)是網(wǎng)站進入10億級規(guī)劃，99.99%可用性要求下必然關(guān)注的問題。無論是EBAY還是AMAZON都在部署上有很多投入。單一的機房由于電力，機柜等問題，經(jīng)常出現(xiàn)部署上的硬件約束；容災與不同地區(qū)訪問體驗要求異地機房能提供在線同時的服務。部署上需要考慮是全機房的對稱部署，或是應用不同分級的分區(qū)部署。比如持久層統(tǒng)一，服務層與應用層多機房對稱部署；或是持久層與應用層服務層完全對稱，但數(shù)據(jù)分區(qū)；這種分區(qū)需要考慮買家維度、賣家維度，或是 IP區(qū)域分區(qū)，不同區(qū)生成的數(shù)據(jù)通過同步系統(tǒng)實現(xiàn)各區(qū)的最終一致。以訂單為例，分區(qū)是可以讓美國買家創(chuàng)新的訂單寫在美國分區(qū)數(shù)據(jù)持久層，然后異步消息生成同步任務，數(shù)據(jù)同步到賣家所在的分區(qū)。
基礎架構(gòu)的工作還有很多，架構(gòu)師責無龐待。if not me, who?
5：軟件工程
架構(gòu)師除了作經(jīng)驗，工具和代碼輸出之外，還需要關(guān)注工作機制的建立和人員的傳幫帶。發(fā)布流程，可重復使用的灰度發(fā)布ABtest方案，代碼管理規(guī)范，代碼開發(fā)規(guī)范，人員梯隊，業(yè)務優(yōu)先級判斷，中間件和平臺化工作推進都是每一天的日常工作。有時候幫測式工程師去搭好并維護一套測試環(huán)境，也算是本職工作。
有些架構(gòu)師被稱為PM型架構(gòu)師，也有被感覺像RA型的，偏咨詢師型的架構(gòu)，偏業(yè)務型的，偏算法型的，偏性能調(diào)優(yōu)的，偏中間件和服務治理的，偏基礎架構(gòu)型的，這個是看網(wǎng)站發(fā)展階段的需要，缺什么，作什么。關(guān)鍵是看架構(gòu)在軟件工程過程中對產(chǎn)品，對團隊的輸出是否能解決問題，拿到結(jié)果！eat what, what strong。
6：不同類型業(yè)務系統(tǒng)技術(shù)架構(gòu)的差異化
每個網(wǎng)站架構(gòu)都有不同，完全復制是不科學的。哪怕現(xiàn)在想再作一個淘寶網(wǎng)，光靠把淘寶全部幾萬臺機器搬去是不行的，搭不出一個淘寶網(wǎng)。完全復制淘寶網(wǎng)的建設過程也不是靠譜的?？梢詮椭苹騾⒖嫉氖羌軜?gòu)的原則和經(jīng)驗教訓。不同類型的業(yè)務系統(tǒng)有不同的業(yè)務發(fā)展過程，業(yè)務架構(gòu)發(fā)展演變過程不同；技術(shù)架構(gòu)發(fā)展過程也不同，技術(shù)解決問題的重點不同，有些網(wǎng)站一開始需要解決的問題是如何從一個老網(wǎng)站中改版和分拆，有些則是全新的搭建。有些網(wǎng)站自建物流系統(tǒng)，有些則是與多家物流第三方對接系統(tǒng)。比如：有些網(wǎng)站交易模式簡單，有些則需要去支持各種不同交易模式，像多次付款，預售，批發(fā)，團批，階梯價格。。有些網(wǎng)站只需要解決支付 寶對接，有些則自建網(wǎng)銀與支付系統(tǒng)，風控系統(tǒng)。
架構(gòu)師要小心經(jīng)驗的慣性。大網(wǎng)站的方法不一定合適小網(wǎng)站。小網(wǎng)站的格局也不可能適用大規(guī)模。時代在變，地點在變，因時制宜，因地制宜。
7:小趨勢的生命力
開放平臺是胸懷: 06年，我們都談開放平以。其實這個理念最初考驗的是網(wǎng)站擁有者的胸懷。你是否愿意讓其它人進來操作你的數(shù)據(jù)，是否愿意看到別人作出比你理好的應用層系統(tǒng)？甚至是一些服務層的系統(tǒng)？
FB與微博是社會化：07年，我們都講SNS。SNS無處不在，因為他本質(zhì)上是一個社會化的思路下的技術(shù)系統(tǒng)表示。愿意接受UGC，能否以社會化的方式讓系統(tǒng)內(nèi)的數(shù)據(jù)產(chǎn)生和管理發(fā)生。原意為這些社會化的小數(shù)據(jù)作系統(tǒng)，才可以最終生成大數(shù)據(jù)的擁有者。
電商團購是心理：09年，GROUPON火了，大家都團購。團購本身是沒有什么技術(shù)創(chuàng)新的。有人說O2O是他的模式創(chuàng)新，可是，難道在原來的C2C網(wǎng)上不能實現(xiàn)嗎？就像超市里把促銷的商品放在貨架邊上的花車上，和放在貨架里有本質(zhì)區(qū)別嗎？區(qū)別在于心理，用戶體驗上的區(qū)別。有時候這也會是一種竟爭力，是一種常態(tài)化的經(jīng)營思路，但不會主流。
移動PC平板是體驗：10年，平板熱。這種比手機屏大，比筆記本屏小的東西，滿足了某些場景的方便性需求，體驗創(chuàng)新很有機會。
Pinterest電商導購是基尼：11年，導購網(wǎng)站火了。瀑布流熱了，國內(nèi)的蘑菇街，美麗說火了。從根本上來看，導購是解決 了網(wǎng)站商品與用戶流量之間的基尼關(guān)系，把基尼指數(shù)變得更小一些。否則80%的流量一直放在20%的熱門商品和大賣家的店里，市場規(guī)模會有影響。作生態(tài)圈好一些，有活路的人多了，市場 才穩(wěn)定。
外貿(mào)電商是庫存：12年，外貿(mào)電商預熱了，GOOGLE TRENDS里顯示，才作兩年的ALIEXPRESS的指數(shù)超過了DHGATE這個作了五六年跨境電商B2B網(wǎng)站，也越來越接近ALIBABA。COM這個老牌SOURCING網(wǎng)站。外貿(mào)從批發(fā)變小單是什么背景？我想本質(zhì)上他的銷售鏈變了。MIC基本還沒變，沒有變成快速反應能力的供應商，但出品商變成了擁有小單外貿(mào)客服能力的80后；進口商變成了國外的RETAILER，國外的超市變成了最終消費者。
體感外設是物聯(lián)：13年，各類體感設備越來越豐富。什么手勢，什么隨身拍，什么位置設備，拍照設備。好玩。按馬斯少理論來講，工作是生存需求，買房子是安全需求，買車和大房子是社交需求，體現(xiàn)在的單位和職位是尊重需求，買體感設備，那是自我實現(xiàn)。
BARABASI預見了末來，小趨勢改變末來的本質(zhì)是一種叫冪律的無形之手，像我們所熟知的長尾。據(jù)說人類行為90%是可以預測的，人類的90%的形為是可以采集的。架構(gòu)師從不同觀察者的角度理解他們的觀點有時候會有更多的預見性。
8：LAST BUT NOT THE LEAST
作網(wǎng)站如作人。架構(gòu)的是人的骨架，人還需要配一個好的心態(tài)：心胸+態(tài)度。心胸是裝進不同聲音采集到信息的基礎，態(tài)度是推廣服務他人的手段。一個新架構(gòu)方案下去，一定會有反對的聲音。如何去說服別人現(xiàn)在就啟動架構(gòu)升級或轉(zhuǎn)型方案，是需要帶著心態(tài)去的。畢竟一個大的架構(gòu)方案是需要很多人一起努力才能拿到結(jié)果，不是一兩個英雄人物能造就的。架構(gòu)師的工作方式是主動的，而不是問題驅(qū)動的。能解決問題的架構(gòu)師是牛B的，能預見問題或提前準備的架構(gòu)師是稱職的，這才是技術(shù)促進業(yè)務。
沒圖片寫貼子就是比較快？不過讀起來是會費點眼力。
