當前位置:首頁 » 數據倉庫 » 淘寶的具體資料庫結構
擴展閱讀
webinf下怎麼引入js 2023-08-31 21:54:13
堡壘機怎麼打開web 2023-08-31 21:54:11

淘寶的具體資料庫結構

發布時間: 2022-09-19 02:25:35

⑴ 淘寶的資料庫怎麼搭建

我們也了解到,現在淘寶的整個的資料庫團隊在逐漸的把一些資料庫從Oracle遷移到MySQL,然後呢,把一些伺服器由小型機轉到PC server,那你們整個轉變的動機是什麼?
主要是因為業務壓力給了我們最大的動力。07年我來到淘寶的時候,當時只有三個主要的資料庫,全部在小型機和存儲上面。以當時的壓力來看,它跑起來是非常順利的,而且大家也知道小型機它從Unix操作系統到硬體,穩定性都會比PC server其實要高很多,當時的情況下淘寶用小型機是一個非常自然的選擇。
從07年開始淘寶的業務量保持每年自然翻一番的增長,資料庫質量感覺到非常大的壓力。那麼前端業務量增長一倍,在資料庫上有可能增長是好幾倍,它有一個放大效應在里邊。當時我們第一步能夠想到很自然的架構,就是把三個資料庫拆成更多的資料庫,或每一個資料庫支持一個比較單一的業務。比如用戶、商品和交易,都會分成獨立的資料庫,然後放到獨立的小型計算中去,這是我們08年做的很大的事情就是垂直拆分,然後08年的業務我們就頂住了。
當時我們就預估09年、10年會有更大的壓力增長,這個時候我們應該怎麼辦?當時我們從業界能看到很多的經驗分享,包括eBay、亞馬遜這些國外的大公司,他們的經驗分享裡面,水平拆分是我們資料庫漲到一定程度後的架構選擇。我們從Oracle到MySQL轉移,主要是用水平拆分,這是我們未來的一個弱點,那水平拆分後機器、資料庫的數量都會多很多,那Oracle它本身的成本也是我們考慮的一個重要因素,所以當時從成本考慮的話,那個時候我們自然會選擇用MySQL資料庫。
給我們再簡單總結一下這幾年,淘寶整個資料庫的演變過程?
剛才說到08年我們做完垂直拆分以後,09年到今年我們主要做的工作其實就是水平拆分。今年在十月份之前我們全部完成了淘寶最核心的三個系統:交易資料庫、商品資料庫和用戶資料庫的水平拆分。所以到「雙十一」之前,在我們內部采訪中,我一直跟采訪人員說,當時資料庫情緒穩定。基本上我們沒有做什麼事情,只是在不停的看報表,看數據,然後很開心的看到交易曲線以超過45度的趨勢往上漲。
那前期還是做了非常完善的准備。據我們了解在整個從小型機到PC server的遷移,包括從Oracle到MySQL資料庫的遷移,你們在做這個事情的時候,都做過好幾個月的壓力測試。你講講這個背景和故事。
是這樣的,今年我們年初決定,我們商品庫從小型機遷到PC server上面去,這是淘寶壓力最大的一個資料庫,當時是用四台小型機加兩個高端存儲來支撐的。要把這么大一個資料庫進行遷移,我們心裏面也是沒有底的,因為不知道要多少台PC server能夠支撐,需要什麼樣的配置來支撐這個壓力?當時我們能夠想到一個很直觀的想法就是模擬線上完全一樣的壓力,甚至加上幾倍的壓力來測它的極限值。
我們和開發團隊、我們的性能測試團隊,加上DBA團隊和ops團隊,成立了一個非常大的項目組,然後做了接近兩個月的性能測試,在整個測試過程中發現了非常多的問題,包括我們給Oracle、MySQL等廠商都提交了很多Bug,有些Bug也得到廠商回應,進行修復。
那整體的轉變的過程到現在進行到了什麼樣的程度?包括你在整個轉變的過程中遇到哪些問題?
我們現在最核心的用戶資料庫今年已經徹底完成了從小型機、存儲和Oracle切入到PC server加MySQL的架構。
我們內部有一個提法叫做去O、去I、去E,其實就是我們要從高端硬體Scale up模式到低端硬體的Scal out水平擴展的模式,這是淘寶內部最大最核心的系統,今年已經順利完成了全部區的水平擴展。其他幾個系統,比如說交易和商品已經完成了一部分,完成了水平拆分的一部分,但是沒有達到我們希望的進度,這可能是明年我們需要做的事情。
在轉型過程中主要遇到哪些問題?
讓我們覺得比較大的問題就是我們從可靠的小型機遷移到大規模,大數據量的PC server上來,從架構上就對我們就是一個非常大的挑戰。大家都知道,每一個PC server的穩定性肯定和單台小型機會有一定的差距,再加上我們一個機群有可能是32台或者64台PC server。每一台PC server即使有四個9的可用性,但如果我們整個系統合在一起,可能它最後的兩個9的可用性都達不到。這就需要我們從軟體層、架構層要做非常多的改進,能夠要讓單點的一些失效對整體的系統不造成任何影響,因為我們和架構部門、開發部門一起做了很多事情,才能保證我們的集群穩定上線。
其實「雙十一」這個時間應該說是對過去的技術轉變的檢驗,現在回頭來看,這個檢驗的結果怎麼樣?
當時是有點提心吊膽的,之後又覺得相對來說今年我們做的很多事情還是非常成功的。但是現在再回頭仔細想想還是有點後怕,「雙十一」那天的凌晨零點不是有一次Ipad的秒殺嗎,當天晚上我們都在線上觀察數據,在零點的一瞬間,就看到所有資料庫指標已經達到了以前正常時候最高峰的指標,有些甚至還超過了。
當天晚上睡覺的時候心裡就有點在打鼓:才零點就這個樣子了,明天下午明天晚上最高峰的時候我們應該怎麼渡過?所以第二天早上八點多的時候我們一進到指揮部裡面就看到所有的指標, 包括CDN的指標、各個業務線的指標、資料庫的指標都是噌噌的往上漲,這時心裏面其實是很忐忑不安的。
但是我們比較放心的是這三大核心系統,商品、用戶和交易,在我們今年所有的水平擴展項目做完了以後,比如說商品功能做完了以後,從我們的機械壓測裡面它是有十倍的流量的,所以當天百分之一百,百分之兩百的流量基本上對資料庫沒有造成太大的影響,所以當時還是很開心的看到這個指標快速的往上漲,希望交易能夠通過10個億、20個億,我覺得都是能夠承受的。
那對於整個資料庫架構的演進下一步有什麼打算?
下一步其實就是剛剛說的我們有幾個核心系統還沒有完全的做到這個水平擴展,加上「雙十一」那天我們還是有一個小驚險:我們有一個資料庫,跟交易核心有一點點聯系的,但它還是放在小型機上面,當時已經提前為它准備了百分之一百的餘量,就是說它可以承擔平時最高壓力的兩倍。
但是那天已經達到平時最高壓力的1.8倍左右的時候,把我們嚇出了一身冷汗。如果當時淘寶的交易最高峰的流量再增長20%的話,有可能資料庫就會到瓶頸了。所以我們明年是要把更多這種Scale up能夠看到天花板的資料庫全部要拆分成水平庫存這種資料庫。
那你剛才所提到的去Oracle,去小型機,去高端存儲,這個「三去」的整體思路給淘寶網帶來了哪些經濟上的效應?
當時我們知道小型機和存儲的價格是非常昂貴的,還是拿我們剛才說壓力最大的商品資料庫舉個例子,當初我們資料庫是用了四台高端的小型機,兩套高端的存儲,成本加起來起碼都是三千萬以上。那目前我們用的是32台PC server來搭建的一個機群,價格也就是300萬~500萬的級別。相對來說我們做完這個事情以後,解決了兩三千萬的硬體成本。
這樣來講,整體的經濟效益還是非常不錯的。但是其實剛才我們在前期溝通的時候也提到,你要從Oracle轉到MySQL,包括從小型機轉到PC server,其實裡面還是會遇到蠻多問題的,包括它的不穩定性等等,那對於這一方面你有沒有什麼經驗可談?
在這一方面,我覺得有兩個很重要的因素。第一個是我們需要和我們的開發前端應用架構部門能夠緊密的合作,能夠讓我們的應用融入剛才說的整個機群的單點失效和容災的問題。都需要我們和架構部門一起來考慮的;第二個比較大的經驗就是目前我們在做的,深入研究MySQL的源代碼。我們從研究和壓力測試的過程中,發現MySQL它本身代碼的一些缺陷,可能在高並發大壓力下會有很多隱藏的Bug。
在我們最近的這次測試當中,我們還發現了Facebook發布的FlashCache二級緩存的軟體,當時我們是測出它一個非常大的Bug:並發壓力非常大的情況下,它會導致MySQL成為一個僵屍進程。我們發現了以後,很快反饋給Face book,然後Face book很快就修復了這個問題,這也是我們對使用開源軟體帶來更大的一個信心,就是開源能夠在全球得到更多的支持,大家都能夠從原代碼層面來解決更深層次的一個問題。
我想這也可能是淘寶技術團隊現在那麼開放,那麼注重開源的動力之一。那如果說想對MySQL的一些核心代碼做編譯,就需要對人才的儲備,包括各方面資源整合的要求還是蠻大的,那你在這方面有沒有什麼感觸?
說到人才這個話題,08年的時候,淘寶當時准備大規模的往MySQL方向上轉,我們內部也是有一些置疑的聲音。他們說淘寶DDA團隊以前都是在Oracle方面比較專精,在業界來說,淘寶的DDA團隊在Oracle方面更加有名氣一些。所以我們內部有置疑的聲音。就是說你們有MySQL專家嗎,MySQL出問題了以後能很快的解決嗎?所以從08年到現在,我們慢慢的一路走過來,內部培養了很多的MySQL的人才,包括這幾年我們的應屆生的成長,再加上我們從外部招到一些專家,我們對MySQL的理解已經越來越深。
剛才說到,我們已經能夠給MySQL打Patch,已經能夠給MySQL report這些Bug。到現在為止,我覺得MySQL的成長已經達到了非常高的一個程度,我們對MySQL已經越來越有信心,但是未來淘寶的MySQL肯定是要做得越來越大的,淘寶還有很多小型機上面擴展不太容易的系統需要遷移到可擴展的機群上面來,但我們也希望業界能夠有更多的MySQL夥伴加入我們,和我們一起來做這么一件非常有意義的事情。
我想能夠加入到淘寶的技術團隊,去經歷那麼多有大交易量的技術實踐還是非常寶貴的。另外一個問題就是雖然說現在我們用的越來越多的是MySQL,但是現在大家也知道MySQL已經被Oracle收購了,那對像淘寶這樣的團隊有什麼影響呢?
大家都知道MySQL其實是基於GPL的協議來開源的軟體,那淘寶在使用過程中,前期是已經考慮到一些風險。所以我們所有的MySQL都是自己來做編譯做優化的,而且我想MySQL被Oracle收購了以後,現在看起來Oracle應該是給MySQL在開發這方面是提供了更大的幫助,像之前在Sun的時候,MySQL的版本相對來說是比較混亂的,包括我們現在在用的5.0和5.1的正式版本,最近還有包括開發方面就還有兩個,一個6.0,一個5.4,這些特性會互相交織在一起,讓我們選擇的時候也有點不知道到底選哪個版本會更好一點。但現在Oracle收購MySQL以後,他把5.4跟6.0這些版本已經合成了一個比較規范的5.5的版本,並且為它制訂了很好的一個milestone15:31,未來要怎麼發展這個里程碑,M1、M2、M3、M4這種發展方向,而到現在為止這個5.5已經發展到5.6、5.7的版本,而且已經是IC版本了,很快就要GA了,那我想這對於MySQL來說應該是一個好消息。我們可以用到更多更穩定的新特性, 5.5版本里有幾個新的特性是我們非常關注的,比如Google已經達到英文15:57這個pach,所以我們覺得對我們未來的這個MySQL這個系統非常有用的一個功能。那我們也等著Oracle的5.5這個版本能夠盡快的GA出來。

⑵ 怎樣分析淘寶網網站的結構和功能

1.建立網站的目標和業務分析。

淘寶網致力於成為全球最大的個人交易網站,是一個典型的C2C應用模式。他們的目標是成為世界上最大的個人交易網站。

做好最大的個人交易網站,我們必須提高網站的流量,淘寶投資很多錢,廣告從車廂廣告、報紙、戶外廣告、廣播、電視、網路媒體等,最後贏得了平均每天6000萬訪客。

2.網站目標客戶分析。

致力於打造全球最大的個人交易網站,所以,淘寶的目標客戶,無疑是在網上開店的賣家,淘寶做的工作,就是吸引這些賣家的眼球,讓他們開店,免費的一切費用,讓他們無後顧之憂。

3.競爭對手分析。

當我在淘寶上開店的時候,我的公司已經在中國發展了好幾年了。通過對icomany的調查和對中國國情的調查,淘寶網在三年內實施了免費政策,支持賣家,吸引更多賣家,使電子商務在中國能夠順利快速發展。

4.網站市場定位分析。

淘寶是由阿里巴巴投資4.5億元建立的。公司定位為「全球最大的個人電子商務平台,致力於完善C2C電子商務平台」。

倡導安全、誠信、活波、高效的網路交易文化,淘寶會員在打造一個誠信、安全的交易平台的同時,還致力於營造一個溫馨、舒適的購物環境,讓您在購買的同時,還能交到更多的朋友。

5.內容更新和溝通。

淘寶的內容更新的很快,就像它的主頁,有一元拍賣,荷蘭式拍賣,二手的,新的商店,等等,這樣的內容,幾乎每天都在變,因為淘寶的拍賣中,根據時間排名,拍賣時間越短越接近前線。

還有公告欄,隨時發布信息,讓用戶及時了解淘寶的一些活動和規則。此外,淘寶還有店主、客服,及時處理一些用戶的問題、建議和投訴。

(2)淘寶的具體資料庫結構擴展閱讀:

注意事項:

1.淘寶結構

Aliwangwang:一個在線注冊用戶互相交流的即時通訊軟體。Aliwangwang是淘寶官方推薦的交流工具。

淘寶店鋪:所有淘寶賣家在使用淘寶旺鋪或網店時,淘寶旺鋪是比較常見的店鋪,而每一家新店的誕生都是淘寶上的默認系統生成的店鋪界面,常被稱為普通店鋪。

淘寶網鋪(個性化店鋪)服務是由淘寶提供給淘寶賣家的,允許賣家使用淘寶提供的電腦和網路技術,實現與淘寶一般店鋪展示形式不同的個性化店鋪頁面展示功能。

淘寶索引:基於淘寶的免費數據查詢平台。通過輸入關鍵字,可以搜索淘寶市場細分市場的熱點、交易趨勢,定位消費者群體的趨勢變化。

快樂淘寶:2009年12月,淘寶和湖南衛視「快樂淘寶,」合資公司,擴大市場,電視購物不僅推出了2010年4月在湖南衛視「快樂淘寶」項目,還在淘寶上創建一個「快樂淘寶」獨立子區和外部網站,創建電子商務結合電視媒體品牌新的商業模式。

淘寶基金:2013年11月1日中午,淘寶基金融資渠道上線,泰達瑞麗、國泰航空、鵬華、富國銀行等眾多基金也將成為首支在淘寶商城上線的基金。

淘點點:淘寶推出「淘點點」,希望重新定義「吃」。2013年12月20日,淘寶宣布正式推出移動餐飲服務平台——淘點點。通過淘點點,消費者可以下訂單,隨時付款,留下送貨地址和電話,10分鍾後,外賣商家就會把新鮮出爐的食物送到家門口。

2.淘寶技術應用

(1)網站界面設計:淘寶網不斷改進和創新,使網站的畫面更加簡潔。

(2)客戶服務中心:一旦用戶有不理解的問題,可以到客服中心的頁面尋求解決方案。客戶服務中心包括四個板塊:幫助中心、淘友互助吧、淘寶大學、買/賣安全。

(3)虛擬社區:淘寶虛擬社區的成功促進了消費者的信任。在虛擬社區下,有建議廳、咨詢台、支付寶學校、淘寶故事、體驗等。

(4)淘寶網實名認證:一旦淘寶發現用戶注冊信息中的主要內容不真實,淘寶可以隨時終止與用戶的服務協議

(5)交易平台:為了解決C2C網站支付問題,淘寶搭建了「支付寶服務」技術平台。

⑶ 淘寶用的什麼資料庫

淘寶選擇的是MySQL的MyISAM引擎作為底層的數據存儲引擎。

且為了應對海量數據,他們設計了分布式MySQL集群的查詢代理層-MyFOX

⑷ 淘寶網站建設中運用了哪些資料庫技術

用的Oracle資料庫,因為每年淘寶和阿里巴巴在大學招聘資料庫人員的時候,考試都是要會Oracle技術的!!所以淘寶在資料庫方面只定用的是Oracle
還有lz的問題問的也不嚴謹呀!
樓上的微笑,根本答的都不對
資料庫分為
1. IBM 的DB2 2. Oracle 3. Informix 4. Sybase 5. SQL Server 6. PostgreSQL 7.mySQL 常用的就5.7把這2樣學會就完全可以了

⑸ 淘寶用的什麼資料庫

淘寶選擇的是MySQL的MyISAM引擎作為底層的數據存儲引擎。
且為了應對海量數據,他們設計了分布式MySQL集群的查詢代理層-MyFOX

⑹ 淘寶網採用的架構是b/s還是c/s

B/S

B/S(Browser/Server)結構即瀏覽器和伺服器結構。通常說的網頁。

C/S (Client/Server)結構,即大家熟知的客戶機和伺服器結構。通常指的是軟體。

⑺ 如何利用淘寶網資料庫的結構,來提高自己的商品排名

你建個淘寶用戶 用到的欄位你都可以列出來 自己總結的好 分別放到不同的數據表下 建立主鍵及關系圖 既然問這個級別的問題就多練習下吧

⑻ 淘寶的資料庫怎麼搭建

淘寶的整個的資料庫團隊在逐漸的把一些資料庫從Oracle遷移到MySQL,然後呢,把一些伺服器由小型機轉到PC server,MySQL其實是基於GPL的協議來開源的軟體,那淘寶在使用過程中,前期是已經考慮到一些風險。
MySQL的版本相對來說是比較混亂的,包括我們現在在用的5.0和5.1的正式版本,最近還有包括開發方面就還有兩個,一個6.0,一個5.4,這些特性會互相交織在一起,讓我們選擇的時候也有點不知道到底選哪個版本會更好一點。
做網站的時候要找出性價比更高的合作夥伴,從價格,服務,技術等多方面考慮,而不是為做網站而做網站,不懂網站SEM的或只懂技術的最好別用,SEO的目的。

⑼ 淘寶網站分析

1、淘寶結構

阿里旺旺:一種即時通訊軟體供網上注冊的用戶之間通訊,阿里旺旺是淘寶網官方推薦的溝通工具。

淘寶店鋪:指所有淘寶賣家在淘寶所使用的旺鋪或者店鋪,淘寶旺鋪是相對普通店鋪而誕生的,每個在淘寶新開店的都是系統默認產生的店鋪界面,就是常說的普通店鋪。而淘寶旺鋪(個性化店鋪)服務是由淘寶提供給淘寶賣家,允許賣家使用淘寶提供的計算機和網路技術,實現區別於淘寶一般店鋪展現形式的個性化店鋪頁面展現功能的服務。

淘寶指數:是一款基於淘寶的免費數據查詢平台,可通過輸入關鍵詞搜索的方式,查看淘寶市場搜索熱點、成交走勢、定位消費人群在細分市場的趨勢變化的工具。

快樂淘寶:2009年12月,淘寶和湖南衛視合作組建「快樂淘寶」公司,聯手拓展電視網購新市場,不僅於2010年4月在湖南衛視推出「快樂淘寶」節目,還在淘寶網上開辟「快樂淘寶」子頻道專區和外部獨立網站,創建電子商務結合電視傳媒的全新商業模式。

淘寶基金:2013年11月1日中午,淘寶基金理財頻道上線,泰達瑞利、國泰、鵬華、富國等多隻基金也將成為首批上線的基金淘寶店。

淘點點:淘寶推出「淘點點」,希望重新定義「吃」。2013年12月20日,淘寶宣布正式推出移動餐飲服務平台――淘點點。通過淘點點,消費者可以隨時隨地自助下單、付款,留下送貨地址和電話,十幾分鍾後,外賣商戶就把新鮮出爐的美食送上門。

2、淘寶功能

亞洲最大、最安全的網上交易平台,提供各類服飾、美容、家居、數碼、話費/點卡充值==. 2億優質特價商品,同時提供擔保交易(先收貨後付款)、先行賠付、假一賠三、七天無理由退換貨、數碼免費維修等安全交易保障服務。

3、淘寶技術運用

(1)網站界面設計。淘寶網不斷地改進和創新,使得網站的畫面更加簡潔。

(2) 客服中心。一旦用戶有什麼不明白的問題,就可以到客服中心的頁面下尋求解決,客服中心包括:幫助中心、淘友互助吧、淘寶大學和買/ 賣安全四大版塊。

(3) 虛擬社區。淘寶的虛擬社區建立的成功,促進了消費者的信任。虛擬社區下設建議廳、詢問處、支付寶學堂、淘寶里的故事、經驗暢談居等版塊。

(4)淘寶網的實名認證。一旦淘寶發現用戶注冊資料中主要內容是虛假的,淘寶可以隨時終止與該用戶的服務協議

(5)交易平台。為了解決C2C 網站支付的難題,淘寶打造了「支付寶服務」技術平台。

(9)淘寶的具體資料庫結構擴展閱讀 :

安全制度

淘寶網也注重誠信安全方面的建設,引入了實名認證制,並區分了個人用戶與商家用戶認證,兩種認證需要提交的資料不一樣,個人用戶認證只需提供身份證明,商家認證還需提供營業執照,且,一個人不能同時申請兩種認證。淘寶同樣引入了信用評價體系,點擊還可查看該賣家以往所得到的信用評價。

對於買賣雙方在支付環節上的交易安全問題,淘寶推出了名為"支付寶"的付款發貨方式,以此來降低交易的風險。支付寶特別適用於電腦、手機、首飾及其它單價較高的物品交易或者一切希望對安全更有保障的交易。在淘寶使用支付寶目前是免費的。當用戶用支付商品貨款的時候,通過淘寶的工行介面付款,用戶不用負擔匯費。

購物尤其在購買大件商品的時候,注意看賣家是否同意使用支付寶,如果同意支付寶,那麼保險系數更大一些。如果賣家在商品上沒有同意使用支付寶的承諾,你可以和賣家聯系。

參考資料來源:網路-淘寶網

⑽ 誰知道,淘寶在後台的資料庫群集是個什麼架構,想學習下。

大型的資料庫,都是通過多台伺服器連接架設的,他們是一個整體的系統,就是說 第一台伺服器放哪些表,第二台伺服器又放哪些表 etc..
做這些都是因為一台伺服器無法負荷。