提要：目前，國內自主研發(fā)的文件系統(tǒng)可謂鳳毛麟角。淘寶在這一領域做了有效的探索和實踐，TaobaoFileSystem(TFS)作為淘寶內部使用的分布式文件系統(tǒng)，針對海量小文件的隨機讀寫訪問性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)存儲。

　　文章首先概括了TFS的特點：

　　TFS是什么

　　TFS，TaobaoFileSystem，淘寶內部使用的分布式文件系統(tǒng)，主要針對海量小文件的隨機讀寫訪問性能做了特殊優(yōu)化，承載著淘寶主站所有圖片、商品描述等數(shù)據(jù)的存儲。

　　TFS有什么特點

　　1.完全扁平化的數(shù)據(jù)組織結構，拋棄了傳統(tǒng)文件系統(tǒng)的目錄結構。

　　2.在塊設備基礎上建立自有的文件系統(tǒng)，減少EXT3等文件系統(tǒng)數(shù)據(jù)碎片帶來的性能損耗

　　3.單進程管理單塊磁盤的方式，摒除RAID5機制

　　4.帶有HA機制的中央控制節(jié)點，在安全穩(wěn)定和性能復雜度之間取得平衡。

　　5.盡量縮減元數(shù)據(jù)大小，將元數(shù)據(jù)全部加載入內存，提升訪問速度。

　　6.跨機架和IDC的負載均衡和冗余安全策略。

　　7.完全平滑擴容

　　TFS在淘寶的應用規(guī)模

　　1.數(shù)百臺PCServer

　　2.PB級數(shù)據(jù)量3.百億數(shù)據(jù)級別TFS的性能參數(shù)

　　TFS在淘寶的部署環(huán)境中前端有兩層緩沖，到達TFS系統(tǒng)的請求非常離散，所以TFS內部是沒有任何數(shù)據(jù)的內存緩沖的，包括傳統(tǒng)文件系統(tǒng)的內存緩沖也不存在。我們主要的性能參數(shù)不是IO吞吐量，而是單臺PCServer提供隨機讀寫IOPS。由于大家硬件型號不同，當然也是因為一些技術保密的原因，我們很難給出一個參考值來說明性能。但基本上我們可以達到單塊磁盤隨機IOPS理論最大值的60%左右，整機的輸出隨盤數(shù)增加而線性增加。

　　TFS的邏輯架構圖

　　以上是TFS的一個簡要的應用情況和架構介紹，后續(xù)將逐步豐富，歡迎大家拍磚。并再次做個廣告，TFS計劃在今年9月份建立開源社區(qū)，請大家支持。

　　文章發(fā)表以后，讀者反響熱烈，在評論中提出了各種問題與作者楚材進行技術交流，由此可見國內社區(qū)對自主研發(fā)文件系統(tǒng)的關注程度。(編輯：燕青)

來源： 億邦動力