FastDFS是以純C語言實現(xiàn)的一款開源輕量級分布式文件系統(tǒng)，支持Linux、FreeBSD、AIX等UNIX類系統(tǒng)。
FastDFS不是通用的文件系統(tǒng)，不支持POSIX接口方式，只能通過專有API對文件進行存取訪問，目前提供了C、Java和PHP API為互聯(lián)網(wǎng)應用量身定做，解決大容量文件存儲問題。
主要功能有：文件存儲，文件同步，文件訪問(文件上傳/下載)，適合以中小文件(建議范圍：4KB < file_size<500MB)為載體的在線服務，如相冊網(wǎng)站、視頻網(wǎng)站等等。
FastDFS由跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)構成。
1、跟蹤器-Tracker
跟蹤服務器，主要做調(diào)度工作，起負載均衡的作用。在內(nèi)存中記錄集群中所有存儲組和存儲服務器的狀態(tài)信息，是客戶端和數(shù)據(jù)服務器交互的樞紐?？蛻舳嗽L問集群的時候會隨機分配一個Tracker來和客戶端交互;
2、存儲節(jié)點-Storage
存儲服務器(又稱：存儲節(jié)點或數(shù)據(jù)服務器)，實際存儲數(shù)據(jù)的地方，文件和文件屬性(meta data)都保存到存儲服務器上。Storage server直接利用OS的文件系統(tǒng)調(diào)用管理文件。Group可以隔離不同應用的數(shù)據(jù)，不同應用的數(shù)據(jù)放在不同group里面;
3、客戶端-Client
作為業(yè)務請求的發(fā)起方，通過專有接口，使用TCP/IP協(xié)議與跟蹤器服務器或存儲節(jié)點進行數(shù)據(jù)交互。每個客戶端服務器需要安裝Nginx。
由于FastDFS產(chǎn)品非常輕量簡單，支持最小化部署，所以目前還有部分用戶在使用該產(chǎn)品。但FastDFS被使用在生產(chǎn)環(huán)境還有很多隱患和不足：
FastDFS主要缺陷
01XEOS對象存儲
XEOS (XSKY Enterprise Object Storage)通過全新的存儲技術手段，基于通用服務器硬件構建了一個近乎無限擴容、持續(xù)在線、可跨地域訪問的高性價比存儲架構體系，在保證了數(shù)據(jù)高安全性的同時，打破存儲規(guī)模和地域限制的壁壘，降低企業(yè) IT 建設的投入，滿足了新業(yè)務形態(tài)的多源化存儲需求。
XEOS完備的企業(yè)級存儲特性，如：多副本/EC、QoS、負載均衡、小文件歸并、統(tǒng)一命名空間、數(shù)據(jù)分層等，完美解決了FastDFS的諸多產(chǎn)品問題，平滑的適配了其使用場景。
02X3DS輔助FastDFS 平滑遷移至XEOS
X3DS(XSKY 3D data management System)是XSKY提供的立體數(shù)據(jù)管理系統(tǒng)?？商峁┓墙Y構化數(shù)據(jù)的DR(Disaster Recovery，災難恢復)，DP(Data Protection，數(shù)據(jù)保護)和DM(Data Migration，數(shù)據(jù)遷移)這三大管理能力，是一個立體的三維數(shù)據(jù)管理平臺。
支持非結構化數(shù)據(jù)的復制、遷移、備份、歸檔功能，支持豐富的數(shù)據(jù)管理策略，滿足不同用戶的個性化要求。支持多存儲后端協(xié)議(如：CIFS,NFS,FTP,S3,BOS,OSS，F(xiàn)astDFS等)，極大的兼容了市場上主流文件傳輸協(xié)議。
支持跨廠商的文件和對象存儲之間數(shù)據(jù)相互移動，支持跨云的數(shù)據(jù)上云和下云，適應性廣，避免用戶被設備廠商和公有云廠商鎖定。遷移任務支持斷點續(xù)傳，應對海量數(shù)據(jù)遷移過程中，如發(fā)生機房掉電等故障，故障恢復后，再次啟動遷移任務可以實現(xiàn)斷點續(xù)傳，有效節(jié)省遷移時間。
1、整體遷移方案架構
2、方案特點
可配置遷移QoS;
支持主流協(xié)議遷移;
為保證數(shù)據(jù)可用，業(yè)務切換時需要短暫停機做最終數(shù)據(jù)一致檢查;
支持—file-from，指定文件遷移;
支持腳本工具導出FastDFS集群文件ID;
遷移任務支持斷點續(xù)傳。
3、具體部署方案
整體操作流程：
創(chuàng)建源端
創(chuàng)建目標端
創(chuàng)建遷移任務
數(shù)據(jù)遷移中
產(chǎn)品安裝部署：
1.目標XEOS集群部署
網(wǎng)絡需要與源端集群業(yè)務網(wǎng)絡連通;
參照《星辰天合分布式存儲系統(tǒng)軟件安裝手冊》完成XEOS分布式對象存儲安裝，初始化配置，調(diào)試完畢，準備就緒。
2.信息收集，集群規(guī)劃
收集原有FastDFS集群相關信息;
結合客戶需求定制，規(guī)劃新集群相關配置信息。
3.遷移流程規(guī)劃
遷移項目實施需有詳盡的方案規(guī)劃，針對不同的業(yè)務應用或者租戶，優(yōu)化切割時間節(jié)點;
評估重點業(yè)務，為保證遷移的有效性和安全性，需要對驗證遷移前后數(shù)據(jù)的一致性和完整性做整體規(guī)劃;
確定遷移步驟，順序，工具，實施人員等信息，給出具體的實施指導手冊和計劃，以及對應的回退方案。
4.目標端集群配置
目標端集群對應資源的創(chuàng)建(對象資源，永久Token等);
確定新集群和應用業(yè)務的對接。
5.Nginx安裝
下載并配置FastDFS-Nginx-Module模塊，完成在Storage所有節(jié)點上Nginx的安裝;
Storage節(jié)點上對接配置Nginx，并設置開機自啟動;
測試Nginx模塊。
6.數(shù)據(jù)遷移
安裝配置X3DS
X3DS產(chǎn)品支持融合部署在XEOS存儲節(jié)點，不需要額外的資源消耗;
上傳解壓X3DS安裝包，一鍵安裝部署;
添加X3DS節(jié)點(支持單節(jié)點和多節(jié)點部署，多節(jié)點部署建議至少3個節(jié)點) ;
在目標端XSKY存儲上創(chuàng)建永久Token;
參照手冊創(chuàng)建源端的FastDFS和目標端的XEOS S3的Remote類型;
檢查業(yè)務網(wǎng)絡的連通性，待遷移數(shù)據(jù)需可以在X3DS業(yè)務節(jié)點訪問。
數(shù)據(jù)遷移
部署用戶提供的文件ID列表保存在X3DS業(yè)務節(jié)點上;
預測試，使用小部分數(shù)據(jù)先預測試，驗證方案可行性;
配置遷移任務;
遷移完成后，檢查一致性。
7.遷移完成，業(yè)務切換
遷移完成后，業(yè)務切換，驗證數(shù)據(jù)一致性。
03遷移案例
某新消費服務平臺在新數(shù)據(jù)中心建設上采用XSKY XEOS來滿足其非結構化數(shù)據(jù)存儲需求。原數(shù)據(jù)存儲在FastDFS文件系統(tǒng)中，總文件數(shù)量超過48億個，總容量超過700TB，數(shù)據(jù)類型大部分為100-500kb的PDF文件。為了實現(xiàn)數(shù)據(jù)的統(tǒng)一管理和維護，需要將原FastDFS集群上的數(shù)據(jù)遷移至新建XEOS對象存儲集群中。
1、遷移方式
采用在線遷移的方式進行;
需要多次遷移，停業(yè)務完成最后的遷移;
短暫離線遷移主要用于校驗數(shù)據(jù)一致性。
2、第一期遷移
完成數(shù)據(jù)遷移共計600W+文件;
共計遷移時間4小時。
3、改造后優(yōu)勢
（免責聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權或存在不實內(nèi)容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內(nèi)容或斷開相關鏈接。 ）
