技術文章:分布式系統(tǒng)模式之Consistent Core
維護較小的集群可提供更強的一致性,以允許大型數(shù)據(jù)集群協(xié)調服務器活動,而無需實現(xiàn)基于 quorum 的算法。
問題
線性化是最強的一致性保證,可以保證所有客戶端都能看到最新提交的數(shù)據(jù)更新。提供線性化以及容錯功能需要在服務器上實現(xiàn)共識算法,例如 Raft,Zab 或Paxos。
盡管共識算法是實現(xiàn) Consistent Core 的基本要求,但客戶端交互的各個方面(例如客戶端如何找到leader,重復請求的處理方式等)都是重要的實現(xiàn)決策。關于安全性和活躍性,還有一些重要的實現(xiàn)注意事項。Paxos 僅定義共識算法,但是 Paxos 文獻中沒有很好地記錄其他實現(xiàn)方面的內容。Raft非常清楚地記錄了各種實現(xiàn)方面以及參考實現(xiàn),因此是當今使用最廣泛的算法。
當集群需要處理大量數(shù)據(jù)時,它需要越來越多的服務器。對于服務器集群,存在一些共同的要求,例如選擇特定的服務器作為特定任務的 master ,管理組成員信息,將數(shù)據(jù)分區(qū)映射到服務器等。這些要求需要強大的一致性保證,即線性化 。實現(xiàn)也必須是容錯的。一種常見的方法是使用基于 Quorum 的容錯共識算法。但是在基于 Quorum 的系統(tǒng)中,吞吐量會隨著集群的大小而降低。
解決方案
實現(xiàn)一個較小的3到5個節(jié)點的集群,該集群可提供線性化保證和容錯能力。單獨的數(shù)據(jù)集群可以使用小型一致性集群來管理元數(shù)據(jù),并使用諸如 Lease 之類的機制來進行集群范圍的決策。這樣,數(shù)據(jù)集群可以擴展大量的服務器,但是仍然可以使用較小的元數(shù)據(jù)集群執(zhí)行某些需要強一致性保證的操作。
Figure 1: Consistent Core
一個典型的consistent core接口是這樣的:
public interface ConsistentCore {
CompletableFuture put(String key, String value);
List
Consistent Core至少提供了一種簡單的鍵值存儲機制。它用于存儲元數(shù)據(jù)。
元數(shù)據(jù)存儲
使用諸如Raft之類的共識算法來實現(xiàn)存儲。它是“Replicated Write Ahead Log”實現(xiàn)的示例,其中復制由Leader and Followers處理,High-Water Mark用于跟蹤通過Quorum進行的成功復制。
支持分層存儲
Consistent Core通常用于存儲數(shù)據(jù),例如:組成員身份或跨服務器的任務分配。一種常見的使用模式是使用前綴來限制元數(shù)據(jù)的類型。例如 對于組成員身份,keys 將全部存儲為/servers/ 1,server/2等。對于分配給服務器的任務,keys可以為/tasks/task1,/tasks/task2。通常使用特定前綴讀取所有鍵數(shù)據(jù)。例如,要獲取有關集群中所有服務器的信息,將讀取所有帶有前綴/servers 的 keys。
用法示例如下:
服務器可以通過使用前綴/servers 創(chuàng)建自己的 key 來向 Consistent Core 注冊自己。
client1.setValue("/servers/1", "{address:192.168.199.10, port:8000}");
client2.setValue("/servers/2", "{address:192.168.199.11, port:8000}");
client3.setValue("/servers/3", "{address:192.168.199.12, port:8000}");
然后,客戶端可以通過讀取key前綴 /servers 來了解集群中的所有服務器,如下所示:
assertEquals(client1.getValue("/servers"), Arrays.asList("{address:192.168.199.12, port:8000}",
"{address:192.168.199.11, port:8000}",
"{address:192.168.199.10, port:8000}"));
由于數(shù)據(jù)存儲的這種分層性質,[zookeeper],[chubby]之類的產品提供了類似于接口的文件系統(tǒng),用戶可以在其中創(chuàng)建具有父節(jié)點和子節(jié)點概念的目錄、文件或節(jié)點。[etcd3]具有扁平化的鍵空間,可以獲取一系列鍵。
處理客戶端交互
Consistent Core功能的關鍵要求之一是客戶端如何與 Consistent Core 交互。以下方面對于客戶端使用 Consistent Core至關重要。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
即日-10.29立即報名>> 2024德州儀器嵌入式技術創(chuàng)新發(fā)展研討會
-
10月31日立即下載>> 【限時免費下載】TE暖通空調系統(tǒng)高效可靠的組件解決方案
-
即日-11.13立即報名>>> 【在線會議】多物理場仿真助跑新能源汽車
-
11月14日立即報名>> 2024工程師系列—工業(yè)電子技術在線會議
-
12月19日立即報名>> 【線下會議】OFweek 2024(第九屆)物聯(lián)網產業(yè)大會
-
即日-12.26火熱報名中>> OFweek2024中國智造CIO在線峰會
推薦專題
- 高級軟件工程師 廣東省/深圳市
- 自動化高級工程師 廣東省/深圳市
- 光器件研發(fā)工程師 福建省/福州市
- 銷售總監(jiān)(光器件) 北京市/海淀區(qū)
- 激光器高級銷售經理 上海市/虹口區(qū)
- 光器件物理工程師 北京市/海淀區(qū)
- 激光研發(fā)工程師 北京市/昌平區(qū)
- 技術專家 廣東省/江門市
- 封裝工程師 北京市/海淀區(qū)
- 結構工程師 廣東省/深圳市