一、介紹

GreenPlum是Coodinator／Segment架構(gòu)，集群通常由一個(gè)Coodinator節(jié)點(diǎn)和一個(gè)standby coodinator節(jié)點(diǎn)以及多個(gè)segment節(jié)點(diǎn)組成，其中數(shù)據(jù)放置在segment節(jié)點(diǎn)上。Coodinator是整個(gè)數(shù)據(jù)庫(kù)的入口，客戶端只會(huì)連接到Coodinator上并執(zhí)行相關(guān)查詢操作，Standby節(jié)點(diǎn)為Coordinator提供高可用支持，Mirror為primary的備。

數(shù)據(jù)默認(rèn)使用hash分布。

二、插入時(shí)數(shù)據(jù)是如何分布分發(fā)到哪個(gè)segment？

1、插入操作時(shí)值的由來(lái)

我們看下insert語(yǔ)句的執(zhí)行計(jì)劃：

它沒(méi)有Motion節(jié)點(diǎn)，僅1個(gè)slice，即root slice。Result節(jié)點(diǎn)是將insert的值物化以構(gòu)建TupleTableSlot進(jìn)行插入。也就是先物化然后insert。

這里主要關(guān)注物化的值從哪來(lái)。Result節(jié)點(diǎn)的執(zhí)行堆棧為：

ExecInterpExpr計(jì)算物化值步驟：EEOP＿CONST；EEOP＿ASSIGN＿TMP。也就是得到個(gè)常量值放到resultslot中。

通過(guò)gdb跟蹤每個(gè)segment進(jìn)程，可以了解到這里的常量值就是INSERT語(yǔ)句中VALUES的值。

此時(shí)就可以了解到，SQL語(yǔ)句中VALUES值是直接發(fā)送到對(duì)于的segment的。

那么，具體是如何發(fā)送的呢？

2、值的發(fā)送

發(fā)送函數(shù)由cdbdisp＿dispatchX完成。我們來(lái)跟蹤這個(gè)函數(shù)，看下是如何分發(fā)到指定的segment的。

了解GP原理的話，我們知道發(fā)送前需要先在master和segment之間建立一個(gè)連接，然后將執(zhí)行計(jì)劃通過(guò)這個(gè)連接發(fā)送過(guò)去。建立連接就是創(chuàng)建Gang，由函數(shù)AssignGangs完成。

最終創(chuàng)建Gang建立連接會(huì)調(diào)用函數(shù)cdbgang＿createGang＿async。下面我們看下這個(gè)函數(shù)是如何建立連接的。

cdbconn＿doConnectStart連接時(shí)，SegmentDatabaseDescriptor segdbDesc中的segment＿database＿info：：GpSegConfigEntry存有segment的端口及IP等信息，即gp＿segment＿configuration系統(tǒng)表中內(nèi)容�；�于此信息，可以建立連接。

那么segdbDesc內(nèi)容從何而來(lái)？

從上述堆棧，segdbDesc是Gang中的db＿descriptors［i］，也就是buildGangDefinition函數(shù)生成：

SliceTable．slices［0］．segments為入?yún)�segments鏈表，存儲(chǔ)著執(zhí)行該slice的所有segment的content id。segdbDesc是根據(jù)content id從系統(tǒng)表gp＿segment＿config來(lái)獲取。

到這里可以知道，通過(guò)SliceTable中的segment鏈表得到該slice的segment的content。Insert僅一個(gè)slice，insert分發(fā)到執(zhí)行該insert的segment，content就是該segment的content id。通過(guò)該content id從gp＿segment＿configuration系統(tǒng)表中得到相關(guān)port、IP等信息，從而據(jù)此在master和segment之間建立連接。構(gòu)建鏈接后，insert語(yǔ)句通過(guò)此鏈接發(fā)送到對(duì)應(yīng)的segment。

那么content id又是如何與分布鍵聯(lián)系起來(lái)呢？

經(jīng)過(guò)分析，由函數(shù)DirectDispatchUpdateContentIdsForInsert來(lái)完成映射：

constvalue為分布鍵的key值，然后通過(guò)cdbhash函數(shù)通過(guò)系統(tǒng)hash函數(shù)將key值進(jìn)行hash，最終得到hashcode，該值即為content id，放到contentIds鏈表中。

三、基礎(chǔ)知識(shí)1、gp＿segment＿configuration

2、Gang、slice與QueryDesc之間關(guān)系

       原文標(biāo)題 : GreenPlum數(shù)據(jù)分布機(jī)制