dcf运行机制


难度 中等

dcf通过stream的概念来运行分布式协议,每个stream是一个完整的分布式实例。
每个stream可以由多个节点组成。

外部应用启动接口

dcf在初次启动后,会将传入的配置文件信息写入到metadata里,也就是说dcf为了设计成一个通用的库,是不需要配置文件的。
整个运行启动都是通过传参的方式来启动,这样就可以把参数配置放在外部应用程序内。

应用通过json字符串数组传入参数,在初次传入时dcf会将元信息持久化到文件中,默认在应用执行目录下面,并按照节点id命名目录存储。
当应用再次启动时,就会直接读取持久化到文件的信息,而不会再读取传入的json字符串。
其中json字符串数组实例如下:

[{
  "stream_id": 1,
  "node_id": 1,
  "ip": "x.x.x.21",
  "port": 1712,
  "role": "LEADER"
}, {
  "stream_id": 1,
  "node_id": 2,
  "ip": "x.x.x.22",
  "port": 1713,
  "role": "FOLLOWER"
}, {
  "stream_id": 1,
  "node_id": 3,
  "ip": "x.x.x.23",
  "port": 1714,
  "role": "FOLLOWER"
}]

内部启动流程

dcf内部从dcf_start开启启动,dcf_start需要每个节点都运行,并且需要传入节点id和集群配置json字符串。

int dcf_start(unsigned int node_id, const char *cfg_str);

dcf内部采用的是多线程模型,在启动后需要初始化各个线程。具体包括如下几个方面:

  • metadata(元数据,简称md)
  • network(消息通信,简称mec)
  • log store(日志持久化存储,简称stg)
  • election(投票,简称elc)
  • replication(流复制,简称rep)

metadata

若元数据目录已存在,直接从文件中读取元数据。若元数据目录不存在,则根据传入的json字符串解析元数据信息并写入文件。
同时会将流的相关配置信息加载到内存中,后续会根据这些配置进行初始化。

network

mec模块主要是负责网络通信的,采用自己管理内存的方式申请分配内存,因而需要先初始化内存池,并且采用伙伴算法进行内存分配。
网络模块有一个全局实例g_mec,用于保存mec相关的数据结构。

typedef struct st_mec_instance {
    mec_profile_t      profile; ///< mec主要信息
    mq_context_t       send_mq; ///< 发送队列
    mq_context_t       recv_mq; ///< 接收队列
    mec_context_t      mec_ctx; ///< mec上下文
    fragment_ctx_t     fragment_ctx; ///< 分片上下文
    thread_t           daemon_thread;///< 守护线程id
    reactor_pool_t     reactor_pool[PRIV_CEIL]; ///< epoll反应堆数组
    agent_pool_t       agent_pool[PRIV_CEIL]; ///< 代理池
    ssl_ctx_t         *ssl_acceptor_fd; ///< ssl接受器
    ssl_ctx_t         *ssl_connector_fd;///< ssl连接器
} mec_instance_t;
static mec_instance_t *g_mec = NULL;

mec模块会初始化g_mec,首先是需要设置其配置,也就是profile,其中profile需要设置如下信息:

typedef struct st_mec_profile {
    spinlock_t           lock; ///< 自旋锁
    uint16               inst_id; ///< mec实例id
    volatile uint16      inst_count; ///< mec实例个数
    mec_addr_t           inst_arr[CM_MAX_NODE_COUNT]; ///< mec地址数组
    int16                maps[CM_MAX_NODE_COUNT];     ///< 节点数组
    uint8                pipe_type; ///< 管道类型
    uint8                reserved;  ///< 预留
    uint16               channel_num; ///< 通道数
    uint64               msg_pool_size; ///< 消息池大小
    uint32               frag_size; ///< 分片大小
    uint32               batch_size; ///< 批量包大小
    uint32               agent_num; ///< 代理数量
    uint32               reactor_num; ///< 反应堆数量
    compress_algorithm_t algorithm; ///< 压缩算法
    uint32               level;  
    int32                connect_timeout;  // ms
    int32                socket_timeout;   // ms
} mec_profile_t;

mec通信层面使用reactor模型,并将其分为agent和reactor,agent+reactor=mec,同时mec又分为高优先级和低优先级。
而agent和reactor的个数则由上面提到的配置传入。agent和reacor都是线程池,有任务来的时候就会attach到对应的线程上去执行。

log store

election

replication


文章作者: growdu
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 growdu !
  目录
分类导航
随笔3 AI29 计算机基础13 算法1 博客搭建7 ChatGPT2 集群63 计算机通信1 数据库59 数据库深入93 数据库93 Docker11 DPDK26 编辑工具4 Elasticsearch4 FAQ1 Go Web1 hometown2 编程语言16 人生11 网络9 Linux38 OPC1 openGauss4 页面12 PostgreSQL54 程序员自我修养1 协议11 stock1 存储5 成长之路1 工具20 视频作品1 VPP18 Vue13 Web1 代码示例11 BenchmarkSQL1 PostgreSQL 源码修炼之路14
最热文章
1
PostgreSQL 逻辑复制全链路:以一个真实事务为例,从 `INSERT` 到 `apply` 的源码级旅程
数据库🔥 2162
2
PostgreSQL 逻辑复制 Stream 执行逻辑源码级拆解:从 reorderbuffer 触发到订阅端落盘回放
数据库🔥 1765
3
PostgreSQL 行锁机制源码级深度拆解:4 种锁模式 + xmax + MultiXact 的完整链路
数据库🔥 1656
4
PostgreSQL reorderbuffer.c 函数级源码全集:5615 行 / 95 个函数的逐函数解析
数据库深入🔥 1650
5
PostgreSQL 目录快照源码级深度拆解:系统表读取的 MVCC 真相与失效机制
数据库🔥 1604
6
13 逻辑复制深入
数据库深入🔥 1570
7
0 Postgresql存储、索引及系统优化、主备切换
PostgreSQL🔥 1495
8
PostgreSQL 读一行数据源码级深度拆解:MVCC 在每个环节的落点
数据库🔥 1464
9
PostgreSQL WAL 记录类型完全指南:21 个 RMGR × 80+ 种记录的源码级拆解
数据库🔥 1431
10
一文读懂openguass dcf网络模块
集群🔥 1420
11
PostgreSQL 元数据存储机制:从磁盘文件到内存缓存,`pg_class` 撑起的整个系统表体系
数据库🔥 1411
12
openGauss 并行解码设计原理深度拆解:reader + 多 worker + CSN 三层架构的源码级剖析
数据库深入🔥 1344
13
逻辑复制源码分析
数据库深入🔥 1327
14
PostgreSQL 逻辑复制:catalog 改动、可见性判定与 xmin/xmax 推进全景
数据库深入🔥 1317
15
自托管服务全家桶:从原文方案到可复制实操手册
人生🔥 1278
16
PostgreSQL CREATE_REPLICATION_SLOT 端到端源码分析:从 SQL 到 snapbuild 状态机的完整链路(每个函数每个参数)
数据库深入🔥 1277
17
PostgreSQL syscache 模块源码深度拆解:CatCache 数据结构、LRU 哈希表、cache invalidation 全链路
数据库深入🔥 1216
18
PostgreSQL 18 内核数据结构全景:RangeVar 与 20+ 个核心数据结构源码级拆解
数据库🔥 1158
19
PostgreSQL 逻辑复制里 `RUNNING_XACTS` 写入机制与快照 `xmin / xmax / xip` 的演化:源码级深度拆解
数据库🔥 1119
20
PostgreSQL 分区表:从一行 `PARTITION BY` 到路由热路径的全链路拆解
数据库🔥 1094