ScyllaDB 高级节点间RPC压缩配置指南ZSTD 与共享字典压缩【免费下载链接】scylladbNoSQL data store using the Seastar framework, compatible with Apache Cassandra and Amazon DynamoDB项目地址: https://gitcode.com/GitHub_Trending/sc/scylladb本指南讲解 ScyllaDB 的高级节点间RPC压缩能力。节点间压缩控制着集群中各节点之间传输流量的压缩行为在跨数据中心或带宽受限的环境中能显著降低网络带宽占用与传输成本。读完本文你将掌握internode_compression_enable_advanced、internode_compression_zstd_max_cpu_fraction、rpc_dict_training_when等核心参数的完整语义与配置方法并理解 ZSTD 压缩与共享字典压缩在源码层面的实现原理与调优思路。什么是节点间RPC压缩ScyllaDB 集群中的节点通过 RPC远程过程调用相互通信例如转发写入、执行读修复、分发视图更新等。节点间Internode / RPC压缩控制这些节点间流量是否被压缩启用后可以降低网络带宽使用量。基础开关由internode_compression参数控制其合法取值在 db/config.cc 中定义取值含义all所有节点间流量都被压缩dc仅压缩数据中心datacenter之间的流量rack仅压缩机架rack之间的流量none不压缩默认值在 conf/scylla.yaml 中该参数默认被注释实际默认行为为none。在基础压缩之上ScyllaDB 还提供两种进一步降低网络流量的高级手段ZSTD 压缩使用 ZSTD 算法替代默认的 LZ4 进行 RPC 压缩压缩率更高共享字典压缩基于在节点上训练、并在集群中分发的字典进行压缩压缩效率优于逐消息压缩。两者可以同时启用也可只启用其一用于限制网络吞吐、降低网络传输成本。开启高级压缩的总开关两种高级特性都以internode_compression_enable_advanced作为总开关。在 db/config.cc 中该参数定义如下默认值falselivenessMustRestart——修改该参数后必须重启节点才能生效语义启用 RPC 压缩的新实现若关闭Scylla 将回退到旧实现。在 conf/scylla.yaml 中对该参数的说明进一步指出启用它同时会开启节点间流量压缩指标scylla_rpc_compression_...并使新的压缩实现能够在默认的 lz4 之外使用 zstd 与共享字典这些特性仍需通过其他参数单独开启并附带少量 CPU 开销。启用 ZSTD 压缩ZSTD 压缩利用 ZSTD 算法进行 RPC 压缩相比默认的 LZ4 通常能获得更高的压缩比。启用步骤如下将internode_compression_enable_advanced设为true将internode_compression_zstd_max_cpu_fraction设为[0, 1]范围内的非零值其中0——节点永远不使用 ZSTD 进行 RPC 压缩1——节点始终使用 ZSTD 进行 RPC 压缩所有消息无论 CPU 消耗多少。一个实用的起点是0.05即节点最多将总 CPU 的 5% 用于 RPC ZSTD 压缩。配额机制的源码原理internode_compression_zstd_max_cpu_fraction并非简单的启用开关而是一个CPU 配额控制器。从 db/config.cc 可以看到它配合两组配额刷新周期工作参数默认值说明internode_compression_zstd_max_cpu_fraction0.0每个短周期时间片内ZSTD 压缩消耗的 CPU 上限占比internode_compression_zstd_cpu_quota_refresh_period_ms20短周期配额时间片长度毫秒internode_compression_zstd_max_longterm_cpu_fraction1.0每个长周期时间片内ZSTD 压缩消耗的 CPU 上限占比internode_compression_zstd_longterm_cpu_quota_refresh_period_ms10000长周期配额时间片长度毫秒在实现层面advanced_rpc_compressor.cc 中的maybe_refresh_zstd_quota()按上述两个周期刷新配额并分别计算短周期与长周期的 CPU 时间限制limit_short/limit_long超出配额的压缩操作会被推迟或跳过。这套短周期严格控制 长周期松弛兜底的设计既保证 ZSTD 不会挤占工作负载的 CPU又允许在流量突增时有一定的弹性空间。除配额外还有两个与 ZSTD 消息选择相关的参数同样位于 db/config.ccinternode_compression_zstd_min_message_size默认1024字节小于该阈值的 RPC 消息始终使用 LZ4 压缩。原因在于 ZSTD 对每条消息有较高的固定开销对小消息可能得不偿失internode_compression_zstd_max_message_size默认uint32最大值ZSTD 压缩大消息时是一次性完成可能引发 reactor stall可通过该参数限制可压缩消息的上限来缓解。此外internode_compression_checksumming默认true会对压缩后的 RPC 帧计算并校验校验和这是对压缩协议损坏问题的一种防御性措施internode_compression_algorithms默认[ZSTD, LZ4]声明本节点支持的压缩算法集。启用 ZSTD 的注意事项启用 ZSTD 会增加 CPU 使用率。官方文档建议监控指标确保额外 CPU 消耗不会干扰现有工作负载。若 ZSTD 影响性能可尝试调低internode_compression_zstd_max_cpu_fraction。启用共享字典压缩共享字典压缩用于限制网络吞吐、降低网络传输成本。启用后逐消息message-by-message压缩会被一种更高效的压缩方式替代压缩基于在一个节点上训练、并与其他节点共享的字典进行。字典会在该节点的 RPC 流量上周期性重新训练然后通过集群分发。启用步骤将internode_compression_enable_advanced设为true配置rpc_dict_training_when参数。典型场景下应设为when_leader由 Raft leader 节点负责训练并发布新字典。配置示例对应 advanced-internode-compression.rstinternode_compression_enable_advanced: true rpc_dict_training_when: when_leaderrpc_dict_training_when 的取值语义在 db/config.cc 中rpc_dict_training_when默认neverliveness 为LiveUpdate可在线更新支持三个取值取值含义never无条件禁用字典训练when_leader仅当本节点是 Raft leader 时启用训练always无条件启用不推荐源码注释特别警告不应在超过一个节点上同时启用训练因为过于频繁的字典公告可能无限期延迟各节点就新字典达成一致。若要让集群自行挑选训练者可在所有节点上设置when_leader也可以手动指定——在一个节点上设always、其余节点设never见 conf/scylla.yaml。训练流程的源码实现共享字典的训练是一个完整的采样 → 训练 → 发布循环实现在 dict_trainer.cc 的dict_training_loop::start()中采样sampling从本节点的 RPC 流量中采集数据页直到满足时长或数据量阈值训练training对采样的数据页调用 zstd 库的ZDICT_trainFromBuffer()见 dict_trainer.cc训练出字典训练前还会对样本做洗牌处理以符合 zstd 训练器的 train-test 分割要求发布publishing通过 Raft 将新字典公告到整个集群各分片通过announce_dict_to_shards()同步见 advanced_rpc_compressor.cc。触发训练的两个阈值参数定义在 db/config.ccrpc_dict_training_min_time_seconds默认3600秒字典训练所需的最短持续时间rpc_dict_training_min_bytes默认1000000000字节字典训练所需的最小数据量。训练与 Raft 领导权紧密关联在 dictionary_service.cc 中dictionary_service注册了_leadership_observer与_when_observer当节点成为 leader 或rpc_dict_training_when配置变更时会触发maybe_toggle_dict_training()决定是否启动训练循环。训练完成后压缩端会在 ZSTD 流上设置当前字典发送方使用sender_current_dict().zstd_cdict接收方使用receiver_current_dict().zstd_ddict见 advanced_rpc_compressor.cc。安全注意事项官方文档明确提示部分字典训练数据可能使用存储级加密storage-level encryption而非数据库级加密即保护施加在存储层而非数据库内部。更具体地说conf/scylla.yaml 中的警告指出训练出的字典包含随机选取的写入集群的数据片段当 Raft 日志未加密时这些数据片段会以明文形式写入磁盘而当前尚无办法对 Raft 日志本身加密。因此在开启共享字典压缩前请务必评估集群中的数据敏感性。完整配置示例综合以上内容一份同时启用 ZSTD 与共享字典压缩的 scylla.yaml 配置片段如下# 开启高级压缩实现需重启生效 internode_compression_enable_advanced: true # 启用共享字典训练由 Raft leader 节点训练并发布 rpc_dict_training_when: when_leader # 将最多 5% 的 CPU 用于 ZSTD RPC 压缩 internode_compression_zstd_max_cpu_fraction: 0.05 # 可选让所有节点间流量都参与压缩 internode_compression: all其中各参数的作用与默认值汇总参数默认值生效方式作用internode_compressionnone重启基础压缩范围all/dc/rack/noneinternode_compression_enable_advancedfalse重启启用高级压缩实现zstd 共享字典internode_compression_zstd_max_cpu_fraction0.0在线更新ZSTD 压缩的 CPU 配额占比建议从0.05起步rpc_dict_training_whennever在线更新字典训练时机never/when_leader/alwaysrpc_dict_training_min_time_seconds3600在线更新字典训练最短时长rpc_dict_training_min_bytes1000000000在线更新字典训练最小数据量internode_compression_zstd_min_message_size1024在线更新可用 ZSTD 压缩的最小消息尺寸internode_compression_zstd_max_message_sizeuint32 上限在线更新可用 ZSTD 压缩的最大消息尺寸除internode_compression_enable_advanced为MustRestart外其余参数均为LiveUpdate可以通过在线配置更新如UPDATE system.config SET value... WHERE name...动态调整。验证与监控压缩效果指标启用高级压缩后可通过scylla_rpc_compression_...系列指标验证压缩效果。在 test_rpc_compression.py 的测试中使用了两个关键指标scylla_rpc_compression_bytes_sent按算法统计的未压缩原始字节数scylla_rpc_compression_compressed_bytes_sent按算法统计的压缩后字节数。测试用例佐证仓库中的自动化测试直接验证了本文所述的两大特性ZSTD 压缩率验证在 test_rpc_compression.py 的test_basic中集群以internode_compression_enable_advanced: true、internode_compression: all启动先以zstd_max_cpu_fraction0.0验证 LZ4128 KiB 消息压缩比约 0.5再通过在线更新将其改为1.0验证 ZSTD 压缩比约 0.25并断言发送字节数与理论值近似相等共享字典训练验证test_dict_trainingtest_rpc_compression.py通过rpc_dict_training_when在never与when_leader之间切换向system.dicts表查询训练出的字典并断言训练期间写入的数据片段出现在字典中、未训练期间的数据片段不出现在字典中跨数据中心压缩验证在 test_internode_compression.py 中验证了internode_compression设为dc时仅数据中心之间的流量被压缩。参考完整节点间压缩参数列表参见文档 Configuration ParametersInter-node settings 一节参数默认值与源码语义定义见 db/config.cc 与 db/config.hh生产环境 scylla.yaml 中的对应注释见 conf/scylla.yamlRPC 压缩器与 ZSTD 配额实现见 advanced_rpc_compressor.cc共享字典训练循环实现见 dict_trainer.cc 与 dictionary_service.cc相关压缩行为测试见 test_rpc_compression.py 与 test_internode_compression.py。【免费下载链接】scylladbNoSQL data store using the Seastar framework, compatible with Apache Cassandra and Amazon DynamoDB项目地址: https://gitcode.com/GitHub_Trending/sc/scylladb创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考