后端微服务【免费下载链接】hyperf A coroutine framework that focuses on hyperspeed and flexibility. Building microservice or middleware with ease.项目地址https://gitcode.com/gh_mirrors/hy/hyperf点击查看免费下载Snowflake雪花算法是分布式系统中最经典的全局唯一 ID 生成方案之一由 Twitter 提出通过时间戳 机器 ID 序列号三段式位布局在无中心协调的前提下即可生成趋势递增、全局唯一的 64 位长整型 ID。本篇指南以 Hyperf 官方hyperf/snowflake组件为切入点完整讲解该算法在 Hyperf 框架中的落地方式从位结构原理、组件安装、config/autoload/snowflake.php配置解析到基于 Redis 的默认Meta生成器、ID 正反向转换、自定义MetaGenerator扩展以及将 Snowflake 直接作为数据库模型主键的实践方案。读完本文你将掌握在 Hyperf 应用中生产级地接入雪花 ID并具备按业务需要定制变体算法的能力。Snowflake 算法结构64 位如何拆解Snowflake是 Twitter 提出的分布式全局唯一 ID 生成算法算法生成的ID是一个64bit的长整型。在标准算法下其结构如下图所示对应仓库中的 算法结构图从高位到低位依次为1 bit符号位未使用二进制最高位是符号位我们生成的ID一般为正整数因此最高位固定为 0。41 bits记录时间戳毫秒41 bits可以表示2^41 - 1个数。也就是说41 bits可以表示的毫秒值为2^41 - 1换算成年份约为(2^41 - 1) / (1000 * 60 * 60 * 24 * 365)大约是69 年。这也决定了以固定起始时间begin_second为基点的雪花 ID 在约 69 年的窗口内不会因时间区间溢出而失效。10 bits记录工作机器的ID可部署在2^10个节点上其中包含5 bitsDatacenterId数据中心 ID和5 bitsWorkerId工作节点 ID。12 bits序列号记录同一毫秒内生成的不同id12 bits最多可表示正整数2^12 - 1共4095个数即同一台机器在同一时间区间毫秒内最多生成4095个 ID 序列号。算法能够保证的性质所有生成的 ID 随时间趋势递增由于时间戳占据高位后生成的 ID 数值必然更大适合作为数据库主键能有效减少 B 树索引的页分裂与随机 IO。整个分布式系统内不会生成重复 ID因为DatacenterId5 bits与WorkerId5 bits的区分不同机器生成的 ID 在机器维度上即可隔离配合时间戳与序列号实现全局唯一。hyperf/snowflake组件在设计上提供了良好的扩展性允许你通过简单扩展基于 Snowflake 实现其他变体算法——例如后文将演示的用UserId代替WorkerId的自定义元数据生成器。安装组件在 Hyperf 项目中通过 Composer 直接安装composer require hyperf/snowflake组件安装完成后会自动注册对应的ConfigProvider见 src/snowflake/src/ConfigProvider.php将默认的IdGeneratorInterface与基于 Redis 的MetaGenerator绑定到依赖注入容器中。核心抽象MetaGeneratorInterface 与 IdGeneratorInterface框架提供了两个核心接口职责分离清晰对应源码位于 src/snowflake/src/IdGeneratorInterface.php 与 src/snowflake/src/MetaGeneratorInterface.phpMetaGeneratorInterface负责生成 ID 的Meta文件元数据。Meta是一个包含dataCenterId、workerId、sequence、timestamp、beginTimestamp五要素的数据对象具体见 src/snowflake/src/Meta.php。从源码注释与实现可以确认各字段的取值范围dataCenterId与workerId均为[0, 31]sequence为[0, 4095]。IdGeneratorInterface基于对应的Meta文件生成最终的分布式 ID并提供反向解析能力。该接口继承自Hyperf\Contract\IdGeneratorInterface定义了两个方法见 IdGeneratorInterface.phpgenerate(?Meta $meta null): int传入Meta生成 ID若meta为null则使用默认Meta。degenerate(int $id): Meta根据 ID 反向推导出对应的Meta。框架默认使用的MetaGeneratorInterface是基于 Redis 的毫秒级生成器RedisMilliSecondMetaGenerator。默认配置config/autoload/snowflake.php配置文件位于应用根目录下的config/autoload/snowflake.php。如果该文件不存在可以执行以下命令创建默认配置php bin/hyperf.php vendor:publish hyperf/snowflake发布出的默认配置模板可见于仓库中的 src/snowflake/publish/snowflake.php完整内容如下?php declare(strict_types1); use Hyperf\Snowflake\MetaGenerator\RedisMilliSecondMetaGenerator; use Hyperf\Snowflake\MetaGenerator\RedisSecondMetaGenerator; use Hyperf\Snowflake\MetaGeneratorInterface; return [ begin_second MetaGeneratorInterface::DEFAULT_BEGIN_SECOND, RedisMilliSecondMetaGenerator::class [ // Redis Pool pool default, // To calculate the Key of WorkerId key RedisMilliSecondMetaGenerator::DEFAULT_REDIS_KEY ], RedisSecondMetaGenerator::class [ // Redis Pool pool default, // To calculate the Key of WorkerId key RedisMilliSecondMetaGenerator::DEFAULT_REDIS_KEY ], ];各配置项说明如下begin_second起始时间戳秒默认值为MetaGeneratorInterface::DEFAULT_BEGIN_SECOND即1560960000约 2019-06-20。所有生成的 ID 中的时间戳都是当前时间 − 起始时间的差值从而在 41 位空间内尽可能延后溢出时间。毫秒级生成器内部会将其乘以 1000 换算为毫秒基准见 RedisMilliSecondMetaGenerator.php而秒级生成器直接以秒为单位使用见 RedisSecondMetaGenerator.php。RedisMilliSecondMetaGenerator::class/RedisSecondMetaGenerator::class分别配置毫秒级与秒级两种基于 Redis 的Meta生成器pool使用的 Redis 连接池名称默认default对应config/autoload/redis.php中定义的连接池。key用于计算WorkerId的 Redis 自增 Key默认值为RedisMilliSecondMetaGenerator::DEFAULT_REDIS_KEY即字符串hyperf:snowflake:workerId定义于 RedisMetaGenerator.php。从源码 RedisMetaGenerator.php 可以看出两个生成器初始化WorkerId与DataCenterId的具体机制通过$redis-incr($key)对 Redis 中的 Key 做原子自增然后按位宽取模分配$this-workerId $id % $this-configuration-maxWorkerId(); $this-dataCenterId intval($id / $this-configuration-maxWorkerId()) % $this-configuration-maxDataCenterId();其中maxWorkerId()与maxDataCenterId()由 Configuration.php 通过位运算-1 ^ (-1 bits)计算得出5 bits 时为 31。整个初始化过程使用Hyperf\Coroutine\Locker协程锁保护见 RedisMetaGenerator.php避免协程并发下重复分配。毫秒级与秒级生成器的差异体现在时间戳与时钟回拨处理上源码对比RedisMilliSecondMetaGeneratorgetTimestamp()返回intval(microtime(true) * 1000)getNextTimestamp()在时间戳小于等于上次时间戳时自旋等待直到推进到下一毫秒见 RedisMilliSecondMetaGenerator.php。RedisSecondMetaGeneratorgetTimestamp()返回time()getNextTimestamp()直接返回lastTimestamp 1并且重写clockMovedBackwards为不抛异常见 RedisSecondMetaGenerator.php即对秒级时钟回拨采取更宽松的容忍策略。在框架中使用 Snowflake在框架中使用Snowflake非常简单只需从 DI 容器中取出IdGeneratorInterface对象即可?php use Hyperf\Snowflake\IdGeneratorInterface; use Hyperf\Context\ApplicationContext; $container ApplicationContext::getContainer(); $generator $container-get(IdGeneratorInterface::class); $id $generator-generate();当你知道某个ID需要反推其对应的Meta时只需调用degenerate?php use Hyperf\Snowflake\IdGeneratorInterface; use Hyperf\Context\ApplicationContext; $container ApplicationContext::getContainer(); $generator $container-get(IdGeneratorInterface::class); $meta $generator-degenerate($id);反推得到的Meta对象中携带dataCenterId、workerId、sequence与时间戳信息可用于日志审计、归属分析或校验 ID 合法性。底层位运算原理generate与degenerate的位运算实现位于 src/snowflake/src/IdGenerator.php生成方向generate()IdGenerator.php依次将时间区间左移timestampLeftShift125522 位、dataCenterId左移dataCenterIdShift17 位、workerId左移workerIdShift12 位最后与sequence按位或组合成完整 64 位 ID。各移位量定义于 Configuration.php。解析方向degenerate()IdGenerator.php通过右移与按位异或运算将 64 位 ID 还原为时间区间、dataCenterId、workerId与sequence再结合beginTimestamp恢复出原始时间戳。正因为移位量、位宽全部由ConfigurationInterface集中管理只要改变位宽配置或替换MetaGenerator就能派生出不同的雪花变体算法而无需改动IdGenerator本身。覆盖 Meta 生成器实现基于 UserId 的变体算法分布式全局唯一 ID 的实现方式有很多种基于Snowflake算法的变体也有很多。它们虽然都是 Snowflake 算法但彼此并不完全相同。例如有人可能会基于UserId而非WorkerId来生成Meta。下面实现一个简单的自定义MetaGenerator扩展。简单来说UserId一定会超过10 bits因此默认的DataCenterId和WorkerId放不下需要对UserId取模?php declare(strict_types1); use Hyperf\Snowflake\IdGenerator; class UserDefinedIdGenerator { /** * var IdGenerator\SnowflakeIdGenerator */ protected $idGenerator; public function __construct(IdGenerator\SnowflakeIdGenerator $idGenerator) { $this-idGenerator $idGenerator; } public function generate(int $userId) { $meta $this-idGenerator-getMetaGenerator()-generate(); return $this-idGenerator-generate($meta-setWorkerId($userId % 31)); } public function degenerate(int $id) { return $this-idGenerator-degenerate($id); } } use Hyperf\Context\ApplicationContext; $container ApplicationContext::getContainer(); $generator $container-get(UserDefinedIdGenerator::class); $userId 20190620; $id $generator-generate($userId);这段代码的关键点在于复用容器中默认的IdGenerator\SnowflakeIdGenerator实例从中取出MetaGenerator生成一份标准Meta通过Meta::setWorkerId($userId % 31)setWorkerId定义于 src/snowflake/src/Meta.php将WorkerId覆盖为用户 ID 取模后的值由于WorkerId位宽为 5 bits最大值 31因此对 31 取模即可装入将修改后的Meta显式传入generate()实现以用户 ID 参与 ID 构成的变体算法。仓库测试中提供了与之对应的完整用例 src/snowflake/tests/Stub/UserDefinedIdGenerator.php 与 SnowflakeGeneratorTest.php可用于验证该自定义生成器的generate/degenerate行为。如果需要让容器按此实现解析只需在config/autoload/dependencies.php中将UserDefinedIdGenerator::class绑定到对应工厂即可。在数据库模型中使用 Snowflake 主键配置好Snowflake之后我们可以让数据库模型直接使用Snowflake生成的ID作为主键?php class User extends \Hyperf\Database\Model\Model { use \Hyperf\Snowflake\Concern\Snowflake; }当用户模型创建时会默认使用Snowflake算法生成主键。其底层机制定义于 src/snowflake/src/Concern/Snowflake.phpcreating()钩子在模型creating事件中若主键尚未设置! $this-getKey()则从容器取出IdGeneratorInterface并调用generate()写入主键字段Snowflake.phpgetIncrementing()返回false关闭数据库自增主键机制避免与雪花 ID 冲突getKeyType()返回int声明主键为整型与 64 位长整型 ID 的类型保持一致。使用提示Snowflake ID 为 64 位有符号长整型在数据库中建议使用BIGINT类型存储PHP 端在 32 位环境下需确保整数溢出处理正确Hyperf 官方环境一般要求 64 位 PHP。主键不再依赖数据库自增因此非常适合分库分表场景各分片无需协调即可生成全局唯一、趋势递增的主键。若同一毫秒内序列号耗尽超过 4095毫秒级生成器会通过getNextTimestamp()自旋等待下一毫秒再继续生成如需更高的单机吞吐可考虑秒级生成器或自定义更大的序列位宽。综上hyperf/snowflake组件在保留 Twitter 经典雪花算法位结构的基础上通过Meta/MetaGenerator/IdGenerator的清晰分层将元数据从哪来与如何拼装成 ID解耦默认基于 Redis 自增分配机器 ID天然适配分布式部署同时提供degenerate反向解析与Concern\Snowflake模型主键集成使其能快速嵌入 Hyperf 的日常业务开发并根据业务需要低成本地扩展出属于自己的雪花变体算法。赞分享后端微服务【免费下载链接】hyperf A coroutine framework that focuses on hyperspeed and flexibility. Building microservice or middleware with ease.项目地址https://gitcode.com/gh_mirrors/hy/hyperf点击查看免费下载相关推荐Hyperf Snowflake 组件实战分布式全局唯一 ID 生成算法解析与扩展指南Hyperf Snowflake 组件实战分布式全局唯一 ID 生成算法解析与扩展指南 导读 在微服务与分布式系统架构中生成全局唯一、趋势递增的 ID 是订后端Web框架微服务RPC框架异步编程Thunderbolt 重试预算机制详解408/429/5xx 自动重试如何保护你的 AI 对话Thunderbolt 重试预算机制详解408/429/5xx 自动重试如何保护你的 AI 对话 当你在使用 Thunderbolt 这类 AI 桌面应用时人工智能大模型AI 应用本地部署前端后端桌面应用AI AgentHyperf Snowflake 分布式 ID 生成器从算法原理到源码级实践指南Hyperf Snowflake 分布式 ID 生成器从算法原理到源码级实践指南 导读 Snowflake雪花算法是 Twitter 提出的分布式全局唯一后端微服务上一篇终极全面战争MOD管理指南虎符台一站式解决方案下一篇中山大学LaTeX论文模板终极指南告别排版困扰的完整方案创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考