分类导航

程序笔记发布时间：2022-07-18 发布网站：大佬教程 code.js-code.com

大佬教程收集整理的这篇文章主要介绍了CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器，大佬教程大佬觉得挺不错的，现在分享给大家，也给大家做个参考。

CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

CosId 旨在提供通用、灵活、高性能的分布式 ID 生成器。目前提供了三类 ID 生成器：

snowflakEID : 单机 TPS 性能：409W/s JMH 基准测试 , 主要解决 时钟回拨问题 、机器号分配问题 并且提供更加友好、灵活的使用体验。
SegmentId : redisIdSegmentDiStributor 单机 TPS 性能(步长 1000) ：2950W+/s JMH 基准测试 , 每次获取一段(Step) ID，来降低号段分发器的网络IO请求频次提升性能。
SegmentChainId : SegmentChainId (lock-free) 是对 SegmentId 的增强，设计图如下。PrefetchWorker 维护安全距离(safeDistance), 使得 SegmentChainId 达到近似 AtomicLong 的 TPS 性能(步长 1000): 10272W+/s JMH 基准测试。

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

更新内容（1.1.8） 🎉 🎉 🎉

优化：新增抽象 IdSegment interface。
增强：优化DefaultSegmentId防御性校验后端发号器持久层号段丢失、回滚。
增强：增强IdSegmentDiStributor支持批量获取号段，降低网络ID请求频次，进一步提升性能。
优化：优化SegmentChainId (lock-free)性能，合理配置的情况下可达到AtomicLong性能级别（10272W+/s JMH JMH 基准测试）。
新增：添加 IdSegmentDiStributor.mock，模拟发号器网络IO请求，方便测试。
增强：支持通过 spring-boot 配置开启SegmentChainId 模式（spring-boot-starter-cosid）。
新增：添加LifecycleSegmentChainId优雅关闭 PrefetchWorker 。

snowflakEID

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

snowflakEID 使用 Long （64 bits）位分区来生成 ID 的一种分布式 ID 算法。通用的位分配方案为：timestamp (41 bits) + @H_805_10@machinEID (10 bits) + sequence (12 bits) = 63 bits 。

41 位 timestamp = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳，即可以使用的绝对时间为 EPOCH + 69 年，一般我们需要自定义 EPOCH 为产品开发时间，另外还可以通过压缩其他区域的分配位数，来增加时间戳位数来延长可用时间。
10 位 @H_805_10@machinEID = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分，这里直接沿用 Kubernetes 的定义) 实例，一般情况下没有必要使用这么多位，所以会根据部署规模需要重新定义。
12 位 sequence = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID，全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

从 snowflakEID 设计上可以看出:

👍 timestamp 在高位，所以 snowflakEID 是本机单调递增的，受全局时钟同步影响 snowflakEID 是全局趋势递增的。
👍 snowflakEID 不对任何第三方中间件有强依赖关系，并且性能也非常高。
👍 位分配方案可以按照业务系统需要灵活配置，来达到最优使用效果。
👎 强依赖本机时钟，潜在的时钟回拨问题会导致 ID 重复。
👎 @H_805_10@machinEID 需要手动设置，实际部署时如果采用手动分配 @H_805_10@machinEID，会非常低效。

CosId-snowflakEID 主要解决 snowflakEID 俩大问题：机器号分配问题、时钟回拨问题。并且提供更加友好、灵活的使用体验。

@H_997_167@machinEIDDiStributor (MachinEID 分配器)

目前 CosId 提供了以下三种 @H_805_10@machinEID 分配器。

@H_475_177@manualMachinEIDDiStributor

cosid:
  snowflake:
    machine:
      diStributor:
        type: manual
        manual:
          machine-id: 0

手动分配 @H_805_10@machinEID。

StatefulSetMachinEIDDiStributor

cosid:
  snowflake:
    machine:
      diStributor:
        type: stateful_set

使用 Kubernetes 的 StatefulSet 提供的稳定的标识 ID 作为机器号。

redisR_88_11845@achinEIDDiStributor

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

cosid:
  snowflake:
    machine:
      diStributor:
        type: redis

使用 redis 作为机器号的分发存储。

ClockBACkWARDsSynchronizer (时钟回拨同步器)

cosid:
  snowflake:
    clock-BACkWARDs:
      spin-threshold: 10
      broken-threshold: 2000

默认提供的 DefaultClockBACkWARDsSynchronizer 时钟回拨同步器使用主动等待同步策略，spinThreshold(默认值 10 毫秒) 用于设置自旋等待阈值，当大于spinThreshold时使用线程休眠等待时钟同步，如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBACkWARDsException异常。

@H_997_167@machinestateStorage (机器状态存储)

public class Machinestate {
    public static final Machinestate NOT_FOUND = of(-1, -1);
    private final int machinEID;
    private final long lasttimestamp;

    public Machinestate(int machinEID, long lasttimestamp) {
        this.machineId = machinEID;
        this.lasttimestamp = lasttimestamp;
    }

    public int getMachinEID() {
        return machinEID;
    }

    public long getLasttimestamp() {
        return lasttimestamp;
    }

    public static Machinestate of(int machinEID, long lastStamp) {
        return new Machinestate(machinEID, lastStamp);
    }
}

cosid:
  snowflake:
    machine:
      state-storage:
        local:
          state-LOCATIOn: ./cosid-machine-state/

默认提供的 LocalMachinestateStorage 本地机器状态存储，使用本地文件存储机器号、最近一次时间戳，用作 @H_805_10@machinestate 缓存。

ClockSyncsnowflakEID (主动时钟同步 `snowflakEID`)

cosid:
  snowflake:
    share:
      clock-sync: true

默认 snowflakEID 当发生时钟回拨时会直接抛出 ClockBACkWARDsException 异常，而使用 ClockSyncsnowflakEID 会使用 ClockBACkWARDsSynchronizer主动等待时钟同步来重新生成 ID，提供更加友好的使用体验。

SafeJavaScriptsnowflakEID (`JavaScript` 安全的 `snowflakEID`)

snowflakEID snowflakEID=SafeJavaScriptsnowflakEID.ofMillisecond(1);

JavaScript 的 number.MAX_SAFE_IntegeR 只有 53 位，如果直接将 63 位的 snowflakEID 返回给前端，那么会值溢出的情况，通常我们可以将 snowflakEID 转换为 String 类型或者自定义 snowflakEID 位分配来缩短 snowflakEID 的位数使 ID 提供给前端时不溢出。

snowflakeFriendlyId (可以将 `snowflakEID` 解析成可读性更好的 `snowflakEIDState` )

cosid:
  snowflake:
    share:
      friendly: true

public class snowflakEIDState {

    private final long id;

    private final int machinEID;

    private final long sequence;

    private final LocaldatetiR_88_11845@e timestamp;
    /**
     * {@link #timestamp}-{@link #machinEID}-{@link #sequencE}
     */
    private final String friendlyId;
}

public interface snowflakeFriendlyId extends snowflakEID {

    snowflakEIDState friendlyId(long id);

    snowflakEIDState ofFriendlyId(String friendlyId);

    default snowflakEIDState friendlyId() {
        long id = generate();
        return friendlyId(id);
    }
}

        snowflakeFriendlyId snowflakeFriendlyId=new DefaultsnowflakeFriendlyId(snowflakEID);
        snowflakEIDState idState=snowflakeFriendlyId.friendlyId();
        idState.getFriendlyId(); //20210623131730192-1-0

SegmentId (号段模式)

redisIdSegmentDiStributor (使用`redis`作为号段分发后端存储)

cosid:
  segment:
    enabled: true
    diStributor:
      type: redis
    share:
      offset: 0
      step: 100
    provider:
      bizC:
        offset: 10000
        step: 100
      bizD:
        offset: 10000
        step: 100

redisIdSegmentDiStributor 步长设置为 1 时（每次生成ID都需要执行一次 redis 网络 IO 请求）TPS 性能约为 21W/s (JMH 基准测试 )，如果在部分场景下我们对 ID 生成的 TPS 性能有更高的要求，那么可以选择使用增加每次ID分发步长来降低网络 IO 请求频次，提高 IdGenerator 性能（比如增加步长为 1000，性能可提升到 3545W+/s JMH 基准测试）。

SegmentChainId (号段链模式)

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

cosid:
  segment:
    enabled: true
    mode: chain
    chain:
      safe-distance: 100
      prefetch-period: 4000ns
    diStributor:
      type: redis
    share:
      offset: 0
      step: 100
    provider:
      bizC:
        offset: 10000
        step: 100
      bizD:
        offset: 10000
        step: 100

IdGeneratorProvider

cosid:
  snowflake:
    provider:
      bizA:
        #      epoch:
        #      timestamp-bit:
        sequence-bit: 12
      bizB:
        #      epoch:
        #      timestamp-bit:
        sequence-bit: 12

IdGenerator idGenerator=idGeneratorProvider.get("bizA");

在实际使用中我们一般不会所有业务服务使用同一个 IdGenerator ，而是不同的业务使用不同的 IdGenerator，那么 IdGeneratorProvider 就是为了解决这个问题而存在的，他是 IdGenerator 的容器，可以通过业务名来获取相应的 IdGenerator。

Examples

CosId-Examples

安装

Gradle

Kotlin DSL

    val cosidVersion = "1.1.8";
    implementation("me.ahoo.cosid:spring-boot-starter-cosid:${CosidVersion}")

@H_997_167@maven

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLscheR_88_11845@a-instance"
         xsi:scheR_88_11845@aLOCATIOn="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>
    <artifactId>demo</artifactId>
    <properties>
        <cosid.version>1.1.8</cosid.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>me.ahoo.cosid</groupId>
            <artifactId>spring-boot-starter-cosid</artifactId>
            <version>${Cosid.version}</version>
        </dependency>
    </dependencies>

</project>

application.yaml

cosid:
  namespace: ${spring.application.namE}
  snowflake:
    enabled: true
    #    epoch: 1577203200000
    clock-BACkWARDs:
      spin-threshold: 10
      broken-threshold: 2000
    machine:
      #      stable: true
      #      machine-bit: 10
      #      instance-id: ${HOSTNAME}
      diStributor:
        type: redis
      #        manual:
      #          machine-id: 0
      state-storage:
        local:
          state-LOCATIOn: ./cosid-machine-state/
    share:
      clock-sync: true
      friendly: true
    provider:
      bizA:
        #        timestamp-bit:
        sequence-bit: 12
      bizB:
        #        timestamp-bit:
        sequence-bit: 12
  segment:
    enabled: true
    mode: chain
    chain:
      safe-distance: 100
      prefetch-period: 4000ns
    diStributor:
      type: redis
    share:
      offset: 0
      step: 100
    provider:
      bizC:
        offset: 10000
        step: 100
      bizD:
        offset: 10000
        step: 100

JMH-Benchmark

基准测试运行环境：笔记本开发机 ( MACBook Pro (M1) )
所有基准测试都在开发笔记本上执行。
redis 部署环境也在该笔记本开发机上。

snowflakEID

gradle cosid-core:jmh
# or
java -jar cosid-core/build/libs/cosid-core-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1

Benchmark                                                    Mode  Cnt        Score   Error  Units
snowflakEIDBenchmark.millisecondsnowflakEID_friendlyId      thrpt       4020311.665          ops/s
snowflakEIDBenchmark.millisecondsnowflakEID_generate        thrpt       4095403.859          ops/s
snowflakEIDBenchmark.safeJsMillisecondsnowflakEID_generate  thrpt        511654.048          ops/s
snowflakEIDBenchmark.safeJsSecondsnowflakEID_generate       thrpt        539818.563          ops/s
snowflakEIDBenchmark.secondsnowflakEID_generate             thrpt       4206843.941          ops/s

redisIdBenchmark

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

gradle cosid-redis:jmh
# or
java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1 redisIdBenchmark

Benchmark                    Mode  Cnt         Score         Error  Units
redisIdBenchmark.step_1     thrpt    5    207470.850 ±   11832.936  ops/s
redisIdBenchmark.step_100   thrpt    5   3868126.197 ±  258008.896  ops/s
redisIdBenchmark.step_1000  thrpt    5  29506073.112 ± 2502253.182  ops/s

redisChainIdBenchmark

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

gradle cosid-redis:jmh
# or
java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1 redisChainIdBenchmark

Benchmark                                   Mode  Cnt          Score         Error  Units
redisChainIdBenchmark.atomicLong_baseline  thrpt    5  143740421.831 ± 1142477.957  ops/s
redisChainIdBenchmark.step_1               thrpt    5     301874.926 ±   10340.941  ops/s
redisChainIdBenchmark.step_100             thrpt    5   25746336.165 ±  433565.840  ops/s
redisChainIdBenchmark.step_1000            thrpt    5  102722840.616 ± 2368562.637  ops/s

redisIdBenchmark VS redisChainIdBenchmark TPS (ops/s)

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

redisIdBenchmark VS redisChainIdBenchmark Sample (us/op)

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm sample -wi 1 -rf json -f 1 -tu us step_1000

Benchmark                                            Mode      Cnt    Score   Error  Units
redisChainIdBenchmark.step_1000                    sample  1062954    0.056 ± 0.002  us/op
redisChainIdBenchmark.step_1000:step_1000·p0.00    sample               ≈ 0          us/op
redisChainIdBenchmark.step_1000:step_1000·p0.50    sample             0.042          us/op
redisChainIdBenchmark.step_1000:step_1000·p0.90    sample             0.083          us/op
redisChainIdBenchmark.step_1000:step_1000·p0.95    sample             0.084          us/op
redisChainIdBenchmark.step_1000:step_1000·p0.99    sample             0.125          us/op
redisChainIdBenchmark.step_1000:step_1000·p0.999   sample             3.000          us/op
redisChainIdBenchmark.step_1000:step_1000·p0.9999  sample             8.818          us/op
redisChainIdBenchmark.step_1000:step_1000·p1.00    sample           290.304          us/op
redisIdBenchmark.step_1000                         sample  1374946    0.064 ± 0.003  us/op
redisIdBenchmark.step_1000:step_1000·p0.00         sample               ≈ 0          us/op
redisIdBenchmark.step_1000:step_1000·p0.50         sample             0.042          us/op
redisIdBenchmark.step_1000:step_1000·p0.90         sample             0.042          us/op
redisIdBenchmark.step_1000:step_1000·p0.95         sample             0.042          us/op
redisIdBenchmark.step_1000:step_1000·p0.99         sample             0.083          us/op
redisIdBenchmark.step_1000:step_1000·p0.999        sample             0.291          us/op
redisIdBenchmark.step_1000:step_1000·p0.9999       sample            46.624          us/op
redisIdBenchmark.step_1000:step_1000·p1.00         sample           483.840          us/op

大佬总结

以上是大佬教程为你收集整理的CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器全部内容，希望文章能够帮你解决CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错，欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。

标签：javascript load php redis shell 优化安装开发程序员算法

上一篇: P2179-[NOI2012]骑行川藏【导数,... 下一篇:05、Java进阶--多线程编程

猜你在找的程序笔记相关文章

You can't specify target table 'xxx' for update in FROM clause的解决 2022-07-21
【UNIAPP】上传视频，进度条的前台与后端 2022-07-21
十款代码表白特效，一个比一个浪漫！ 2022-07-04
作业3 2022-07-06
linux系统下部署项目访问报404错误的解决方法 2022-05-30
C++带有指针成员的类处理方式详解 2022-06-07
Linux——（1）基本命令 2022-07-21
JavaScript之正则表达式学习笔记 2019-11-07
Redux源码学习笔记 2019-11-07
Webpack学习笔记 2019-11-07

CosId 1.1.8 发布，通用、灵活、高性能的分布式 ID 生成器

CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

更新内容（1.1.8） 🎉 🎉 🎉

snowflakEID

StatefulSetMachinEIDDiStributor

redisR_88_11845@achinEIDDiStributor

ClockBACkWARDsSynchronizer (时钟回拨同步器)

ClockSyncsnowflakEID (主动时钟同步 snowflakEID)

SafeJavaScriptsnowflakEID (JavaScript 安全的 snowflakEID)

snowflakeFriendlyId (可以将 snowflakEID 解析成可读性更好的 snowflakEIDState )

SegmentId (号段模式)

redisIdSegmentDiStributor (使用redis作为号段分发后端存储)

SegmentChainId (号段链模式)

IdGeneratorProvider

Examples

安装

Gradle

application.yaml

JMH-Benchmark

snowflakEID

redisIdBenchmark

redisChainIdBenchmark

redisIdBenchmark VS redisChainIdBenchmark TPS (ops/s)

redisIdBenchmark VS redisChainIdBenchmark Sample (us/op)

大佬总结

ClockSyncsnowflakEID (主动时钟同步 `snowflakEID`)

SafeJavaScriptsnowflakEID (`JavaScript` 安全的 `snowflakEID`)

snowflakeFriendlyId (可以将 `snowflakEID` 解析成可读性更好的 `snowflakEIDState` )

redisIdSegmentDiStributor (使用`redis`作为号段分发后端存储)