非常教程

Redis参考手册

HyperLogLog

pfcount

PFCOUNT key [key ...]

自2.8.9起可用。

时间复杂度: O(1)用单个密钥调用时的平均时间非常短。O(N),其中N是密钥的数量,当用多个密钥调用时,恒定时间大得多。

使用单个键调用时,返回由存储在指定变量中的 HyperLogLog 数据结构计算的近似基数,如果该变量不存在,则返回0。

使用多个键调用时,通过将存储在所提供的键中的 HyperLogLog 内部合并到临时 HyperLogLog 中,返回传递的 HyperlogLog 的联合的近似基数。

可以使用 HyperLogLog 数据结构,以便使用少量恒定内存(特别是每个 HyperLogLog 的12k字节(加上密钥本身的几个字节))对集合中的唯一元素进行计数。

观察到的集合的返回基数不是确切的,但是以0.81%的标准误差近似。

例如,为了计算一天中执行的所有唯一搜索查询的计数,程序需要在每次处理查询时调用 PFADD。可以随时使用 PFCOUNT 检索唯一查询的估计数量。

注意:由于调用此函数的副作用,HyperLogLog 可能会被修改,因为最后8个字节会将最新计算的基数编码为高速缓存目的。所以 PFCOUNT 在技术上是一个写命令。

返回值

整数回复,具体为:

  • 通过PFADD观察到的独特元素的近似数量。

例子

redis> PFADD hll foo bar zap (integer) 1 redis> PFADD hll zap zap zap (integer) 0 redis> PFADD hll foo bar (integer) 0 redis> PFCOUNT hll (integer) 3 redis> PFADD some-other-hll 1 2 3 (integer) 1 redis> PFCOUNT hll some-other-hll (integer) 6

Performances

当使用单个键调用 PFCOUNT 时,即使理论上处理密集型 HyperLogLog 的时间很长,性能也非常好。这是可能的,因为 PFCOUNT 使用缓存来记住之前计算的基数,这很少发生变化,因为大多数 PFADD 操作不会更新任何寄存器。每秒可执行数百次操作。

当使用多个密钥调用 PFCOUNT 时,将执行 HyperLogLog 的即时合并,这很慢,而且联合的基数不能被缓存,所以当与多个密钥 PFCOUNT 一起使用时,可能需要一段时间毫秒数量级,并且不应该被滥用。

用户应该记住,该命令的单键和多键执行在语义上是不同的并且具有不同的性能。

HyperLogLog representation

Redis HyperLogLog 使用双重表示法表示:适用于 HLL 计数少量元素(导致少量寄存器设置为非零值)的稀疏表示形式,以及适用于更高基数的密集表示形式。需要时,Redis 会自动从稀疏状态切换到密集状态。

稀疏表示使用经过优化的游程编码来有效地存储大量设置为零的寄存器。密集表示是一个12288字节的 Redis 字符串,用于存储16384个6位计数器。对双重表示的需求来自于使用12k(这是密集表示内存要求)对少量寄存器进行编码以获得更小的基数的事实,这是非常不理想的。

两种表示都以16字节的头部作为前缀,其中包含魔术,编码/版本字段以及计算出的缓存基数估计值,并以 little endian 格式存储(如果自 HyperLogLog 更新后估计无效,则最高有效位为1因为计算基数)。

作为 Redis 字符串的 HyperLogLog 可以使用GET进行检索并使用 SET 进行恢复。使用损坏的 HyperLogLog 调用 PFADD,PFCOUNT 或 PFMERGE 命令绝不是问题,它可能会返回随机值,但不会影响服务器的稳定性。大多数情况下,当破坏稀疏表示时,服务器会识别损坏并返回错误。

从处理器字长和字节序的观点来看,该表示是中性的,因此32位和64位处理器使用相同的表示法,即大字节或小字节。

HyperLogLog相关

Redis

Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。 它通常被称为数据结构服务器,因为值( value )可以是 字符串( String ), 哈希(Map),列表(list),集合( sets ) 和 有序集合( sorted sets )等类型。

主页 https://redis.io/
源码 https://github.com/antirez/redis
发布版本 4.0.2

Redis目录

1.集合 | Cluster
2.连接 | Connection
3.Geo
4.Hashes
5.HyperLogLog
6.键 | Keys
7.列表 | Lists
8.Pub/Sub
9.脚本 | Scripting
10.服务器 | Server
11.设定 | Sets
12.排序集 | Sorted Sets
13.字符串 | Strings
14.事务 | Transactions
15.Redis Dump 命令
16.Redis DEL 命令
17.Redis 键(key)
18.Redis 命令
19.Redis 配置
20.Redis 简介
21.Redis RANDOMKEY 命令
22.Redis TTL 命令
23.Redis Pttl 命令
24.Redis PERSIST 命令
25.Redis Move 命令
26.Redis PEXPIREAT 命令
27.Redis Keys 命令
28.Redis Expireat 命令
29.Redis Expire 命令
30.Redis EXISTS 命令
31.Redis Mget 命令
32.Redis Getbit 命令
33.Redis Getset 命令
34.Redis Getrange 命令
35.Redis Get 命令
36.Redis SET 命令
37.Redis 字符串(String)
38.Redis Type 命令
39.Redis Renamenx 命令
40.Redis Rename 命令
41.Redis Incrby 命令
42.Redis Incr 命令
43.Redis Psetex 命令
44.Redis Msetnx 命令
45.Redis Mset 命令
46.Redis Strlen 命令
47.Redis Setrange 命令
48.Redis Setnx 命令
49.Redis Setex 命令
50.Redis Setbit 命令
51.Redis Hincrby 命令
52.Redis Hgetall 命令
53.Redis Hget 命令
54.Redis Hexists 命令
55.Redis Hdel 命令
56.Redis 哈希(Hash)
57.Redis Append 命令
58.Redis Decrby 命令
59.Redis Decr 命令
60.Redis Incrbyfloat 命令
61.Redis Blpop 命令
62.Redis 列表(List)
63.Redis Hvals 命令
64.Redis Hsetnx 命令
65.Redis Hset 命令
66.Redis Hmset 命令
67.Redis Hmget 命令
68.Redis Hlen 命令
69.Redis Hkeys 命令
70.Redis Hincrbyfloat 命令
71.Redis Lrem 命令
72.Redis Lrange 命令
73.Redis Lpushx 命令
74.Redis Lpush 命令
75.Redis Lpop 命令
76.Redis Llen 命令
77.Redis Linsert 命令
78.Redis Lindex 命令
79.Redis Brpoplpush 命令
80.Redis Brpop 命令
81.Redis Sdiff 命令
82.Redis Scard 命令
83.Redis Sadd 命令
84.Redis 集合(Set)
85.Redis Rpushx 命令
86.Redis Rpush 命令
87.Redis Rpoplpush 命令
88.Redis Rpop 命令
89.Redis Ltrim 命令
90.Redis Lset 命令
91.Redis Sunion 命令
92.Redis Srem 命令
93.Redis Srandmember 命令
94.Redis Spop 命令
95.Redis Smove 命令
96.Redis Smembers 命令
97.Redis Sismember 命令
98.Redis Sinterstore 命令
99.Redis Sinter 命令
100.Redis Sdiffstore 命令