真正的缓存之王,GoogleGuava只是弟弟
前面刚说到Guava Cache,他的优点是封装了get,put操作;提供线程安全的缓存操作;提供过期策略;提供回收策略;缓存监控。当缓存的数据超过最大值时,使用LRU算法替换。这一篇我们将要谈到一个新的本地缓存框架:Caffeine Cache。它也是站在巨人的肩膀上-Guava Cache,借着他的思想优化了算法发展而来。
本篇博文主要介绍Caffine Cache 的使用方式,以及Caffine Cache在SpringBoot中的使用。 1. Caffine Cache 在算法上的优点-W-TinyLFU
说到优化,Caffine Cache到底优化了什么呢?我们刚提到过LRU,常见的缓存淘汰算法还有FIFO,LFU: FIFO:先进先出,在这种淘汰算法中,先进入缓存的会先被淘汰,会导致命中率很低。 LRU:最近最少使用算法,每次访问数据都会将其放在我们的队尾,如果需要淘汰数据,就只需要淘汰队首即可。仍然有个问题,如果有个数据在 1 分钟访问了 1000次,再后 1 分钟没有访问这个数据,但是有其他的数据访问,就导致了我们这个热点数据被淘汰。 LFU:最近最少频率使用,利用额外的空间记录每个数据的使用频率,然后选出频率最低进行淘汰。这样就避免了 LRU 不能处理时间段的问题。
上面三种策略各有利弊,实现的成本也是一个比一个高,同时命中率也是一个比一个好。Guava Cache虽然有这么多的功能,但是本质上还是对LRU的封装,如果有更优良的算法,并且也能提供这么多功能,相比之下就相形见绌了。
LFU的局限性 :在 LFU 中只要数据访问模式的概率分布随时间保持不变时,其命中率就能变得非常高。比如有部新剧出来了,我们使用 LFU 给他缓存下来,这部新剧在这几天大概访问了几亿次,这个访问频率也在我们的 LFU 中记录了几亿次。但是新剧总会过气的,比如一个月之后这个新剧的前几集其实已经过气了,但是他的访问量的确是太高了,其他的电视剧根本无法淘汰这个新剧,所以在这种模式下是有局限性。
LRU的优点和局限性 :LRU可以很好的应对突发流量的情况,因为他不需要累计数据频率。但LRU通过历史数据来预测未来是局限的,它会认为最后到来的数据是最可能被再次访问的,从而给与它最高的优先级。
在现有算法的局限性下,会导致缓存数据的命中率或多或少的受损,而命中略又是缓存的重要指标。HighScalability网站刊登了一篇文章,由前Google工程师发明的W-TinyLFU——一种现代的缓存 。Caffine Cache就是基于此算法而研发。Caffeine 因使用 Window TinyLfu 回收策略,提供了一个 近乎最佳的命中率 。 当数据的访问模式不随时间变化的时候,LFU的策略能够带来最佳的缓存命中率。然而LFU有两个缺点:
首先,它需要给每个记录项维护频率信息,每次访问都需要更新,这是个巨大的开销;
其次,如果数据访问模式随时间有变,LFU的频率信息无法随之变化,因此早先频繁访问的记录可能会占据缓存,而后期访问较多的记录则无法被命中。
因此,大多数的缓存设计都是基于LRU或者其变种来进行的。相比之下,LRU并不需要维护昂贵的缓存记录元信息,同时也能够反应随时间变化的数据访问模式。然而,在许多负载之下,LRU依然需要更多的空间才能做到跟LFU一致的缓存命中率。因此,一个"现代"的缓存,应当能够综合两者的长处。
TinyLFU维护了近期访问记录的频率信息,作为一个过滤器,当新记录来时,只有满足TinyLFU要求的记录才可以被插入缓存。如前所述,作为现代的缓存,它需要解决两个挑战:
一个是如何避免维护频率信息的高开销;
另一个是如何反应随时间变化的访问模式。
首先来看前者,TinyLFU借助了数据流Sketching技术,Count-Min Sketch显然是解决这个问题的有效手段,它可以用小得多的空间存放频率信息,而保证很低的False Positive Rate。但考虑到第二个问题,就要复杂许多了,因为我们知道,任何Sketching数据结构如果要反应时间变化都是一件困难的事情,在Bloom Filter方面,我们可以有Timing Bloom Filter,但对于CMSketch来说,如何做到Timing CMSketch就不那么容易了。TinyLFU采用了一种基于滑动窗口的时间衰减设计机制,借助于一种简易的reset操作:每次添加一条记录到Sketch的时候,都会给一个计数器上加1,当计数器达到一个尺寸W的时候,把所有记录的Sketch数值都除以2,该reset操作可以起到衰减的作用 。
W-TinyLFU主要用来解决一些稀疏的突发访问元素。在一些数目很少但突发访问量很大的场景下,TinyLFU将无法保存这类元素,因为它们无法在给定时间内积累到足够高的频率。因此W-TinyLFU就是结合LFU和LRU,前者用来应对大多数场景,而LRU用来处理突发流量。
在处理频率记录的方案中,你可能会想到用hashMap去存储,每一个key对应一个频率值。那如果数据量特别大的时候,是不是这个hashMap也会特别大呢。由此可以联想到 Bloom Filter,对于每个key,用n个byte每个存储一个标志用来判断key是否在集合中。原理就是使用k个hash函数来将key散列成一个整数。
在W-TinyLFU中使用Count-Min Sketch记录我们的访问频率,而这个也是布隆过滤器的一种变种。如下图所示:
c5d0788bdf7f8eeb8f40d9d7b83ffb1f.png
202111271504460601.png
如果需要记录一个值,那我们需要通过多种Hash算法对其进行处理hash,然后在对应的hash算法的记录中+1,为什么需要多种hash算法呢?由于这是一个压缩算法必定会出现冲突,比如我们建立一个byte的数组,通过计算出每个数据的hash的位置。比如张三和李四,他们两有可能hash值都是相同,比如都是1那byte[1]这个位置就会增加相应的频率,张三访问1万次,李四访问1次那byte[1]这个位置就是1万零1,如果取李四的访问评率的时候就会取出是1万零1,但是李四命名只访问了1次啊,为了解决这个问题,所以用了多个hash算法可以理解为long[][]二维数组的一个概念,比如在第一个算法张三和李四冲突了,但是在第二个,第三个中很大的概率不冲突,比如一个算法大概有1%的概率冲突,那四个算法一起冲突的概率是1%的四次方。通过这个模式我们取李四的访问率的时候取所有算法中,李四访问最低频率的次数。所以他的名字叫Count-Min Sketch。 2. 使用
Caffeine Cache 的github地址:点我。
目前的最新版本是: com.github.ben-manes.caffeine caffeine 2.6.2 2.1 缓存填充策略
Caffeine Cache提供了三种缓存填充策略:手动、同步加载和异步加载。 1.手动加载
在每次get key的时候指定一个同步的函数,如果key不存在就调用这个函数生成一个值。 /** * 手动加载 * @param key * @return */ public Object manulOperator(String key) { Cache cache = Caffeine.newBuilder() .expireAfterWrite(1, TimeUnit.SECONDS) .expireAfterAccess(1, TimeUnit.SECONDS) .maximumSize(10) .build(); //如果一个key不存在,那么会进入指定的函数生成value Object value = cache.get(key, t -> setValue(key).apply(key)); cache.put("hello",value); //判断是否存在如果不存返回null Object ifPresent = cache.getIfPresent(key); //移除一个key cache.invalidate(key); return value; } public Function setValue(String key){ return t -> key + "value"; } 3. 异步加载
AsyncLoadingCache是继承自LoadingCache类的,异步加载使用Executor去调用方法并返回一个CompletableFuture。异步加载缓存使用了响应式编程模型。
如果要以同步方式调用时,应提供CacheLoader。要以异步表示时,应该提供一个AsyncCacheLoader,并返回一个CompletableFuture。 /** * 异步加载 * * @param key * @return */ public Object asyncOperator(String key){ AsyncLoadingCache cache = Caffeine.newBuilder() .maximumSize(100) .expireAfterWrite(1, TimeUnit.MINUTES) .buildAsync(k -> setAsyncValue(key).get()); return cache.get(key); } public CompletableFuture
管住悟空保,须常念紧箍咒来论一元就能买到几百万保额的保险,实则是以优惠为名的诱导销售。日前,悟空保以首月0元1元免费领取等获取高额保费为噱头,被央视曝光。3月22日银保监会表示,将开展立案调查,严肃查处违
你家的老人还用老年手机吗?这个问题我认为不单是我家而现在我们这农村的老人七十上是很多人都在用。早就不用了。社会发展太快了,老年人不改变自己,不适应社会发展就会被淘汰啦。现在出门购物要网络支付,尤其是疫情防控
如何提升微信支付分?微信支付分分由三个核心维度构成1身份特质也就是个人实名信息2守约历史也就是与使用微信支付相关的履约情况3消费特征也就是与使用微信支付相关的消费等行为你这个问题就和如何提高花呗借呗的
小米的平衡车好用么?还是值得推荐的改成卡丁车了,挺好玩的呲牙小米平衡车,英文名是Ninebot,是一款当今城市交通代步汽车,全部由电力安装工程控制器,零环境污染污水处理,高度紧密结合现如今节能减排倡导
我离开腾讯卖了3年电子烟本文来自微信公众号李希昭(IDlixizhao2016),作者李希昭香港理工大学硕士,前经济观察报记者,前腾讯市场公关,前喜雾CMO,头图来自视觉中国每个人都有自己的机缘。有时候即
中国无线网络摄像机市场报告及市场预测无线网络摄像机市场的企业竞争态势该报告涉及的主要国际市场参与者有CanonSonySamsungPanasonicNikonGoproKodakFujifilmOlympusRic
长度堪比论文的App用户协议不能想怎么写就怎么写移动互联网时代,App成了大家的必备工具。首次下载使用时,点击我已阅读并同意用户协议和隐私政策是常规操作。这些协议动辄上万甚至数万字,长度堪比一篇论文,相关调查显示,近80的用户很
海尔生物2021年净利润8。45亿元同比增长121。82中证网讯(王珞)3月24日晚间,海尔生物披露2021年年报,公司物联网升级持续深化,聚焦生命科学和医疗创新两大数字场景,通过不断加码科创研发,深化全球化布局,强化组织能力建设,公司
欧盟就数字市场法案达成一致科技巨头将受限制来源新华社欧洲议会欧洲理事会和欧盟委员会24日晚就数字市场法案达成一致,旨在限制谷歌苹果亚马逊脸书等科技巨头。欧洲议会在当天夜间发布的声明中说,经过近8小时的三方会谈,欧盟立法者就
顺丰也造车?奇瑞代工专为快递小哥打造,80KM续航单门单座这几年微型新能源车型火遍大江南北,其主要原因就是国家开始集中整顿老年代步车,再过几年老年代步车将彻底被市场淘汰,所有各大品牌都在跟进这个级别的车型。其实除了老年代步车外,许多品牌还
广东省通信管理局依法对315晚会曝光的越豹WIFI助手做出行政处罚广东信息通信业微信公众号消息,根据央视315晚会曝光线索,广东省通信管理局按照工业和信息化部统一工作部署,3月15日当晚开展全网搜查,从PC6下载站等网站下载保存了越豹WiFi助手
不做弹窗忍者,将选择权交回用户手里据上海市消费者权益保护委员会调查数据显示,在对600款手机APP广告行为进行分析测试,发现有58会弹出广告,其中69。7没有关闭键,可以说,网友苦弹窗广告久已。弹窗广告,诱惑分享套
硬刚小米12,红米K50Pro携手天玑9000来袭,2999的售价真的香随着摩托罗拉首次带来骁龙8Gn1处理器之后,所有手机厂商压力相当大,毕竟2999的起售价并不是任何手机厂商可以做到的。不过各大手机厂商仍然在不断预热新机,小米12系列马上到来,而红
汽车产销量持续增长来源人民网人民日报海外版本报北京12月10日电(记者徐佩玉)中国汽车工业协会10日发布数据显示,11月,全国汽车产销分别达到258。5万辆和252。2万辆,环比增长10。9和8。1
精研科技2。25亿元收购瑞点精密向汽车业务板块深度延伸中证网讯(王珞)12月24日,精研科技(300709)股东大会审议通过关于收购常州瑞点精密科技有限公司100股权暨关联交易的议案。据介绍,为把握市场发展趋势,更好地推动公司的长期战
到底是什么黑科技?自己开?自己找车位?自己停?什么车什么操作让董子健三脸问号搭载无人自主泊车功能的威马W6浑身全是黑科技高清智能摄像头2高清环视摄像头4毫米波雷达5超声波传感器12感知周围环境,开停
柳家事百度百科闲来无事,百度了柳船只,秒懂百科的介绍如下IT教父柳船只,你不知道的11件事1他财富不及王健林千分之一,却是王健林最欣赏的人,企业家朋友圈,资产规模20000亿2他40岁放弃中科院
笔记本电脑背包有哪些推荐?给各大笔记本厂商代工包的厂家名字叫泰格斯,现在它也生产自有品牌,你搜一下就知道了。另外头条上也有好多人推荐台湾产的包,90美刀,可以打对折,全包20来个兜,分门别类,质量也很好,特
Java不掌握这些能叫精通嘛?GitHub星标115Java教程分享Java不掌握这些能叫精通嘛?基础部分接口与抽象类的区别。Java中的异常有哪几类。分别怎么使用。常用的集合类有哪些。比如List如何排序。ArrayList和LinkedList
爱奇艺难解长视频困局绘图杨佳12月初的爱奇艺,本应风起洛阳等多部年度大戏的热播而备受业界关注,谁料率先登上热搜的,却是企业大规模裁员的消息。据业内人士透露,为扭转持续亏损状况,爱奇艺近期正对组织架构进
从管理方式揭秘小米企业管理成功的秘诀小米的高速增长可以说是中国商界中的一个奇迹,去KPI化去中心化粉丝文化,这些都是小米在人力资源管理上的有些离经叛道的主张,那么小米又是怎样将这些奇谈怪论进行有机的整合的呢?扁平化管
英特尔i512400F海外开卖盒装价约1400元据海外媒体Xanxogaming报道,英特尔酷睿i512400F已经在秘鲁上市销售,盒装税后售价899秘鲁新索尔,约合人民币1400元。如上图所示,英特尔酷睿i512400F附带了