一、本地缓存需求


  1. 需要较高读写性能+命中率
  2. 支持按写入时间过期
  3. 支持淘汰策略
  4. 需要解决gc问题,否则大量对象写入会引起stw扫描标记时间过长,cpu毛刺严重


二、本地缓存调研



  1. 本地缓存最终都会受单机内存容量的限制
  2. 平均响应时间在ms级
  3. 绝大部分此类组件都是基于分片+读写锁来实现功能,底层数据要么采用淘汰算法淘汰数据,要么采用循环队列循环使用空间。


特别注明:


  • 实现零GC方案
    • 无GC:分配堆外内存(Mmap)
    • 避免GC:
    1. map非指针优化(map[uint64]uint32)或者采用slice实现一套无指针的map
    2. 数据存入[]byte slice(可考虑底层采用环形队列封装循环使用空间)
  • 实现高并发思路
    • 数据分片(降低锁的粒度)


三、本地缓存之freecache



四、本地缓存之bigcache



五、本地缓存之fastcache


六、总结


  1. 存储是互联网的基石、核心命脉。有必要详细了解
  2. 工作日常会接触:存储方案选型、性能调优等。应该了解、熟悉