高可用方案
目的：理解主从复制原理、同步数据集能够配置Redis主从复制能够配置Redis主从+哨兵模式理解哨兵执行流程、故障转移和leader选举掌握一致性hash算法掌握codis的集群部署方案理解RedisCluster的分片原理掌握RedisCluster的部署方案和迁移扩容等操作“高可用性”（High Availability）通常来描述一个系统经过专门的设计，从而减少停工时间，而保持其服务的高度可用性。CAP的AP模型单机的Red...
2020年9月
Redis扩展功能
发布与订阅Redis提供了发布订阅功能，可以用于消息的传输Redis的发布订阅机制包括三个部分，publisher，subscriber和Channel发布者和订阅者都是Redis客户端，Channel则为Redis服务器端。发布者将消息发送到某个的频道，订阅了这个频道的订阅者就能接收到这条消息。频道/模式的订阅与退订subscribe:订阅 subscribe channel1 channel2 ..Redis客户端1订阅频道1...
Redis持久化
目的：理解RDB的原理和执行流程了解RDB的文件结构理解AOF的原理和执行流程理解AOF重写原理和触发方式掌握RDB和AOF的区别和应用场景为什么要持久化Redis是内存数据库，宕机后数据会消失。Redis重启后快速恢复数据，要提供持久化机制Redis有两种持久化方式：RDB和AOF注意：Redis持久化不保证数据的完整性。当Redis用作DB时，DB数据要完整，所以一定要有一个完整的数据源（像文件、mysql机制）在系统启动时，...
通讯协议及事件处理机制
目的：知道Redis的请求响应模式理解请求数据格式（RESP）描述命令处理流程知道Redis的响应格式掌握4种IO多路复用模式（epoll）理解aeEventLoop通信协议Redis是单进程单线程的。应用系统和Redis通过Redis协议（RESP）进行交互。请求响应模式Redis协议位于TCP层之上，即客户端和Redis实例保持双工的连接。串行的请求响应模式（ping-pong）串行化是最简单模式，客户端与服务器端建立长连接连...
数据类型与底层数据结构
目标：掌握Redis五种基本数据类型的用法和常见命令的使用了解bitmap、geo、stream的使用理解Redis底层数据结构（Hash、跳跃表、quicklist）了解RedisDB和RedisObject理解LRU算法理解Redis缓存淘汰策略能够较正确的应用Redis缓存淘汰策略Redis数据类型和应用场景Redis是一个Key-Value的存储系统，使用ANSI C语言编写。key的类型是字符串。value的数据类型有：...
缓存原理与设计
生产中遇到的缓存问题（大厂常见面试题）系统在某个时刻访问量剧增（热点新闻），造成数据库压力剧增甚至崩溃，怎么办？什么是缓存雪崩、缓存穿透和缓存击穿，会造成什么问题，如何解决？什么是大Key和热Key，会造成什么问题，如何解决？如何保证 Redis 中的数据都是热点数据？缓存和数据库数据是不一致时，会造成什么问题，如何解决？什么是数据并发竞争，会造成什么问题，如何解决？单线程的Redis为什么这么快？Redis哨兵和集群的原理及选择...
HBase API应用和优化
HBase API应用和优化创建Maven工程，添加依赖<dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.3.1</version> ...
HBase原理深入
HBase读数据流程HBase读操作1）首先从zk找到meta表的region位置，然后读取meta表中的数据，meta表中存储了用户表的region信息2）根据要查询的namespace、表名和rowkey信息。找到写入数据对应的region信息3）找到这个region对应的regionServer，然后发送请求4）查找对应的region5）先从memstore查找数据，如果没有，再从BlockCache上读取HBase上Reg...
初识HBase
HBase 简介HBase是什么HBase 基于 Google的BigTable论文而来，是一个分布式海量列式非关系型数据库系统，可以提供超大规模数据集的实时随机读写。接下来，通过一个场景初步认识HBase列存储如下MySQL存储机制，空值字段浪费存储空间idNAMEAGESALARYJOB1小明23 学生2小红 10w律师 如果是列存储的话，可以这么玩......rowkey：1 name：小明rowkey：1 age：...
Hadoop 3.x新特性概述
Hadoop3.x中增强了很多特性，在Hadoop3.x中，不再允许使用jdk1.7，要求jdk1.8以上版本。这是因为Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正是Hadoop3.x。Hadoop3.x以后将会调整方案架构，将Mapreduce 基于内存+io+磁盘，共同处理数据。Hadoop 3....