集群应用场景消息传递Kafka可以很好地替代传统邮件代理。消息代理的使用有多种原因（将处理与数据生产者分离，缓冲未处理的消息等）。与大多数邮件系统相比，Kafka具有更好的吞吐量，内置的分区，复制和容错功能，这使其成为大规模邮件处理应用程序的理想解决方案。根据我们的经验，消息传递的使用通常吞吐量较低，但是可能需要较低的端到端延迟，并且通常取决于Kafka提供的强大的持久性保证。在这个领域，Kafka与ActiveMQ或 Rabbi...

阅读全文 »

集群方案原理对于无状态应用（如普通的微服务）很容易实现负载均衡、高可用集群。而对于有状态的系统（如数据库等）就比较复杂。业界实践：主备模式：单活，容量对等，可以实现故障转移。使用独立存储时需要借助复制、镜像同步等技术，数据会有延迟、不一致等问题（CAP定律），使用共享存储时就不会有状态同步这个问题。主从模式：一定程度的双活，容量对等，最常见的是读写分离。通常也需要借助复制技术，或者要求上游实现双写来保证节点数据一致。主主模式：两边...

阅读全文 »

软件和操作系统版本Hadoop框架是采用Java语言编写，需要java环境（jvm）JDK版本：JDK8版本集群：知识点学习：统一使用vmware虚拟机虚拟三台linux节点，linux操作系统：Centos7项目阶段：统一使用云服务器，5台云服务器节点Hadoop搭建方式单机模式：单节点模式，非集群，生产不会使用这种方式单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式完全分布式模式：多台节点，真正的分布式Ha...

阅读全文 »

FastDFS集群架构设置3台CentOS 7 虚拟机3个tracker 3个storage192.168.211.130192.168.211.136192.168.211.135trackertrackertrackerstorage（group1）storage（group1）storage（group2）nginxnginxnginx按照之前的单机方式先进行安装FastDFS集群架构详细配置配置tracker集群 三台相同...

阅读全文 »

MongoDB主从复制架构原理和缺陷master-slave架构中master节点负责数据的读写，slave没有写入权限只负责读取数据。在主从结构中，主节点的操作记录成为oplog（operation log）。oplog存储在系统数据库local的oplog.$main集合中，这个集合的每个文档都代表主节点上执行的一个操作。从服务器会定期从主服务器中获取oplog记录，然后在本机上执行！对于存储oplog的集合，MongoDB采...

阅读全文 »

集群架构设计架构设计理念在集群架构设计时，主要遵从下面三个维度：可用性扩展性一致性可用性设计站点高可用，冗余站点服务高可用，冗余服务数据高可用，冗余数据保证高可用的方法是冗余。但是数据冗余带来的问题是数据一致性问题。实现高可用的方案有以下几种架构模式：主从模式简单灵活，能满足多种需求。比较主流的用法，但是写操作高可用需要自行处理。双主模式互为主从，有双主双写、双主单写两种方式，建议使用双主单写扩展性设计扩展性主要围绕着读操作扩展和...

阅读全文 »