如何搭建一个易于维护的 Hadoop 集群?

如何搭建一个易于维护的 Hadoop 集群?

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 333 views°

0
学习如何搭建一个易于维护的hadoop集群。 之前,关于部署Apache Hadoop的硬件选择上,我们发表了一些推荐规范。那篇文章就集群规划和部署方面提出了一些不错的想法。比如工作负载分析,CPU、磁盘、内存分配相关的建议。这篇文章我们将对下一实施步骤提供最佳的实践指导:等机器一到,我们就能开始配置机器了。通过这两篇文章,你就可以向着部署一个完美Hadoop生产坏境的目标迈出一大步了。 具体的说,......

Nginx 和 Keepalived 实现站点高可用

发表于1年前 | 作者: Kar Chan | 分类: web技术 | 流行热度: 258 views°

0
公司内部 OA 系统要做线上高可用,避免单点故障,所以计划使用2台虚拟机通过 Keepalived 工具来实现 nginx 的高可用(High Avaiability),达到一台nginx入口服务器宕机,另一台备机自动接管服务的效果。(nginx做反向代理,实现后端应用服务器的负载均衡)快速搭建请直接跳至 第2节。 1. Keepalived介绍 Keepalived是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似的工具......

浅谈 TCP 优化

发表于1年前 | 作者: Kar Chan | 分类: web技术 | 流行热度: 364 views°

0
原文出处: 火丁笔记(@火丁笔记) 很多人常常对TCP优化有一种雾里看花的感觉,实际上只要理解了TCP的运行方式就能掀开它的神秘面纱。Ilya Grigorik 在「High Performance Browser Networking」中做了很多细致的描述,让人读起来醍醐灌顶,我大概总结了一下,以期更加通俗易懂。 流量控制 传输数据的时候,如果发送方传输的数据量超过了接收方的处理能力,那么接收方会出现丢包。为了避免出现此类问题......

MySQL 读写分离介绍及搭建

发表于1年前 | 作者: Kar Chan | 分类: 数据库技术 | 流行热度: 259 views°

0
MySQL读写分离基本原理是让master数据库处理写操作,slave数据库处理读操作。master将写操作的变更同步到各个slave节点。 MySQL读写分离能提高系统性能的原因在于: 物理服务器增加,机器处理能力提升。拿硬件换性能。 主从只负责各自的读和写,极大程度缓解X锁和S锁争用。 slave可以配置myiasm引擎,提升查询性能以及节约系统开销。 master直接写是并发的,slave通过主库发送来的binlog恢复数据是异......

MySQL 主主复制 + LVS + Keepalived 实现 MySQL 高可用性

发表于1年前 | 作者: Kar Chan | 分类: 数据库技术 | 流行热度: 290 views°

0
 MySQL复制能够保证数据的冗余的同时可以做读写分离来分担系统压力,如果是主主复制还可以很好的避免主节点的单点故障。但是MySQL主主复制存在一些问题无法满足我们的实际需要:未提供统一访问入口来实现负载均衡,如果其中master宕掉的话需要手动切换到另外一个master,而不能自动进行切换。 这篇文章下面要介绍如何通过LVS+Keepalived的方式来是实现MySQL的高可用性,同时解决以上问题。 Keepalived......

MySQL 复制介绍及搭建

发表于1年前 | 作者: Kar Chan | 分类: 数据库技术 | 流行热度: 240 views°

0
MySQL复制介绍 MySQL复制就是一台MySQL服务器(slave)从另一台MySQL服务器(master)进行日志的复制然后再解析日志并应用到自身,类似Oracle中的Data Guard。 MySQL复制有那些好处: 第一是解决宕机带来的数据不一致,因为MySQL复制可以实时备份数据; 第二点是减轻数据库服务器的压力,多台服务器的性能一般比单台要好。但是MySQL复制不适合大数据量,大数据量推荐使用集群。 MySQL复制过程分成三......

数字证书及 CA 的扫盲介绍

发表于1年前 | 作者: Kar Chan | 分类: web技术 | 流行热度: 304 views°

0
★ 先说一个通俗的例子 考虑到证书体系的相关知识比较枯燥、晦涩。俺先拿一个通俗的例子来说事儿。 ◇ 普通的介绍信 想必大伙儿都听说过介绍信的例子吧?假设 A 公司的张三先生要到 B 公司去拜访,但是 B 公司的所有人都不认识他,他咋办呢?常用的办法是带公司开的一张介绍信,在信中说:兹有张三先生前往贵公司办理业务,请给予接洽……云云。然后在信上敲上A公司的公章。 张三先生到了 B 公司后,把介......

SQL性能优化前期准备-清除缓存、开启IO统计

发表于1年前 | 作者: Kar Chan | 分类: 数据库技术 | 流行热度: 263 views°

0
如果需要进行SQl Server下的SQL性能优化,需要准备以下内容: 一、SQL查询分析器设置: 1、开启实际执行计划跟踪。 2、每次执行需优化SQL前,带上清除缓存的设置SQL。 平常在进行SQL Server性能优化时,为了确保真实还原性能问题,我们需要关闭SQL Server自身的执行计划及缓存。可以通过以下设置清除缓存。 1 DBCC DROPCLEANBUFFERS  –清除缓冲区 2 DBCC FREEPROCCACHE  –删除计划高速缓......

MySQL 最佳实践:空间优化

发表于1年前 | 作者: Kar Chan | 分类: 数据库技术 | 流行热度: 287 views°

0
 存储空间是RDS很重要的一个指标,在RDS的工单问题中,空间问题的咨询可以排在top 5,当RDS的实际使用空间超过了购买的空间后,实例就会被锁定了,这样就会导致应用无法再写入,更新数据,造成应用的报错。在RDS的控制台中可以设定空间的报警阀值,当实例空间到达报警阀值后用户就会收到报警短信, 这个时候用户则需要对判断当前的空间增长是否合理。 如果增长合理则需要对实例的进行弹性升级,这里需要......

MySQL 最佳实践: RDS 只读实例延迟分析

发表于1年前 | 作者: Kar Chan | 分类: 数据库技术 | 流行热度: 269 views°

0
前言 只读实例是目前 RDS 用户实现数据读写分离的一种常见架构,用户只需要将业务中的读请求分担到只读节点上,就可以缓解主库查询压力,同时也可以把一些 OLAP 的分析查询放到另外的只读节点上,减小复杂统计查询对主库的冲击,RDS只读节点架构图如下: 由于RDS只读节点采用原生的MySQL Binlog复制技术,那么延迟必然会成为其成立之初就会存在的问题。延迟会导致只读节点与主库的数据出现不一致,进......