Elasticsearch5.3 安装配置问题

Elasticsearch5.3 安装配置问题

发表于7月前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 826 views°

0
1.启动报错 若使用的Java版本低于1.8,则启动会报错 ,无法启动。   2.使用root账号启动es后 会遇到以下问题 [2017-04-08T16:55:41,975][ERROR][o.e.b.Bootstrap ] Exception java.lang.RuntimeException: can not run elasticsearch as root at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:106) ~[elasticsearch......

ZooKeeper原理及其在Hadoop和HBase中的应用

发表于8月前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 210 views°

0
ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。 简介 ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是Google Chubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务......

Docker学习之——设置运行时根目录

发表于12月前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 236 views°

0
因第一次玩 Docker,装系统的时候没有分配 /var 分区,而500多G的剩余空间都分给了 /home。 当玩起 Docker,才发现这货默认存放位置是在 /var/lib/docker。 解决方法有二: 一是重装系统,这也太不人性化了。 二是改变 Docker 默认存放路径。 查了下手册发现: -g, –graph=”/var/lib/docker” 设置Docker运行时根目录 使用 –graph 参数:docker –graph=/opt/docker -d,会自......

docker学习之——修改默认仓库为阿里云加速

发表于12月前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 1,347 views°

0
因为网络原因,我们连接docker官方dockerhub的速度慢如蜗牛,甚至下载失败。让人苦不堪言,幸好阿里云容器Hub服务提供了官方的镜像站点加速官方镜像的下载速度。 配置方法如下: 一、 登录阿里云开发者平台,获取专属加速地址 登录阿里开发者平台 由于阿里云的加速服务是独享,也就是每个人都会有一个不一样的加速服务地址(简直就是免费使用VIP服务),所以前题就是要登录阿里云开发者平台,地址:ht......

docker学习之——docker安装

发表于12月前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 215 views°

0
安装环境:CentOS 6.5 X86_64 kernel 2.6 安装步骤: 一、升级内核 docker的运行环境要求linux环境为64位系统,内核版本大于等于3.10 1.检查内核版本 uname -r 2.6.32-431.el6 12 uname -r2.6.32-431.el6 2.升级内核版本到3.10 #导入public key rpm --import htt......

深入解析Microsoft Azure File 服务

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 194 views°

0
Microsoft Azure File Service对大家相对比较陌生,因为这是一个Azure的预览功能,我也是从邮件中得知有这项新的feature,让我感兴趣的是,这个功能可以解决应用程序文件同步的问题。 我总结了几个适用的场景: 依靠文件共享迁移本地应用到Azure VM或云服务 存储共享的应用设置,例如配置文件 存储诊断数据像Log文件等 存储工具和实用工具用来管理和开发Azure VM或者云服务。 当然还有其他的应用场景......

如何搭建一个易于维护的 Hadoop 集群?

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 280 views°

0
学习如何搭建一个易于维护的hadoop集群。 之前,关于部署Apache Hadoop的硬件选择上,我们发表了一些推荐规范。那篇文章就集群规划和部署方面提出了一些不错的想法。比如工作负载分析,CPU、磁盘、内存分配相关的建议。这篇文章我们将对下一实施步骤提供最佳的实践指导:等机器一到,我们就能开始配置机器了。通过这两篇文章,你就可以向着部署一个完美Hadoop生产坏境的目标迈出一大步了。 具体的说,......

大数据系统数据采集产品的架构分析

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 234 views°

0
原文出处: taogang 任何完整的大数据平台,一般包括以下的几个过程: 数据采集 数据存储 数据处理 数据展现(可视化,报表和监控) 其中,数据采集是所有数据系统必不可少的,随着大数据越来越被重视,数据采集的挑战也变的尤为突出。这其中包括: 数据源多种多样 数据量大,变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用的一些数据采集......

Spark性能优化指南:高级篇

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 222 views°

0
 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业......

通过做一个基于Node的微服务器来学习Docker

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 219 views°

0
如果你正准备着手学习 Docker,别再观望,动起手来吧! 在这篇文章中,我将告诉你 Docker 是如何工作的?使用中会遇到什么问题?如何通过 Docker 完成一个基本的开发任务——构建一个微服务器。 我们将以一台配有 Node.js 服务和 MySQL 后台的服务器为例,从在本地运行代码开始,完成一个运行着微服务和数据库的容器。 什么是 Docker ? 从本质上来说,Docker 是一种软件,让用户创建镜像文件(就像虚......