Apache Kudu介绍 背景介绍 在KUDU之前，大数据主要以两种方式存储； （1）静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。 这类存储的局限性是数据无法进行随机的读写。 （2）动态数据： 以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。 局限性是批量读取吞吐量远不如 HDFS，…
HDP 环境安装配置 HDP : Hortonworks Data Platform CDH : Cloudera Distribution Hadoop 部署安装主要分为3大部分 准备环境、配置机器、准备离线包、本地仓库、数据库等 安装Ambari Server 阶段 基于Ambari Server UI 来安装相关服务组件阶段 HDP集群的安装…
高性能架构模式 互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。高性能数据库集群的第一种方式是“读写分离”，第二种方式是“数据库分片”。 读写分离架构 读写分离原理：读写分离的基本原理是将数据库读写操作分散到不同的节点上，下面是其基本架构图： 读写分离的基本实现： 主库负责处…
大数据5V特征 volume。数据体量大。 采集数据量大。 存储数据量大。 计算数据量大。 TB、PB级别起步。 variety。种类、来源多样化。 种类：结构化、半结构化、非结构化。 来源：日志文本、图片、音频、视频。 value。低价值密度。 信息海量但是价值密度低。 深度复杂的挖掘分析需要机器学习参与。 velocity。速度快。 数据增长速…
MQ介绍 为什么要用MQ 消息队列是一种“先进先出”的数据结构 其应用场景主要包含以下3个方面 应用解耦 系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。 使用消息队列解耦合，系统的耦合性就会提高了。…
Skywalking概述 什么是APM系统 APM系统概述 APM (Application Performance Management) 即应用性能管理系统，是对企业系统即时监控以实现 对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理，主要指对企业的关键业务应用进 行监测、优化，提高企业应用的可靠性和质量，保证用户得到良好的服务，降…
概览 什么是配置 应用程序在启动和运行的时候往往需要读取一些配置信息，配置基本上伴随着应用程序的整个生命周期，比如：数 据库连接参数、启动参数等。 配置主要有以下几个特点： 配置是独立于程序的只读变量 配置首先是独立于程序的，同一份程序在不同的配置下会有不同的行为 其次，配置对于程序是只读的，程序通过读取配置来改变自己的行为，但是程序不应该去改变配…
kubernetes介绍 本章节主要介绍应用程序在服务器上部署方式演变以及kubernetes的概念、组件和工作原理。 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 优点：简单，不需要其它技术的参与 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易…
Elasticsearch简介 介绍 创始人：Shay Banon （谢巴农） Elasticsearch是一个基于Lucene的搜索服务器 提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口 Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasti…
追随
没有坚实基础的断言，如果你相信，那么你就去追随，在追随过程中如果证明了断言为假，那么你也找到了你自己。如果你不相信，且也没有坚实的基础证明为假，那么你还是在浑浑噩噩当中。如果断言没有过多涉入你的学习工作生活，你当然可以忽略。或者你不相信，并孜孜不倦的证明它为假，那么你也找到了你自己。
信与不信，都不是终点，终点是一直寻找让自己更相信或者不相信的理由，并没有偏颇的接受它们。