工作流 工作流产生背景 工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的 自动化 ”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数…

Apache Oozie Oozie概述 Oozie 是一个用来管理Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL…

Apache Kudu介绍 背景介绍 在KUDU之前，大数据主要以两种方式存储； （1）静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析场景。 这类存储的局限性是数据无法进行随机的读写。 （2）动态数据： 以 HBase、Cassandra 作为存储引擎，适用于大数据随机读写场景。 局限性是批量读取吞吐量远不如 HDFS，…

HDP 环境安装配置 HDP : Hortonworks Data Platform CDH : Cloudera Distribution Hadoop 部署安装主要分为3大部分 准备环境、配置机器、准备离线包、本地仓库、数据库等 安装Ambari Server 阶段 基于Ambari Server UI 来安装相关服务组件阶段 HDP集群的安装…

高性能架构模式 互联网业务兴起之后，海量用户加上海量数据的特点，单个数据库服务器已经难以满足业务需要，必须考虑数据库集群的方式来提升性能。高性能数据库集群的第一种方式是“读写分离”，第二种方式是“数据库分片”。 读写分离架构 读写分离原理：读写分离的基本原理是将数据库读写操作分散到不同的节点上，下面是其基本架构图： 读写分离的基本实现： 主库负责处…

大数据5V特征 volume。数据体量大。 采集数据量大。 存储数据量大。 计算数据量大。 TB、PB级别起步。 variety。种类、来源多样化。 种类：结构化、半结构化、非结构化。 来源：日志文本、图片、音频、视频。 value。低价值密度。 信息海量但是价值密度低。 深度复杂的挖掘分析需要机器学习参与。 velocity。速度快。 数据增长速…

MQ介绍 为什么要用MQ 消息队列是一种“先进先出”的数据结构 其应用场景主要包含以下3个方面 应用解耦 系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。 使用消息队列解耦合，系统的耦合性就会提高了。…

Skywalking概述 什么是APM系统 APM系统概述 APM (Application Performance Management) 即应用性能管理系统，是对企业系统即时监控以实现 对应用程序性能管理和故障管理的系统化的解决方案。应用性能管理，主要指对企业的关键业务应用进 行监测、优化，提高企业应用的可靠性和质量，保证用户得到良好的服务，降…

概览 什么是配置 应用程序在启动和运行的时候往往需要读取一些配置信息，配置基本上伴随着应用程序的整个生命周期，比如：数 据库连接参数、启动参数等。 配置主要有以下几个特点： 配置是独立于程序的只读变量 配置首先是独立于程序的，同一份程序在不同的配置下会有不同的行为 其次，配置对于程序是只读的，程序通过读取配置来改变自己的行为，但是程序不应该去改变配…

kubernetes介绍 本章节主要介绍应用程序在服务器上部署方式演变以及kubernetes的概念、组件和工作原理。 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 优点：简单，不需要其它技术的参与 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易…