大数据架构图 简介：提供了大致的大数据系统上的架构图，给初学者一个基本印象，知道一个基本的完整的大数据架构应该是怎样的，作为一个简单了解。 架构图1： 大数据整体架构概述 架构底层核心技能 JVM 多线程&高并发 网络通信I/O 数据采集工具 离线 Sqoop 简介：早期数据抽取工具。现在基本上都用DataX。 视频地址 Sqoop离线数据…

工作流 工作流产生背景 工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的 自动化 ”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数…