5 分钟 · 零基础也能看懂

大数据与数据仓库
到底是什么?

这两个词天天被提起,却经常被混着用。这一页不讲公式、不堆术语, 只用最直白的话把「它们是什么、解决什么问题、彼此什么关系」讲清楚。

大数据 = 能力处理海量、多样、高速数据的一整套技术
数据仓库 = 场所把数据整理好、统一口径后存放的地方
一句话大数据负责「搬得动、算得完」,数仓负责「看得懂、用得上」
PART 01

什么是大数据?

它不是「很多数据」这么简单,而是指一类传统工具处理起来很吃力的数据,以及处理它们所需的技术和方法。

一句话定义:数据规模、产生速度或类型复杂度,已经超出单台机器、单机数据库能轻松处理的范围——围绕这些数据做采集、存储、计算、分析的技术总和,就叫大数据。

记住 4 个特征(俗称 4V)

V

体量大 Volume

从 GB、TB 一路到 PB 级。数据量大到一块硬盘装不下,必须靠集群分着存、分着算。

V

速度快 Velocity

数据像水流一样持续产生,很多场景要求秒级、分钟级就看到结果,不能等第二天再跑。

V

类型多 Variety

表格类结构化数据、日志 JSON 这类半结构化数据、文本图片视频等非结构化数据,五花八门。

V

价值密度低 Value

海量数据里真正有用的往往只是很小一部分,必须靠清洗和加工把金子淘出来。

这些数据从哪儿来?

业务系统

订单、支付、用户、商品等线上交易库里的数据,是最核心的来源。

App / 网页埋点

用户点了什么、看了多久、从哪来,靠埋点采集下来的行为日志。

服务器日志

系统运行中自动产生的访问日志、错误日志、调用链数据。

设备与传感器

IoT 设备、车机、监控探头上报的时序数据,量大且连续。

第三方与外部

合作方接口、公开数据集、行业报告等外部补充数据。

离线文件

Excel、CSV、日志包等人工整理或定期落地的文件。

常见的大数据技术栈

Hadoop

大数据的地基:分布式存储 HDFS + 分布式计算 MapReduce,让一堆普通机器合起来当一台超级机器用。

Spark

批量计算的主力,比传统方式快很多,同一套代码能干活离线批处理。

Flink

实时流计算代表,数据一来就处理,适合监控告警、实时看板。

Kafka

数据管道与缓冲队列,负责把上游源源不断的数据稳定地送到下游。

Hive

让人可以用 SQL 查海量数据的引擎,是很多数据仓库的底座。

调度平台

如 Airflow、DolphinScheduler,负责让成千上万个数据处理任务按时、按顺序跑起来。

PART 02

什么是数据仓库?

如果说业务数据库是「收银台」,数据仓库就是「后方的中央仓库 + 加工车间」。

一句话定义:数据仓库是把来自多个系统的数据,经过抽取、清洗、统一口径后集中存放,专门用于查询、分析和决策的数据集合。它是「面向分析」而不是「面向交易」的。

四个经典特征

面向主题

按「用户」「订单」「商品」这类业务主题组织数据,而不是按某个系统的表结构堆放。

集成统一

把不同系统的数据拉到一起,统一编码和口径,比如「金额」到底含不含税,全公司只有一个定义。

相对稳定

以查询为主,数据写入后基本不改,主要做新增,不像业务库那样频繁增删改。

保留历史

按时间留存快照,能回答「去年同期的数字是多少」,而不是只看到当下状态。

典型分层:数据是怎么一层层加工出来的

ODS
原始层(贴源层)从各个业务系统原样搬过来的数据,尽量不动它,先存下来留底。
DWD
明细层做清洗和标准化:去重、补空、统一格式、统一口径,得到干净的一条条明细。
DWS
汇总层(轻度聚合)按天、按用户、按品类等维度做轻度汇总,让后续查询更快、更省资源。
ADS
应用层直接面向报表、看板、接口的结果表,业务同学打开就能用。

不同公司分层命名略有差异(有的会多一层 DIM 公共维度层),但思路一致:越往下越接近原始,越往上越接近业务答案。

数据是怎么进仓库的?靠 ETL

E

Extract 抽取

从业务库、日志、接口等来源把数据取出来,增量为主,避免全量硬拉。

T

Transform 转换

清洗、去重、关联、计算指标、统一口径——加工的核心环节,也最耗精力。

L

Load 加载

把处理好的结果写入数仓各层表中,供后续按计划或按需读取。

小提醒:现在更常见的是 ELT——先把原始数据加载进仓库,再用仓库自身的计算能力做转换。名字变了,事情没变:抽取 → 转换 → 加载
PART 03

别再搞混:数据库 / 数据仓库 / 数据湖

这三个词最容易混。用「一家餐厅」来类比:数据库是收银台,数据仓库是备好的中央厨房,数据湖是还没分拣的食材冷库。

对比项 业务数据库(OLTP) 数据仓库(OLAP) 数据湖
主要用途 支撑线上业务运转 支撑分析、报表与决策 存放各种原始形态数据
典型操作 高频的增删改查,每次动几条 大范围读取、聚合、统计 写入与按需读取,结构灵活
数据特征 只存当前状态,结构严格 保留历史,口径统一,分层组织 结构化、半结构化、非结构化全都放
谁在用 业务系统与开发同学 分析师、运营、管理层 数据开发、算法工程师
代表技术 MySQL、PostgreSQL、Oracle Hive、ClickHouse、StarRocks、Doris HDFS、对象存储、Iceberg、Hudi
一句话记住 把生意跑起来 把生意看明白 把原料先囤下来
PART 04

大数据和数据仓库,是什么关系?

不是二选一,也不是同一层的东西——一个偏「能力」,一个偏「成果」。

1

大数据是「能力与技术」

它回答的是:数据这么大、这么快、这么杂,用什么办法存得下、算得完。它是一整套引擎、框架和工程手段。

2

数据仓库是「整理好的数据资产」

它回答的是:数据放在哪、口径是什么、怎么查最快。它是被组织好的、可以直接支撑分析和决策的结果。

所以在真实项目里,两者通常是一起出现的:数据仓库往往就建在大数据平台之上,用大数据技术完成采集、存储和计算,最终沉淀成数仓的分层表,再对外提供报表、看板、接口和模型训练用的数据。

一条完整的数据链路长这样

🗄️业务系统订单 / 支付 / 用户
📥数据采集同步、埋点、日志收集
🏗️数据仓库ODS→DWD→DWS→ADS 逐层加工
📊分析与应用报表、看板、接口、算法
业务决策用数据说话,闭环反馈
顺带一提:这份链路能跑起来,靠的是背后持续做的一堆「笨功夫」——数据质量校验、任务调度监控、口径对齐、异常排查。数据能不能被信任,比数据多不多更重要。
PART 05

术语速查小卡

听到这些词不再发懵。

ETL / ELT抽取、转换、加载,数据从来源进入数据仓库的标准动作。
OLTP / OLAP前者是支撑业务交易,后者是支撑分析查询,两套完全不同的设计取向。
埋点在 App 或网页中埋下记录点,采集用户行为数据。
指标对业务的可量化描述,如日活跃用户数、转化率;口径必须唯一。
分区按日期等条件把大表切成小块,查询时只扫需要的那部分,快很多。
数据血缘一张表的数据从哪儿来、又被谁用,出问题时能顺着找源头。
数据质量完整性、准确性、及时性、一致性;质量不过关,报表再漂亮也没人敢用。
批处理 / 流处理前者按周期成批算(如每天凌晨),后者数据一来就处理。