大数据
大数据(Big Data)是指数据量巨大、复杂度高、处理速度快的数据集合。它包括结构化数据(如数据库中的数字和事实)和非结构化数据(如社交媒体帖子、视频和音频)。大数据的特点包括体积大、速度快、种类多、价值高。
大数据平台是数据平台在大数据时代的概念衍生,其功能要远胜于数据平台。大数据平台是一个以处理海量数据存储、计算以及流数据实时计算等场景为主的技术堆栈,包括数据采集、数据存储、数据计算、数据应用和任务调度,最典型的是基于Hadoop生态构建的大数据平台。在非结构数据、实时数据和海量数据的计算和存储压力下,企业才选择从数据仓库转向大数据平台。
数据仓库
数据仓库(Data Warehouse)是一种用于存储、管理和分析企业数据的数据库架构。它将来自不同数据源的数据进行整合结构化和组织,以便于分析和决策支持。
数据仓库是为了解决数据库负载有限、满足企业新增的分析需求而被设计出来的。如果数据想要从各个数据库迁移到统一数据仓库中,就需要经历抽取、转化、加载(ETL),最终变身成可以直接被业务人员分析的结构化/半结构化的数据。在数据仓库后面,企业常用BI分析数据,产生报表,辅助决策。
数据中台
要理解“数据中台”,我们要先理解“中台”。
中台是相对于“前台和后台”来讲的。前台直接和用户打 交道,包括用户直接交互的界面,比如手机app,还有服务端响应用户请求的业务逻辑,比如商品查询。后台虽然用户看不见摸不着,但是不可或缺,包括面向内部运营人员的管理系统、配置系统。后台为前台提供配置。
中台这个概念最先起始于“鼻祖”阿里的“大中台、小前台”概念,随后业界又衍生出业务中台、技术中台、数据中台、安全中台、算法中台等等。这其中,最通用、最热门、最具行业共性的就是“数据中台”。数据中台的出现很好地解决了企业数据后台开发无法快速跟上前台业务需求变化、业务系统数据孤岛且数据繁杂这两大难题,帮助企业打通各业务系统的数据,让数据真正变成资产并服务于业务。
数据中台是一种企业级数据管理能力平台,通过数据治理和数据服务,实现数据从采集、处理、存储到应用全流程管理。它旨在提高数据质量,加速数据流转,为业务提供快速、稳定、可靠的数据服务。例如我们常见的各种管理系统、企业软件都是数据中台的具体体现!
总而言之,数据中台就是一套可持续的“让企业的数据用起来”的机制。
总的来说,大数据主要是处理海量、高速的数据,数据仓库主要是存储和处理数据,而数据中台则是提供一种全面的数据服务,支持企业的各种业务需求。