Skip to content

大数据存储与计算技术

Lecture1 Introduction

大数据:规模在P级(1015)-E级(1018)-Z级(1021)的极大规模数据处理或或Extreme-Scale Computing,即传统存储、数据库、并行计算、数据挖掘等技术无法有效处理的极大规模数据计算

特点:4V,Volume体量大, Value价值密度低, Variety多样性, Velocity一秒定律

应用:搜索引擎(大数据索引,搜索行为挖掘和分析,竞价排名),电商(智能推荐、精准营销、广告优化),社交媒体,移动互联网分析,金融大数据,电信大数据......

IT->DT: 数据技术产业

  • 数据即商品:数据采集和数据交易
  • 技术服务模式:数据技术和技术交易,如数据存储和并行处理/机器学习/可视化/知识图谱技术
  • 云平台模式:采用云服务的模式提供数据和技术的在线服务

Lecture2 存储技术

数据:结构化数据和非结构化数据

数据中心:包含存储、计算(主机)、网络、DBMS、应用程序以提供集中式数据处理功能的设备。

  • 六个特征:数据完整性,可用性,安全性,性能,容量和可扩展性

应用程序:它是向最终用户提供应用程序而无需任何安装、集成或底层计算平台上的依赖项的技术

  • 关键I/O特性:读取密集型和写入密集型,按序和随机,大小

DBMS: DBMS 可控制数据库的创建、维护和使用,处理应用程序的数据请求

主机(计算): 借助底层计算组件运行应用程序的资源,包含硬件和软件组件

云计算:支持个人和组织通过网络将 IT 资源作为服务使用

虚拟化:抽象化物理资源并让其显示为逻辑资源的技术

  • 计算虚拟化:它是一项掩蔽或抽象化物理计算硬件的技术,支持对单个或群集物理机并行运行多个操作系统 (OS)

    • 支持创建多台虚拟机 (VM),每台都运行一个 OS 和应用程序
    • 虚拟化层位于硬件和虚拟机之间,提供有标准化的硬件资源
  • 桌面虚拟化:这是一项支持从终端设备断开用户状态、操作系统 (OS) 和应用程序的技术。

    • 支持组织托管和集中管理桌面

设备间一些连接协议:SCSI, SAS, SATA, FC, IP

存储选项:磁带,光盘,磁盘驱动器,闪存(固态)驱动器

RAID: 它是一项将多个磁盘驱动器合并到一个逻辑单元(RAID 集)中并提供保护和/或性能的技术。

image-20240531113034036

  • Stripping , Mirror, Parity
  • RAID 0 – 无容错能力的分条集
  • RAID 1 – 磁盘镜像
  • RAID 0 + 1 - 条带集组成的镜像集,也就是先将整个分条,将整个分条做镜像
  • RAID 1 + 0 – 镜像集组成的条带集,先将每个分条镜像,然后组合在一起
  • RAID 3 – 具有并行访问和专用奇偶校验磁盘的分条集
  • RAID 5 – 具有独立磁盘访问和分布式奇偶校验的分条集
  • RAID 6 – 具有独立磁盘访问和双分布式奇偶校验的分条集