什么是磁盘io带宽(磁盘IO是什么)

关于EBS磁盘的IOPS，以及IOPS是如何测量的

IOPS就是每秒的读写操作。

亚马逊EBS使用16KB的快大小来衡量EBS的IO表现。

当你创建一块预设IOPS为4000的EBS磁盘，并把他挂载到优化EBS的实例上（EBS-optimized instance，优化EBS的EC2实例链接EBS的IO通道是是专用的，可以保证足够的IO带宽），你可以每秒传输4000个16KB大小的块。（这样大概IO带宽就是62.5MBps，或者500Mbps）(这个IOPS 4000就是这个衡量出来的)。

这样的性能配置能够每秒传输2000个32KB的块，或者每秒1000个64KB的块，上限应该约等于每秒传输4000个16KB大小的块。（那传输4KB大小的块，是不是就能每秒传输16000个呢？）

当块大小大于16KB是，你的IOPS数值就变小，但是此时实例到EBS的IO带宽还是等于你传输16KB块对应IOPS数值时候的表现。当操作的块大小为16KB或者更小时，你能得到你预设的IOPS数值的表现。对于更小的块操作，你可能会看到超过你预设的IOPS数值的表现（在客户端测量时），这是因为有的客户端会将小的快合并成一个16KB大小的块来传输。

如果你得到的IOPS数值小于你预设的IOPS，这可能是因为你的EC2实例带宽是IO性能的瓶颈：你的实例得是EBS优化型实例，或者是拥有明确标注为10Gbps的网卡的类型的实例，而且你的EBS磁盘的IO带宽至少得超过你预设的IOPS。另一个你没有得到你预设的IOPS数值的原因很可能是因为你读写操作次数根本就没达到磁盘的上限，这样也就没法测量出EBS卷的真实IOPS表现。

解压缩操作占用哪部分系统资源？硬盘带宽？

主要占用的是硬盘的IO带宽，如果你的CPU足够强的话，可以忽略CPU的占用，再有就是看你的压缩包是用什么模式压缩的，如果是高比率压缩的那么速度就可能比较慢

存储IOPS和吞吐量之间的具体关系是什么？

通常情况下，广义的IOPS指得是服务器和存储系统处理的I/O数量。但是，由于在IO传输的过程中，数据包会被分割成多块（block），交由存储阵列缓存或者磁盘处理，对于磁盘来说这样每个block在存储系统内部也被视为一个I/O，存储系统内部由缓存到磁盘的的数据处理也会以IOPS来作为计量的指标之一。本文中提到的IOPS，是指得广义的IOPS，即由服务器发起的，并由存储系统中处理的I/O单位。

IOPS通常对于小I/O，且传输I/O的数量比较大的情况下，是一个最主要的衡量指标。例如，典型的OLTP系统中，高的IOPS则意味着数据库的事务可以被存储系统处理。

Throughput吞吐量是用来计算每秒在I/O流中传输的数据总量。这个指标，在大多数的磁盘性能计算工具中都会显示，最简单的在Windows文件拷贝的时候，就会显示MB/s。通常情况下，Throughput吞吐量只会计算I/O包中的数据部分，至于I/O包头的数据则会被忽略在Throughput吞吐量的计算中。广义上的Throughput吞吐量，也会被叫做“带宽”，用来衡量I/O流中的传输通道，比如2/4/8Gbps Fibre Channel、60Mbps SCSI等等。但 “带宽”会包括通道中所有数据的总传输量的最大值，而Throughput吞吐量则是只保护传输的实际数据，两者还是有些许区别。

Throughput吞吐量衡量对于大I/O，特别是传输一定数据的时候最小化耗时非常有用。备份数据的时候是一个典型的例子。在备份作业中，我们通常不会关心有多少I/O被存储系统处理了，而是完成备份总数据的时间多少。IOPS和Throughput吞吐量之间存在着线性的变化关系，而决定它们的变化的变量就是每个I/O的大小。

如何计算当前磁盘IO通道的带宽使用

参考 55、记忆想是倒在掌心的水 不论你摊开还是紧握 终究还是会从指缝中 一滴一滴 流淌干净。

simple类型的逻辑磁盘是提升性能还是提升数据可靠性

作用： 用来存放数据(二进制方式来管理数据)

分类

机械硬盘

固态硬盘

机械硬盘组成

盘片： 上面布满磁性颗粒，保存写入数据

主轴： 带动盘片转动，转到磁头的下方

读/写磁头： 负责数据的读写

磁头臂： 带动磁头，将磁头移动到指定位置

控制电路： 控制硬盘的速度，磁头臂的移动等等

机械磁盘的属性

磁道： 盘片围绕在主轴周围的同心环，编号由外至内从0累加

扇区： 磁道上被分成的更小的单位，也是磁盘中保存数据最小的存储单元，一般大小为512k，也有更大的扇区4K

柱面： 在同一个磁盘中，所有盘片相同位置编号的磁道形成的一个圆柱

机械磁盘工作方式

主轴带动盘片做圆周运动，磁头臂带动磁头直径运动

5838c4c164f3c12093a5f1eb3c51bb20.png

机械硬盘

常用总线协议/磁盘类型

SCSI协议

SCSI(Small Computer System Interface，小型计算机系统接口)最初是一种为了小型机研制的接口技术，用于主机与外部设备之间的连接(最多可以连接16个设备)

SCSI 协议是主机与存储磁盘通信的基本协议

DAS 使用SCSI 协议实现主机服务器与存储设备的互连

5924aad5e3f1e60e60c51bdccd8c1a38.png

并行SCSI 的演变

(1981年)最初由 Shugart Associates、 NCR开发，名字为SASI

ANSI 承认其为工业标准

SCSI 的版本

SCSI-1

定义了线缆长度，信号特征，命令和传输模式

使用8 位窄总线，最大传输率为 5MB/s

SCSI-2

定义了通用命令集(Common Command Set， 简称CCS)

提高了性能，可靠性，新增了一些特性

SCSI-3

SCSI最新版本

由多个相关的标准组成，不再是一个大文件

SCSI-3 架构

f06acb4415249c904d372c38694d0c9c.png

SCSI命令协议(应用层)

各类型设备通用的主要命令

传输层协议

设备间互连和信息共享的标准规则，scsi-3、fc等等

物理层互连

接口细节： 比如电信号传输方法和数据传输模式

SCSI 协议模型

主机到存储磁盘间的通信由启动器发起，由目标器接收和处理

c34ab2de157b29cb979e9392b1a5263f.png

SCSI 协议寻址

总线号： 区分不同的SCSI 总线

设备ID： 区分SCSI 总线上不同的设备

逻辑单元号： 区分SCSI 设备中的子设备

ATA 和 SATA

高级技术附件(Advanced Technology Attachment)是上世纪90 年代桌面机标准

采用可编程IO 技术，速度和智能性不高

SATA(Serial Advanced Technology Attachment)是ATA 技术的升级版本，曾是桌面电脑ATA 接口硬盘的主要替代技术

因容量大，价格便宜，在企业级服务器和存储系统中曾广泛的被使用

现在多被更加智能的NL-SAS 接口的硬盘替代

Serial Attached SCSI(串行 SCSI 协议)

在企业级存储系统中，SAS(Serial Attached SCSI)接口已经取代并行连接SCSI 和 SATA 接口

特点

采用点对点连接方式

高带宽(300M/s，600M/s)

效率高

支持热插拔

I/O(Input/Ouput)操作

单个IO

操作系统内核发出一个读IO命令，当控制磁盘的控制器接到这个指令后，控制器会给磁盘发送一个读数据的指令，并同时将要读取数据块的地址传送给磁盘，然后硬盘读取数据传送给控制器，并由控制器返回给操作系统，完成一个IO操作

读写IO

写磁盘为写IO，读数据为读IO

随机访问(Random Access) 与连续访问(Sequential Access)： 由当此IO 给出的扇区地址与上次IO 结束的扇区地址相差得是否较大决定

顺序IO模式(Queue Mode)/并发IO模式(Burst Mode): 由磁盘组一次能执行的IO 命令个数决定

完整的IO操作

当控制器对硬盘发出一个IO操作指令的时候，磁盘的磁头臂带动读写磁头离开着陆区，然后移动到要操作初始数据块所在的磁道正上方，此过程为寻道，消耗的时间为寻道时间

磁头等到盘片旋转到初始数据块所在扇区的正上方，此时才能进行数据的读取，这个过程称之为旋转时间

然后读取相应数据，直到完成这次IO所操作的全部数据，这个过程所花费的时间称之为数据传送时间

寻道时间

全程寻道时间： 磁头横跨整个磁盘的宽度所用的时间(着陆区 -- 最外层0磁道)

平均寻道时间： 一般为全程寻道时间的1/3

道间寻道时间： 磁头在相邻磁道之间所用的时间

旋转时延

决定于主轴的转动速度

平均旋转动延迟： 完全旋转用时的一半

5400 rpm的磁盘平均旋转时延： 5.5ms

15000 rpm的磁盘的平均旋转时延： 2.0ms

数据传输时延

数据传输时延决定于数据传输速度，即单位时间内传输的数据量

内部传输速度： 数据从盘片扇区上传送到硬盘上的内部缓存的速度

外部传输速度： 接口的标称速度

IOPS

IOPS是IO系统每秒所执行IO操作的次数，是一个重要的用来衡量系统IO能力的参数，对于单个磁盘，计算其完成一次IO所需要的时间来推算其IOPS

IOTime = 寻道时间 + 60s/转速/2 + IOChunkSize/传输速度

IOPS = 1/IOTime = 1 / (寻道时间 + 60s/转速/2 + IOChunkSize/传输速度)

单个IO大小

寻道时间(ms)

旋转延迟(ms)

c传输时延(ms)

IO服务时间(ms)

IOPS

4K

5

2

4K/40MB = 0.1

7.1

140

8K

5

2

8K/40MB = 0.2

7.2

139

16K

5

2

16K/40MB = 0.4

7.4

135

32K

5

2

32K/40MB = 0.8

7.8

128

当单次IO越小的时候，单次IO所耗费的时间也越少，相应的IOPS也就越大

带宽(Throughput)

带宽是指磁盘在实际使用的时候从磁盘系统总线上流过的数据量，也称为磁盘的实际传输速率

带宽 = IOPS * IO大小

利用率和响应时间

20b1915f5c8217bb33d204506f6dcb71.png

固态硬盘

价格逐渐下降，容量越来越大，固态硬盘(SSD)变得越来越流行

SSD原理

使用flash 技术存储信息

内部没有机械结构

耗电量更小

散热小

噪音小

基于SSD的使用频率，其使用寿命有限

SSD的3中主要的类型

SLC(Single Level Cell)： 单层式存储单元

MLC(Multi Level Cell)： 多层式存储单元

TLC(Triple Levle Cell)： 三层式存储单元

SLC-MLC-TLC

4cf9876db5183c80ae7ded9281bd15a1.png

在SLC 中，每个存储单元(cell)只存1bit数据： 0或1

在MLC 中，每个存储单元(cell)可存2bit数据： 00, 01, 10, 11

在TLC 中，每个存储单元(cell)可存3bit数据： 000, 001, 010, 011, 100, 101, 110, 111

固态硬盘的磨损

对SSD 盘的可靠性影响最大的其抗磨损能力，即其cell能被擦写的次数

企业级的SCL、MLC和TLC 在抗磨损方面的区别明显

类型

容量

可擦写次数

单位容量价格

SLC

小

约100,000

高

eMLC(企业级别)

中等

约30,000

中等

cMLC(消费者)

中等

5000~10,000

低

TLC

大

500~1,000

很低

固态硬盘结构

13fcdb2965c3cbd48cd5359bac30447e.png

无高速旋转部件，性能高、功耗低

多通道并发，通道内Flash颗粒复用时许

支持TCQ/NCQ，一次响应多个IO请求

典型响应时间低于0.1ms

SDD 性能优势

响应时间短

机械硬盘的机械特性导致大部分时间浪费在寻道和机械延迟上，数据传输效率收到严重制约

读写效率高

机械硬盘在进行随机读写曹祖时，磁头不停的移动，导致读写效率低下

而SSD 通过内部控制器计算出数据的存放位置，直接进行存取操作，故效率高

SSD 功耗优势

162cec988a5abe41aef68791a5dea675.png

文章知识点与官方知识档案匹配

CS入门技能树Linux入门初识Linux

21547 人正在系统学习中

点击阅读全文

打开CSDN APP，看更多技术内容

参与评论 请先 登录 后发表或查看评论

操作系统读写者问题实验报告_Linux操作系统存储子系统核心技术之硬盘与RAID

Linux操作系统的存储子系统应该是Linux中最为复杂的子系统了。其实很多子系统都认为自己是最复杂的子系统，比如内存子系统和网络子系统也这么说。无论如何，存储子系统在Linux中是比较复杂的。今天我们就介绍一下Linux的存储子系统中的硬盘与RAID的相关内容，后面再写一篇关于LVM与文件系统的内容。硬盘在Linux的存储子系统中，最底层的就是硬盘了。这里的硬盘并不是指我们看到的硬盘硬件，而是指...

继续访问

最新发布 Linux磁盘逻辑卷

Linux逻辑卷的创建，添加

继续访问

LVM和磁盘配额 让我们一起来看下吧

LVM和磁盘配额 前言 许多Linux使用者在安装操作系统时都会遇到这样的困境；如何精确评估和分配各个硬盘分区的容量，如果当初估计不准确，一旦系统分区不够用时可能不得不备份、删除相关数据，甚至被迫重新规划分区并重装操作系统，以满足应用系统的需要。 LVM概述 Logical Volume Manager，逻辑卷管理 动态调整磁盘容量，从而提高磁盘管理的灵活性 /boot分区用于存放引导文件，不能基于LVM创建 图形界面管理工具 system-config-lvm LVM 是 Linux 操作系统中对磁盘分区

继续访问

linux 磁盘控制器,linux – 戴尔R710上的PERC 6 / i RAID：单个控制器上的慢速磁盘…… RAID10？...

这里有多个问题 – 但它从这开始：我们在RAID10配置中安装了带有PERC 6 / i RAID控制器(或控制器)的Dell PowerEdge R710.系统运行Ubuntu Server 10.04 LTS,MySQL执行读取密集型工作负载.我使用blockdev –setra ### / dev / sda增加了readahead以增加readahead(读取至少在理论上是顺序读取).这似...

继续访问

IO系统性能之一：衡量性能的几个指标

几个基本的概念 在研究磁盘性能之前我们必须先了解磁盘的结构，以及工作原理。不过在这里就不再重复说明了，关系硬盘结构和工作原理的信息可以参考维基百科上面的相关词条——Hard disk drive(英文)和硬盘驱动器(中文)。 读写IO(Read/Write IO

继续访问

如何添加windows 系统的逻辑磁盘并设置盘符

在虚拟化及云计算平台中经常涉及动态添加磁盘，比如之前分配系统为一个100G的磁盘，随着业务的需要，新增一个300G的业务磁盘，在虚拟化后台添加完毕之后，如何在虚拟机添加逻辑磁盘并设置盘符呢？本文将介绍如何添加windows 系统的逻辑磁盘并设置盘符的方法。实验环境：OS：windows server 2012目标：新增一个300G的磁盘，并设置为E盘。操作方法如下：...

继续访问

linux下磁盘控制器无法驱动,Linux eMMC子系统之主机控制器驱动(host conntroller driver)...

1. 前言本文是Linux MMC framework的第二篇，将从驱动工程师的角度，介绍MMC host controller driver有关的知识，学习并掌握如何在MMC framework的框架下，编写MMC控制器的驱动程序。同时，通过本篇文章，我们会进一步的理解MMC、SD、SDIO等有关的基础知识。2. MMC host驱动介绍MMC的host driver，是用于驱动MMC host...

继续访问

Linux系统之磁盘管理一

磁盘管理，固态硬盘，机械硬盘

继续访问

Linux系统的磁盘管理

磁盘管理 文章目录磁盘管理1磁盘结构1.1硬盘的物理结构1.2硬盘的数据结构1.3硬盘存储容量1.4 硬盘接口的类型2MBR与磁盘分区2.1 为什么分区2.2硬盘分区3.文件系统3.1 文件系统：3.1.1 **XFS**3.1.2 swap3.1.3FAT16、FAT32、3.1.4NTFS（xfs）3.1.5EXT43.1.6 JFS4.分区工具4.1 fdisk4.2 blkid4.3mkfs4.4 mkswap5.挂载与解挂载5.1mount5.2 df 1磁盘结构 1.1硬盘的物理结构 [外链图片

继续访问

linux硬盘设置成AHCI,Linux下设置ICH7-M的磁盘控制器为AHCI模式

转载请注明原文出处！【声明】使用本文提供的方法设置ACHI而对硬件造成的损失，本人不承担任何责任！！(理论上是没什么问题的，还是声明下的好:-|)===============================================================================================================================...

继续访问

linux物理分区与逻辑分区

前言 当有一块新的硬盘添加至Linux后需要在Linux下进行一定的操作后才能正常时候，其大概流程为： 先对磁盘进行分区（或者不进行），再将分区设置为物理卷，将设置好的物理卷添加到现有某一卷组下或创建一个新卷组，再将卷组内的多余空间分配至原有的逻辑卷内或者建立新的逻辑卷。如果是分配到新的逻辑卷，需要重新分配文件系统的大小；如果建立新的物理卷，则需要格式化后，再挂载到某一目录下进行使用。 第一步：对...

继续访问

Linux 主分区，扩展分区和逻辑分区

硬盘分区有三种，主磁盘分区、扩展磁盘分区、逻辑分区。一个硬盘主分区至少有1个，最多4个，扩展分区可以没有，最多1个。且主分区+扩展分区总共不能超过4个。逻辑分区可以有若干个。在windows下激活的主分区是硬盘的启动分区，他是独立的，也是硬盘的第一个分区，正常分的话就是C区。 在linux下主分区和逻辑分区都可以用来放系统，引导os开机，grub会兼容windows系统开机启动。分出主分区后，其余

继续访问

Linux的主分区、扩展分区和逻辑分区

Linux中主分区、扩展分区和逻辑分区和Windows的概念差不多，这里来类比着介绍一下Linux中的概念。 【磁盘命名】 在Linux中，若干个IDE设备（如：硬盘，光盘）的命名规则如下：每个设备映射的文件名称都有一个hd前缀，按字母表排序命名，从第一个往后依次为：hda,hdb,hdc……。要注意的是USB磁盘通常会被识别为SCSI设备，命名依次为：sda,sdb,sdc…。 【概要】 在Li...

继续访问

Linux-磁盘分区

磁盘分区： 说明： 磁盘的分区主要分为基本分区（primary partion）和扩充分区(extension partion)两种，基本分区和扩充分区的数目之和不能大于四个。且基本分区可以马上被使用但不能再分区。扩充分区必须再进行分区后才能使用，也就是说它必须还要进行二次分区。那么由扩充分区...

继续访问

linux主分区和逻辑分区

1. 主分区： linux下磁盘分区分为主分区和扩展分区两种。且主分区和扩展分区数目只和不能大于四。主分区一经创建，格式化后可立即使用扩展分区创建之后，无法直接格式化使用，必须进行二次逻辑分区且格式化后才能使用。逻辑分区没有数量限制！2. linux下分区和命名方案： linux下通过字母和数字组合来表示磁盘分区：/dev/sda1 /dev/sda2 ..... ／dev：...

继续访问

Linux主分区，扩展分区，逻辑分区的联系和区别

br / 言归正传，在安装CentOS5.3的过程中，会遇到磁盘分区的界面，下拉式菜单中有4个选项，这时你不要选择默认，打开下拉式菜单，选择最后一项（翻译成中文意思是：建立自定义的分割模式）。然后选择右下角的确认，在下一个对话界面里依序建立/、/home 及 swap ，完成后如图。确认设置后的分割区。br / br / br / br /br /为强调重点，把图中重要内容，再写一遍。br / br // 根目录 ext3

继续访问

linux磁盘做逻辑卷步骤

查看当前挂载使用的磁盘信息 [root@test-ug-front ~]# df -h 文件系统 容量 已用 可用 已用% 挂载点 /dev/mapper/centos_linux--template-root 90G 1.6G 89G 2% / devtmpfs 3.9G 0 3.9G 0% /dev tmpfs

继续访问

热门推荐 Linux主分区、扩展分区、逻辑分区

在Linux系统下(其他操作系统也有类似的规定)，磁盘的分区大致可以分为三类，分别为主分区、扩展分区和逻辑分区等等。Linux系统管理员在部署系统时，必须要对这三个分区进行一个合理的规划，否则的话会浪费宝贵的硬盘空间。 通常情况下，一个硬盘中最多能够分割四个主分区。因为硬盘中分区表的大小只有64Bytes，而分割一个分区就需要利用16Bytes空间来存储这个分...

继续访问

Linux逻辑卷分区大小调整

背景： 当我们在安装系统的时候，由于没有合理的分区，在后续使用过程中，发现在操作的时候，系统提示"No space left" = “硬盘空间不足” 1）了解linux文件系统，linux文件系统分为ext2/3/4和xfs，针对不同的文件系统，linux进行分区调整有不同的命令； 2）ext2/ext3/ext4调整分区大小的命令： lvextend -L +100G /dev/mappe...

继续访问

linux逻辑磁盘管理器

写评论

评论

收藏

点赞

踩

分享