900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > mysql 使用异步io_InnoDB引擎之-异步IO(Async IO)

mysql 使用异步io_InnoDB引擎之-异步IO(Async IO)

时间:2022-03-29 22:41:33

相关推荐

mysql 使用异步io_InnoDB引擎之-异步IO(Async IO)

InnoDB引擎有几个重点特性,为其带来了更好的性能和可靠性:

插入缓冲(Insert Buffer)

两次写(Double Write)

自适应哈希索引(Adaptive Hash Index)

异步IO(Async IO)

刷新邻接页(Flush Neighbor Page)

关于AIO与SIO

为了提高磁盘操作性能,当前的数据库系统都采用异步IO的方式来处理磁盘操作。

同步IO:我们常用的read/write函数(Linux上)就是这类IO,特点是,在函数执行的时候,调用者会等待函数执行完成,而且没有消息通知机制,因为函数返回了,就表示操作完成了,后续直接检查返回值就可知道操作是否成功。这类IO操作,编程比较简单,在同一个线程中就能完成所有操作,但是需要调用者等待,在数据库系统中,比较适合急需某些数据的时候调用,例如WAL中日志必须在返回客户端前落盘,则进行一次同步IO操作。

异步IO:在数据库中,后台刷数据块的IO线程,基本都使用了异步IO。数据库前台线程只需要把刷块请求提交到异步IO的队列中即可返回做其他事情,而后台线程IO线程,则定期检查这些提交的请求是否已经完成,如果完成再做一些后续处理工作。同时异步IO由于常常是一批一批的请求提交,如果不同请求访问同一个文件且偏移量连续,则可以合并成一个IO请求。例如,第一个请求读取文件1,偏移量100开始的200字节数据,第二个请求读取文件1,偏移量300开始的100字节数据,则这两个请求可以合并为读取文件1,偏移量100开始的300字节数据。数据预读中的逻辑预读也常常使用异步IO技术。

Innodb 使用异步IO的场景

总的来说innodb 只会对数据文件采用异步IO,为了保存日志是真正被写入到磁盘,innodb不会对日志文件启用异步IO;innodb只会对数据文件的read-ahead ,write 这两个操作启用异步IO

异步IO在mysql中解决了什么问题

在没有IO这个功能之前,innodb对数据的读写请求先放入任务队列,后台read-thread ,write-thread从任务队列中拿出任务并执行读写操作;后台读写线程的个数可以通过show engine innodb status 语句来查看

show engine innodb status;

--------

FILE I/O

--------

I/O thread 0 state: waiting for i/o request (insert buffer thread)

I/O thread 1 state: waiting for i/o request (log thread)

I/O thread 2 state: waiting for i/o request (read thread)

I/O thread 3 state: waiting for i/o request (read thread)

I/O thread 4 state: waiting for i/o request (read thread)

I/O thread 5 state: waiting for i/o request (read thread)

I/O thread 6 state: waiting for i/o request (write thread)

I/O thread 7 state: waiting for i/o request (write thread)

I/O thread 8 state: waiting for i/o request (write thread)

I/O thread 9 state: waiting for i/o request (write thread)

Pending normal aio reads: [0, 0, 0, 0] , aio writes: [0, 0, 0, 0] ,

ibuf aio reads:, log i/o's:, sync i/o's:

Pending flushes (fsync) log: 0; buffer pool: 0

376 OS file reads, 54 OS file writes, 7 OS fsyncs

41.77 reads/s, 21886 avg bytes/read, 6.00 writes/s, 0.78 fsyncs/s

由上面的内容可以看出默认情况下innodb会有4个read-thread 和4个write-thread ,问题就出现在这里,如果业务繁重,读写任务会非常的多,而innodb只有八个读写线程,这样的话队列中的其它读写请求就没能得到及时的响应。

引入异步IO之后,读写请求不再像之前那样先放入队列,等着后台的读写线程去执行任务;而是查询线程直接发起异步请求,这样一来冲破了读写线程个数的硬性限制,二来由于异步IO是否阻塞的这也进一步提高了性能。

怎么启用mysql异步IO

首先OS要有异步io,且开启,然后mysqld要链接,要不然OS异步io没有开启,数据库的异步io也起不来。(this variable applies to Linux systems only, and cannot be changed while the server is running.)

文件系统层面需要打开这个功能:

一般都是默认开启的。

ldconfig -v|grep libaio

libaio.so.1.0.0 -> libaio.so.1.0.0

libaio.so.1 -> libaio.so.1.0.1

AIO是数据库层面的一个特性需要打开:

默认是开启,但是阿里云默认是关闭的,开启的native aio性能提升,可以提高到75%。

mysql>show variables like 'innodb_use_native_aio';

+-------------------------+-----------------+

| Variable_name | Value |

+-------------------------+-----------------+

| innodb_use_native_aio | OFF |

+-------------------------+-----------------+

异步IO的优缺点

优点

不用等待直接响应上一个用户的请求;

多次的请求在一起排序,请求的数据页是在一起的,一次读出来,减少多次读。(数据库的读写请求队列放在文件系统中单独分配的一块小内存结构里,非文件系统的缓存)

缺点

异步IO对于我们来说是不可控的,所以说在启用异步IO的情况下相当于是我们把IO的控制权交出去了。

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。