当前位置:首页 > 短网址资讯 > 正文内容

Kafka参数优化 — IO系统优化

www.ft12.com8年前 (2017-07-21)短网址资讯3365

一、 IO Scheduler 
Centos6系统默认的IO调度器是CFQ(Completely Fair Queuing),Kafka是顺序IO读写模型,使用Deadline和NOOP无疑是更好地选择。

Deadline:对于读写操作有截止时间,对读和写操作用两条不同的队列管理,可以解决读取饥饿的现象。因为操作系统对读请求是同步处理的,写入请求可以异步处理。操作系统可以数据写到内存,然后对IO队列中的请求做合并,提高IO的吞吐量。通过设置read_expire < write_expire时间,避免读取操作处于饥饿调度的状态。对于数据库存储应用,Deadline是最佳的IO Scheduler,甚至很多PCIE卡作为设备内置默认参数。

NOOP:是建立在FIFO调度模型之上的,并合相邻IO请求。Noop容易出现读取操作饥饿现象,使用NOOP调度,需要磁盘有足够的IO能力。对于SSD基于闪存技术存储介质和SAN存储,NOOP也是有限选择的调度器。
CFQ是对每个进程维护一个IO队列,IO Scheduler对每个IO队列轮询,对于不同的进程IO请求处理是公平的,平均IO请求响应时间很小。每个进程队列可以设置IO优先级使得有更多的调度时间片。比较适合离散的读写模型。

注意的是,传统的IO Elevator调度算法是基于减小机械盘磁头寻道时间和提高吞吐量目的设计的。IO Scheduler的选用需要根据硬件设备和应用的IO请求模式来决定。


二、 充分利用内存提高kafka读写性能

之前也提到过了,数据写入到磁盘可以异步进行,先把数据放到内存中,在集中的写到外部存储上。dirty_ratio 和 dirty_background_ration适当增大,充分利用内存和文件缓存buffer。

  • dirty_ratio,系统总内存的百分比,太小导致系统强制脏页写回到磁盘,这个会阻塞系统接受写入请求。

  • dirty_background_ratio,文件系统的写入缓冲区的大小,达到这个百分比时,pdflush进程开始启动,把数据写回到磁盘,但是不影响正常的读写请求。

  • 原则:dirty_background_ratio < dirty_ratio


但是还有个疑问,dirty page什么时候写回到磁盘?这个是由dirty_writeback_centisecs和dirty_expire_centisecs两个参数控制的。

dirty_writeback_centisecs,控制 pdflush/flush/kdmflush等进程的唤醒时间。

dirty_expire_centisecs,控制dirty page刷盘时间点。

减小这两个参数,可以使数据快速落盘,避免os crash引起的数据的丢失。另外,减小dirty_writeback_centisecs和dirty_expire_centisecs,解决IO Spike现象。

通过磁盘监控发现写入量wrqm/s和awit时间波动很大。


page cache中dirty apge的数量出现骤减。


对于kafa来说,数据append总以方式追加到文件末尾,因而内存中的dirty page很少被再次更新。合理做法是把dirty page快速的flush到磁盘上,而不是默认的是30s执行一次write back。这样可以大幅度减少单次fluhs操作的数据量,消除io-wait突然增高的现象。

dirty_writeback_centisecs=100,每1s中唤醒一次pdflush进程。

dirty_expire_centisecs=100,dirty page过了一秒就从内存写回到磁盘。

下图是io await的优化效果,经过参数调整之后,IO-await有明显的下降。



三、文件系统

我们生产上常用多块SATA盘做raid10,磁盘容量巨大时,仍然使用ext4文件系统,很容易格式化异常(需要系统补丁支持)。Ext4系统支持最大16TB的分区,而是用XFS文件系统可以达到100TB+。相比Ext4,XFS文件系统性能更好,官方也推荐使用。而稳定稍弱一点,很多参数也不需要优化。主要注意两个参数的优化:

1)nobarrier,XFS可以有数据丢失保护机制,因而可以关闭底层硬件的强制刷盘策略,何况在线机器还有raid卡保护。

2)noatime,完全没有必要的文件系统元数据更新。

推荐的XFS挂载参数:rw,noatime,nodiratime,noikeep,nobarrier,allocsize=128M,attr2,largeio,inode64,swalloc 。关于文件系统方面,主要参考官方的建议。


参考资料:

File Cache:https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/

Ext4:https://en.wikipedia.org/wiki/Ext4

Kafka: http://kafka.apache.org/documentation.html#appvsosflush







扫描二维码推送至手机访问。

版权声明:本文由短链接发布,如需转载请注明出处。

本文链接:https://www.ft12.com/article_315.html

标签: KafkaIO优化
分享给朋友:

相关文章

贝佐斯:全球新首富的独裁和铁腕说客

7月27日晚间,得益于亚马逊股价上涨,亚马逊创始人贝佐斯身价高涨至902亿美元,超越微软创始人比尔·盖茨,变成国际首富。在曩昔的23年间,有18年的全球首富头衔被盖茨“强占”。时期,在2010年和2012年,墨西哥的卡洛斯·斯利姆(Carl...

FT12短网址:太聪明的人,往往会失败的很离谱

FT12短网址:太聪明的人,往往会失败的很离谱

有傻瓜的当地才会发作奇观印度有一位闻名的哲学家,气质高雅,因而变成很多女性的偶像。某天,一个女子来访问他,她表达了爱慕之情后说:“错过我,你将再也找不到比我更爱你的女性了!”哲学家尽管也很中意她,但仍习气性地答复说:“容我再思考思考!”过后...

FT12短网址:共享单车或将成为街头新垃圾?共享单车“坟场”触目惊心!

从2016年初进入大众视线开端,同享单车敏捷就成了全民焦点,环绕它的话题从处理最终三公里的便利性、到国民素质大批判、到几十亿押金的监管,再到如今的老大老二之战,任何一个小新闻都能导致几十万网民大讨论,虽然“同享单车已死”的言论痛经相同每隔一...

大型网站技术架构(八)——网站的安全架构

大型网站技术架构(八)——网站的安全架构

从互联网诞生起,安全威胁就一直伴随着网站的发展,各种Web攻击和信息泄露也从未停止。常见的攻击手段有XSS攻击、SQL注入、CSRF、Session劫持等。1. XSS攻击XSS攻击即跨站点脚本攻击(Cross Site Script),指...

网友约会却被搞到窒息?这是哪门子骚操作!

网友约会却被搞到窒息?这是哪门子骚操作!

私生活一向稳如一摊死水而毫无波澜的愉鸡(也就是长期单身的作者本人),经常会从喜欢玩“网友奔现”的朋友那儿,听到一些年轻男女初次见面时,尬到心衰的“石化瞬间”。其中,最让人崩溃的3种情况是:接吻时放屁照片和真人差太多堵了对方家的马桶(图片来自...

FT12短网址:从零开始搭建超大型机票交易平台

FT12短网址:从零开始搭建超大型机票交易平台

FT12短网址资讯:从无到有构建一个大型交易平台对工程师来说是很有应战的事情。在构建过程中会碰见各种技能或许非技能的问题,作为一个工程师又该怎么处理这些问题,这是所有工程师都需求思考的问题。知名旅行网站担任交易平台技能的小雄哥总结了自己的亲...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。