一、 IO Scheduler
Centos6系统默认的IO调度器是CFQ（Completely Fair Queuing），Kafka是顺序IO读写模型，使用Deadline和NOOP无疑是更好地选择。
Deadline:对于读写操作有截止时间，对读和写操作用两条不同的队列管理，可以解决读取饥饿的现象。因为操作系统对读请求是同步处理的，写入请求可以异步处理。操作系统可以数据写到内存，然后对IO队列中的请求做合并，提高IO的吞吐量。通过设置read_expire < write_expire时间，避免读取操作处于饥饿调度的状态。对于数据库存储应用，Deadline是最佳的IO Scheduler，甚至很多PCIE卡作为设备内置默认参数。
NOOP:是建立在FIFO调度模型之上的，并合相邻IO请求。Noop容易出现读取操作饥饿现象，使用NOOP调度，需要磁盘有足够的IO能力。对于SSD基于闪存技术存储介质和SAN存储，NOOP也是有限选择的调度器。
CFQ是对每个进程维护一个IO队列，IO Scheduler对每个IO队列轮询，对于不同的进程IO请求处理是公平的，平均IO请求响应时间很小。每个进程队列可以设置IO优先级使得有更多的调度时间片。比较适合离散的读写模型。
注意的是，传统的IO Elevator调度算法是基于减小机械盘磁头寻道时间和提高吞吐量目的设计的。IO Scheduler的选用需要根据硬件设备和应用的IO请求模式来决定。
二、 充分利用内存提高kafka读写性能
之前也提到过了，数据写入到磁盘可以异步进行，先把数据放到内存中，在集中的写到外部存储上。dirty_ratio 和 dirty_background_ration适当增大，充分利用内存和文件缓存buffer。
dirty_ratio，系统总内存的百分比，太小导致系统强制脏页写回到磁盘，这个会阻塞系统接受写入请求。
dirty_background_ratio，文件系统的写入缓冲区的大小，达到这个百分比时，pdflush进程开始启动，把数据写回到磁盘，但是不影响正常的读写请求。
原则：dirty_background_ratio < dirty_ratio
但是还有个疑问，dirty page什么时候写回到磁盘？这个是由dirty_writeback_centisecs和dirty_expire_centisecs两个参数控制的。
dirty_writeback_centisecs，控制 pdflush/flush/kdmflush等进程的唤醒时间。
dirty_expire_centisecs，控制dirty page刷盘时间点。
减小这两个参数，可以使数据快速落盘，避免os crash引起的数据的丢失。另外，减小dirty_writeback_centisecs和dirty_expire_centisecs，解决IO Spike现象。
通过磁盘监控发现写入量wrqm/s和awit时间波动很大。
page cache中dirty apge的数量出现骤减。
对于kafa来说，数据append总以方式追加到文件末尾，因而内存中的dirty page很少被再次更新。合理做法是把dirty page快速的flush到磁盘上，而不是默认的是30s执行一次write back。这样可以大幅度减少单次fluhs操作的数据量，消除io-wait突然增高的现象。
dirty_writeback_centisecs=100，每1s中唤醒一次pdflush进程。
dirty_expire_centisecs=100，dirty page过了一秒就从内存写回到磁盘。
下图是io await的优化效果，经过参数调整之后，IO-await有明显的下降。
三、文件系统
我们生产上常用多块SATA盘做raid10，磁盘容量巨大时，仍然使用ext4文件系统，很容易格式化异常（需要系统补丁支持）。Ext4系统支持最大16TB的分区，而是用XFS文件系统可以达到100TB+。相比Ext4，XFS文件系统性能更好，官方也推荐使用。而稳定稍弱一点，很多参数也不需要优化。主要注意两个参数的优化：
1）nobarrier，XFS可以有数据丢失保护机制，因而可以关闭底层硬件的强制刷盘策略，何况在线机器还有raid卡保护。
2）noatime，完全没有必要的文件系统元数据更新。
推荐的XFS挂载参数：rw,noatime,nodiratime,noikeep,nobarrier,allocsize=128M,attr2,largeio,inode64,swalloc 。关于文件系统方面，主要参考官方的建议。
参考资料：
File Cache：https://lonesysadmin.net/2013/12/22/better-linux-disk-caching-performance-vm-dirty_ratio/
Ext4：https://en.wikipedia.org/wiki/Ext4
Kafka： http://kafka.apache.org/documentation.html#appvsosflush