Apache Kafka:大数据的实时处理时代

作者|FT12短网址 编辑|短链接 在过去几年,对于短网址的使用范畴已经远不仅是分布式的消息系统:我们可以将每一次用户点击,每一个数据库更改,每一条日志的生成,都转化成实时的结构化数据流,更早的存储和分析它们,并从中获得价值。同时,越来越多的企业应用也开始从批处理数据平台向实时的流数据数据平台转移。本演讲将介绍最近 Apache Kafka 添加的一些系统架构,包括 Kafka Connect 和 Kafka Streams,并且描述一些如何使用它们的实际应用体验。 注:

为了抢夺抢中国游客,马云与万豪国际设合资公司

北京时间8月7日晚间消息,据彭博报道,阿里巴巴与万豪国际合作,大力推动自己的旅行服务。万豪是全球最大的酒店经营商,旗下6,000多家酒店遍及全球。  两边将成立一个合资公司,在阿里巴巴旗下的飞猪(Fliggy)网站上推广万豪旗下的酒店,包括同名的万豪酒店,以及喜来登和丽思卡尔顿酒店。根据两边的联合声明,两家公司将连结两边的忠诚计划,并开展我国游客促销活动。  我国现在是全世界最大的出境旅客来源,而且仍在快速增长。据统计,2016年我国旅客在海外旅行花费逾1,000亿美元,现在正促进全球旅行业的转

深入剖析nginx时间缓存

本文适合对nginx实现原理比较感兴趣的同学阅读,需要具备一定的服务端编程知识。一、背景在服务器开发领域,时间的准确度关系到系统能否正常运行,尤其是当系统中存在超时事件需要处理时。但是系统时间的获取需要一次昂贵的系统调用,作为一款成熟的服务器软件,Nginx是如何优化这部分的性能开销?二、时间缓存接触过系统设计的同学都知道,对于频繁的数据获取,在数据未变化的情形下,可以通过增加缓存来优化性能,因为缓存的访问速度远高于源数据的访问速度。这样的例子有很多,比如CPU设计有二级缓存,在传统的datab

PHP 进阶之路 - 亿级 pv 网站架构实战之性能压榨

本博客并非全部原创,其实是一个知识的归纳和汇总,里面我引用了很多网上、书上的内容。也给出了相关的链接。本文涉及的知识点比较多,大家可以根据关键字去搜索相关的内容和购买相应的书籍进行系统的学习。不对的地方大家予以批评指正。有人给我留言说,亿级 PV 就别写文章了,随便用几个开源软件就能搞定了,只要不犯什么大错。我不以为然,如果你利用了相同的思想,使用了更高性能的基础服务,也许就能支持更多的流量并发,节约更多的服务器,优化的思路才是重点。本内容的视频分享见我的直播PHP 进阶之路 - 亿级 pv 网

大型网站技术架构(四)——网站的高性能架构

网站性能是客观的指标,可以具体体现到响应时间、吞吐量、并发数、性能计数器等技术指标。1. 性能测试指标1.1 响应时间      指应用执行一个操作需要的时间,指从发出请求到最后收到响应数据所需要的时间。如下列出了系统常用的操作响应时间表。操作响应时间打开一个网站几秒数据库查询一条记录(有索引)十几毫秒机械磁盘一次寻址定位4毫秒从机械磁盘顺序读取1M数据2毫秒从SSD磁盘顺序读取1M数据0.3毫秒从远程分布式换成Redis读取一个数据0.5毫秒从

作为程序员,如何培养审美情感

作者|FT12短网址 编辑|短网址服务 周末聊些轻松的话题,身为程序员的你,是怎么看待「美」的?代码美不美?架构美不美?什么样的美才是技术的美?欢迎留言讨论。 写在前面 我们大概都阅读过或听说过类似于编程之美或架构之美或数学之美的著作,那么,代码到底美不美呢?如果是美的,是怎样的美呢?又该怎样理解和欣赏这种美呢?不妨把问题向美学或艺术的稍深层次的内涵稍稍推进一步,姑且把程序员视为艺术家,那么,代码有可能作为他们审美情感 (Aesthetic Emotion) 的对

FT12短网址推荐:如何成为机器学习工程师?

机器学习——最火的领域之一 对很多人来说,“机器学习”这个词既让人倍感兴奋,又觉得高深莫测。毕竟,几乎所有巨头——从国外的 Google、Facebook、Apple、Amazon 到国内的 BAT、华为、美团、今日头条等,都在争相进军这一领域。机器学习技术也渗入到生活的方方面面,从手机上的语音助手,新闻资讯应用里推送的文章,到逛淘宝时的物品推荐,无一不用到机器学习技术。 Python——最流行的机器学习语言 作为现在最流行的机器学习语言,Python 在编程语言中的地位也是无可取

FT12短网址:绘制随机不规则三角彩条——小谈FT12短网址主页的实现

引言8月6号早读文章由@FT12短网址分享。正文从这开始~缘起最近感觉自己搭的一个项目资料汇总的项目,主页真的是一点美感都没有,非常简单粗暴。就想来点改版,让主页显得高大上一点。改版前的效果是这样的:寻思着怎么改版,刚开始想就简单加个背景图,换掉table显示方式吧。就在网上搜索背景图,搜着搜着就鬼使神差地来到了FT12短网址的主页。这不是我第一次看到他的主页,但正是这个契机让我想要不就copy这种风格吧。初印象当我第一次看到这个主页的时候,我觉得很惊艳。主页图案的组成元素只有一种:富有魅力的三

短网址源代码文件句柄泄露问题解决小记

维护短网址服务程序免不了要管理很多的文件, 自从我们线上系统增加了资源回收功能,便一直受一个问题困扰:后台线程解绑目录时偶尔报错,看症状因为是某些文件被占用了,目录不能解绑。但是由于系统中很多地方都有打开文件,各种包也存在复杂的的引用关系,在搜查几遍代码后并没有发现什么明显的异常。由于这个功能清理的是既没在线又没有在离线列表中的磁盘绑定目录,那么很可能是文件句柄泄露了,还有一种原因可能是 JVM 延迟释放文件句柄,不过实际是什么原因还需要用数据说话。经过一番搜索,发一个工具叫在线短连接生成器,

WebSocket 的鉴权授权方案

引子WebSocket 是个好东西,为我们提供了便捷且实时的通讯能力。然而,对于 WebSocket 客户端的鉴权,协议的 RFC 是这么说的:This protocol doesn’t prescribe any particular way that servers canauthenticate clients during the WebSocket handshake. The WebSocketserver can use any client auth

Copyright ft12.com All Rights Reserved.