ITeye博客

移动互联网后端技术

maoyidao · 共 34 篇文章

Dropbox协议分析

http://eprints.eemcs.utwente.nl/22286/01/imc140-drago.pdf 本文观点基于以上paper 相信不是所有同学都了解Dropbox,先做一个简单知识普及,Dropbox是一个提供同步本地文件的网络存储在线应用。支持在多台电脑多种操作中自动同步。并可当作大容量的网络硬盘使用。 在展开之前先回答一个问题,我们为什么要关系Dropbox?随着云计算框架越来越多的进入开发者和用户的事业,对文件、数据同步传输的要求也越来越多,越来越高。我们有必要对行业内比较流行的数据同步协议进行分析和借鉴。 由于Dropbox不是公开协议,论文中采用了一个SSL拦截的…

2013-04-12 00:15 · 高性能通讯 架构 · 评论(1)

Memcache架构新思考

2011年初Marc Kwiatkowski通过Memecache@Facebook介绍了Facebook的Memcache架构,现在重新审视这个架构,仍有很多方面在业界保持先进性。作为weibo内部数据处理量最大,对数据延迟最敏感的部门,基于本厂2年多来对mc的使用心得,我在本文总结对MC架构的一些新思考。 1. Memcache使用中的雷区 通常你可能考虑不到,但又隐藏在某处等着你踩的称之为“雷”。 带宽和连接数 Memcache具有很高吞吐能力,Memecache@Facebook中介绍Memcache支持8万/s读和2万/s写,在weibo内部我们通常认为单个Memcache实例支持…

2013-04-11 23:28 · 技术 架构 · 评论(4)

Memcached for移动互联网:mcperf压测1k~10k数据笔记

移动互联网场景中随着人机交互方式的改变,用户数据也发生了比较大的改变。从以1k以下的文本为主数据,变为1k~10k的音频占很大比例的数据。响应的后端服务的队列、存储、缓存也需要做一系列针对性调整。这里就简单记录一下maoyidao对Memcached的压测情况。 1. 压测工具:mcperf mcperf使用简单,输出报告清晰。最初是twitter为了证明其Twemcache在特定场景下(需要自动调节slab大小的场景下)比memcached强悍而开发的基准压测工具。比如在Random Eviciton vs Slab Automove(https://github.com/twitter/…

2012-12-31 18:56 · 技术 架构 · 评论(0)

通讯系统经验谈【三】解读内核参数 - sysctl.conf

在上一篇中 http://maoyidao.iteye.com/blog/1744309 ,主要介绍了和系统资源限制相关的参数。本文是通讯系统经验谈的第三部分,继续解读和系统性能相关的内核配置。 上篇介绍了和系统设置有关的几个参数,在一台系统上,连接到一个服务时的本地端口是有限的。由于端口是16位整数,也就只能是0到65535,而0到1023是预留端口,所以能分配的只是 1024到65534,也就是64511个。也就是说,一台机器只能创建六万多个长连接。查看本机端口设置: maoyidao 写道 sysctl -a | grep port_range net.ipv4.ip_local_po…

2012-12-10 23:34 · 技术 · 通讯 · 评论(0)

通讯系统经验谈【二】解读内核参数 - socket/文件句柄资源限制参数

在本系列的第一篇( http://maoyidao.iteye.com/blog/1744277 )中介绍了TCP状态以及服务器上常出现的TIME_WAIT和CLOSE_WAIT状态的成因、影响和解决方法。本篇主要解读在一台并发15万连接的HTTP服务上的系统配置 Linux系统资源限制 1. 最大文件数 查看进程允许打开的最大文件句柄数:ulimit -n 查看进程所占的文件描述符: lsof -p xxx | wc -l 设置进程能打开的最大文件句柄数:ulimit -n xxx 2. ulimit -n vs. file-max ? 简单的说, ulimit - n 控制进程级别能够打…

2012-12-10 13:41 · 技术 · 通讯 · 评论(1)

通讯系统经验谈【一】TCP连接状态分析:SYNC_RECV,CLOSE_WAIT,TIME_WAIT

面试时看到应聘者简历中写精通网络,TCP编程,我常问一个问题,TCP建立连接需要几次握手?95%以上的应聘者都能答对是3次。问TCP断开连接需要几次握手,70%的应聘者能答对是4次通讯。再问CLOSE_WAIT,TIME_WAIT是什么状态,怎么产生的,对服务有什么影响,如何消除?有一部分同学就回答不上来。不是我扣细节,而是在通讯为主的前端服务器上,必须有能力处理各种TCP状态。比如统计在本厂的一台前端机上高峰时间TCP连接的情况,统计命令: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 结果: 除了…

2012-12-08 23:58 · 技术 · 通讯 · 评论(1)

架构师笔记【杂】cache/容量及带宽规划/sysctl.conf配置等

不知道什么时候记得一些笔记,现在翻出来看看还是很有启发。也不想整理了,格式有点乱不过反映了当时的一些思考。 好的架构时演进出来的而不是从石头缝里蹦出来的,需要我们在工作中不断的思考、总结、实践。。。 1. 有关架构师的思考,从模块间的耦合关系上考虑 A,健康状况大致为多少线程、db每port写入量为多少,多少server,带宽占用,请求频率; B,如果峰值情况怎样? C,如前端cache丢失或当机怎样? D,如系统在压力下出现异常问题,可先对整体构架进行分析,然后再考虑测试。 E, Keep it Simple and Stupid 一个构架师的经验主要在于经历了多少场景,即解决了特定场景下…

2012-12-05 13:31 · 技术 架构 · 评论(0)

通过NIO实现Memcached multi get

Memcached(简称为:MC)在互联网广泛使用,是最基础的架构。但MC的mget(即一次获取多个值)一直是一个难题,我们的要求是mget性能上要尽量接近普通memcache get。下面通过一段伪代码介绍了如何以接近get single value的性能实现mget,并且就该架构在实际环境中遇到的一些问题加以讨论。 场景 在开始这个话题之前先考虑一个问题,为什么需要MC mget?Redis不是已经很好的实现了list,hashset,hashtable,zset等等丰富的数据结构吗?这个问题需要从本厂的应用场景开始。用户登陆之后会修改自己的状态,同时获得自己关注人的状态。修改自己的状态…

2012-11-30 23:58 · 高性能通讯 架构 · 技术 · 评论(0)

构建高性能服务(三)Java高性能缓冲设计 vs Disruptor vs LinkedBlockingQueue

一个仅仅部署在4台服务器上的服务,每秒向Database写入数据超过100万行数据,每分钟产生超过1G的数据。而每台服务器(8核12G)上CPU占用不到100%,load不超过5。这是怎么做到呢?下面将给你描述这个架构,它的核心是一个高效缓冲区设计,我们对它的要求是: 1,该缓存区要尽量简单 2,尽量避免生产者线程和消费者线程锁 3,尽量避免大量GC 缓冲 vs 性能瓶颈 提高硬盘写入IO的银弹无疑是批量顺序写,无论是在业界流行的分布式文件系统或数据,HBase,GFS和HDFS,还是以磁盘文件为持久化方式的消息队列Kafka都采用了在内存缓存数据然后再批量写入的策略。这一个策略的性能核心就…

2012-08-26 15:52 · 技术 架构 · 评论(9)

高性能RPC over MINA&google protobuf 代码&实例 (二)

在本系列上篇 http://maoyidao.iteye.com/blog/1636923 实现了基于google protobuf的序列化反序列化,现在看看怎么把他们组装到MINA的nio中。本篇主要描述怎么处理断包。 使用MINA的CumulativeProtocolDecoder是个好主意,先从MINA自己的sample开始。在这个例子中如果接受到的IoBuffer只包含一部分消息, decoders应该继续接收消息知道接收到完整的消息之后再进行解码。 List1 public class CrLfTerminatedCommandLineDecoder extends Cumulat…

2012-08-19 18:32 · MINA 高性能通讯 架构 · 评论(0)

高性能RPC over MINA&google protobuf 代码&实例 (一)

最近团队在开发基于移动互联网的项目,又一次涉及到post service,即在服务器集群之间投递消息。是的,又是一个RPC服务。RPC实现方式从笨重的CORBA,SOAP over HTTP,XMPP over TCP,到轻量级的protobuf,scribe和Avro。这里不想比较各自的应用场景(另外后面三种RPC方式极为接近,都是通过提供Object <-> 二进制映射来提高高效的传输),本文的目的是给大家一点可以实际操作的代码:java如何用protobuf 实现rpc 和protobuf-socket-rpc的区别 protobuf-socket-rpc(code.google.co…

2012-08-19 01:41 · MINA 高性能通讯 架构 · 评论(1)

在HBase中应用MemStore-Local Allocation Buffers解决Full GC问题:第二部分

maoyidao注:上个月写了一遍博文,介绍一种高效的Java缓存实现, http://maoyidao.iteye.com/admin/blogs/1559420 。其本质是模仿Memcached的Slab,通过分配连续定长的byte[]减少大规模使用Java Heap作为缓存时不可避免的GC问题。虽然当时构思和实现这一思路时并没有参照其他开源产品,但这一思路在很多著名的开源产品上也有类似的实现。 随着内存使用成本越来越低,高并发海量数据应用开发者逐渐倾向于这样一种思路:“内存就是新的硬盘,硬盘就是新的磁带”。即通过尽量多的使用内存,和尽量多的顺序读写磁盘实现高吞吐。因此大规模使用内存引起…

2012-07-09 22:06 · 技术 架构 · 评论(1)

在HBase中应用MemStore-Local Allocation Buffers解决Full GC问题:第一部分

译者注:上个月写了一遍博文,介绍一种高效的Java缓存实现 http://maoyidao.iteye.com/blog/1559420 。其本质是模仿Memcached的Slab,通过分配连续定长的byte[]减少大规模使用Java Heap作为缓存时不可避免的GC问题。虽然当时构思和实现这一思路时并没有参照其他开源产品,但这一思路在很多著名的开源产品上也有类似的实现。随着内存使用成本越来越低,高并发海量数据应用开发者逐渐倾向于这样一种思路:“内存就是新的硬盘,硬盘就是新的磁带”。即通过尽量多的使用内存,和尽量多的顺序读写磁盘实现高吞吐。因此大规模使用内存引起的Java GC问题就成为了一…

2012-07-03 08:15 · 技术 架构 · 评论(1)

构建高性能服务(二)java高并发锁的3种实现

提高系统并发吞吐能力是构建高性能服务的重点和难点。通常review代码时看到synchronized是我都会想一想,这个地方可不可以优化。使用synchronized使得并发的线程变成顺序执行,对系统并发吞吐能力有极大影响,我的博文 http://maoyidao.iteye.com/blog/1149015 介绍了可以从理论上估算系统并发处理能力的方法。 那么对于必须使用synchronized的业务场景,这里提供几个小技巧,帮助大家减小锁粒度,提高系统并发能力。 初级技巧 - 乐观锁 乐观锁适合这样的场景:读不会冲突,写会冲突。同时读的频率远大于写。 以下面的代码为例,悲观锁的实现: p…

2012-06-18 22:27 · 技术 架构 · 评论(4)

构建高性能服务(一)ConcurrentSkipListMap和链表构建高性能Java Memcached

场景 缓存服务器是互联网后端服务中常用的基础设施。 场景(一)图片服务器上存储了大量图片,为了提高图片服务的吞吐量,希望把热门的图片加载到内存中。 场景(二)分布式存储服务,为提高访问吞吐,把大量的meta信息存储在内存中。 问题 但是使用Java语言开发缓存服务,不可避免的遇到GC问题。无论使用ehcache是基于Map实现的缓存,都会产生大量Minor GC无法回收的对象,最终导致CMS或Full GC,对系统吞吐造成影响。通过观察这类服务产生的GC日志,可以观察到频繁的CMS。这里简单介绍下CMS的过程即对系统的影响,CMS两阶段标记,减少stop the world的时间,如图红色部…

2012-06-12 22:01 · 技术 架构 · 评论(5)