`

架构师笔记【杂】cache/容量及带宽规划/sysctl.conf配置等

阅读更多

 

不知道什么时候记得一些笔记,现在翻出来看看还是很有启发。也不想整理了,格式有点乱不过反映了当时的一些思考。

好的架构时演进出来的而不是从石头缝里蹦出来的,需要我们在工作中不断的思考、总结、实践。。。

 

1. 有关架构师的思考,从模块间的耦合关系上考虑

A,健康状况大致为多少线程、db每port写入量为多少,多少server,带宽占用,请求频率;

B,如果峰值情况怎样?

C,如前端cache丢失或当机怎样?

D,如系统在压力下出现异常问题,可先对整体构架进行分析,然后再考虑测试。

E, Keep it Simple and Stupid

 

一个构架师的经验主要在于经历了多少场景,即解决了特定场景下的要求的经验

以及试错过程中积累的经验和对各种主流技术的掌握

 

1,任何模块,避免只有remote cache,没有local cache的状况;即使remote cache一次只提供一条含有100条20 byte的信息,峰值加载1000次,这对互联网来说是很小的压力,但带宽占用也2M。这对带宽来说也是不必要的压力;

1,查询remote cache需计算带宽量,以考虑什么的内容必须放入local cache;这里local cache就是JVM内部的hashmap

这就是所谓“嵌入式”缓存。而一般memcached通常作为“分布式”缓存。

this is =--------

2. 容量及带宽规划

容量规划

MySQL: < 硬盘大小

Memcached: < RAM

Redis: < RAM

 

带宽规划

由于Redis比MySQL快10倍以上,因此带宽也是需要事先规划,避免带宽跑满而出现瓶颈。

---------

 

1,如果有前端分配的server,那么这个server必须只做分配&转发请求,不和后端有任何业务交往,否则架构上不优雅!!

 

考虑缓存架构:A,命中率;B,过期时间;C,分布性(单点失效)

2,cache server通常不会单点,但cache value可能是单点;如果丢失,就直接穿透到db,需要考虑如何避免大规模穿透造成db直接crash;

3,线程池规划需要根据处理能力,放大若干倍。比如健康:100;峰值:400~600;最大值:800;超过800则报错以确保系统健康。如果线程池只规划为50,则要分析是否不足。

4,要减少每一次不必要的查询,比如domain->ip1->ip2;如:ip1只是用于查询domain和ip2,则应直接建立domain和ip2的关系

4, 做压力测试时,导入数据(在进行压力测试之前,使表中已有一定数量的数据)

5,任何数据库查询必须在规划范围内执行,比如:每一port只能查询/写入小于1000次/s;不能允许在cache失效情况下大规模查询数据;

--

Tim has a distributed mutex fake code

--

if (memcache.get(key) == null) {

    // 3 min timeout to avoid mutex holder crash

    if (memcache.add(key_mutex, 3 * 60 * 1000) == true) {

        value = db.get(key);

        memcache.set(key, value);

        memcache.delete(key_mutex);

    } else {

        sleep(50);

        retry();

    }

}

----------

6,任何执行前端转发的机器执行的任务必须是短而快,如果长而慢,则必须拆分到后面的业务。因前端转发业务通常在1~2ms内完成,而server的数量通常为2~4台。

7,如非常小且快的逻辑,比如直接验证不通过,可考虑从前端转发server上直接拒绝掉。这样可节省后续逻辑;

8,mc cas重试会导致操作时间变长,这个问题如何解决???

   ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

   可否用redis解决?redis不支持CSA

$$Redis 是单线程,而 memcached 是单进程多线程,所以,为防止资源争夺,

$$memcached 使用 了 CAS 协议,带来 cpu 内存消耗

 

9,自动化工具:master自动切换到slave。。。

 

3. 本厂服务器sysctl.conf配置

net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;

net.ipv4.tcp_syncookies = 1

 

net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;

net.ipv4.tcp_tw_reuse = 1

 

net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭;

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_fin_timeout 修改系統默认的 TIMEOUT 时间。

net.ipv4.tcp_fin_timeout = 30

 

表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为30分钟。

net.ipv4.tcp_keepalive_time = 1800

 

放大向外连接的端口范围

net.ipv4.ip_local_port_range = 1024 65000

 

表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。

net.ipv4.tcp_max_syn_backlog = 8192

 

尽量使用物理内存

vm.swappiness = 0

0
0
分享到:
评论

相关推荐

Global site tag (gtag.js) - Google Analytics