memcache构建简单的内存消息队列

memcache功能太简单了,只能 set get 和delete,只能保存key-value的数据,不能保存列表,当然也可以把一个列表给序列化了之后存进memcache,但是会存在并发的问题,每次保存数据,插队或者出队的时候都要给数据加锁,在高并发的情况下很难保证数据的一致性.

但是memcache 有一个 increment 的操作,为某一个键对应的值进行加1,实际上是加法运算,默认加1,这个操作是原子性的, 所以我们可以通过这个来维护一个自增的id来保证数据的唯一,再加上两个指针来维护起始键值,这样就构建了一个简单的但相队列.

代码如下:

1. <?php 
2. /** 
3.  * memcache构建的简单内存队列 
4.  *  
5.  * @author: jeffjing 
6.  */ 
7. class memList { 
8.  private $memcache; // memcache类 
9.  
10.  private $queKeyPrefix; //数据键前缀 
11.  private $startKey; //开始指针键 
12.  private $startKey; //结束指针键 
13.  
14.  public function __construct($key){ 
15.   $this->queKeyPrefix = "MEMQUE_{$key}_"; 
16.   $this->startKey = "MEMQUE_SK_{$key}"; 
17.   $this->endKey = "MEMQUE_EK_{$key}";  
18.  } 
19.  
20.  /** 
21.   * 获取列表 
22.   *  先拿到开始结束指针， 然后去拿数据 
23.   *  
24.   * @return array 
25.   */ 
26.  public function getList(){ 
27.   $startP = $this->memcache->get($this->startKey); 
28.   $endP = $this->memcache->get($this->endKey);   
29.   empty($startP) && $startP = 0; 
30.   empty($endP) && $endP = 0; 
31.  
32.   $arr = array(); 
33.   for($i = $startP ; $i < $endP; ++$i) { 
34.    $key = $this->queKeyPrefix . $i; 
35.    $arr[] = $this->memcache->get($key); 
36.   } 
37.   return $arr; 
38.  } 
39.  
40.  /** 
41.   * 插入队列 
42.   *   结束指针后移,拿到一个自增的id 
43.   *   再把值存到指针指定的位置 
44.   *    
45.   *   @return void 
46.   */ 
47.  public function in($value){ 
48.   $index = $this->memcache->increment($this->endKey); 
49.   $key = $this->queKeyPrefix . $index; 
50.   $this->memcache->set($key, $value); 
51.  } 
52.  
53.  /** 
54.   * 出队 
55.   *    很简单, 把开始值取出后开始指针后移 
56.   * //开源代码phpfensi.com 
57.   * @return mixed 
58.   */ 
59.  public function out(){ 
60.   $result = $this->memcache->get($this->startKey); 
61.   $this->memcache->increment($this->startKey); 
62.   return $result; 
63.  } 
64.  
65. }  
66. ?> 

关于memcached的一些事情

内存存储方式(slab allocator),memcached的数据存储方式为slab allocator即数据分片,在服务启动的时候先把内存分成不同大小的 chunk,当有数据过来的时候来存储到一个合适大小的chunk当中,之前版本是直接分配内存,导致内存碎片 随机查找等问题.

数据过期删除机制

memcached在数据过期之后,并不会去删除数据,但是不能访问过期的数据,过期数据占用的空间会被重复利用.

memcached采用lazy expiration,不会去主动扫描一个数据项是否过期,而是在数据get的时候判断是否已经过期.删除的算法是LRU(Least Recently Used),优先删除最近使用较少的数据.

memcached的分布式机制

虽说memcached是一个分布式的缓存,但是memcached本身并没有实现任何分布式的机制,分布式的功能主要是由客户端来实现的.

程序通过addserver增加多个memcahced服务到客户端(memcache扩展),在存取数据之前,客户端会先通过hash算法得到存储数据的节点,然后再去存取数据,当其中一台memcached服务器挂掉或者新增一台memcached服务器,hash算法得到的存储数据的节点就会变化,去新的服务器上去存取数据.