Drupal教程：自定义缓存之共享内存

对于高性能、高并发软件架构中一个重要的优化策略就是，能在内存中处理的决不能放到外存中。这里外存包括：网络I/O，DB，硬盘。
对于一个Drupal站点，我们都要使用到缓存，前文《drupal性能优化经验贴》中也谈到，必须使用cache。
一般情况下，我们使用memcache，大型站点，使用分布式memcache，并且memcache常常和Application不在同一台服务器上面。这就会带来一个问题，内部网络IO。对于小站点可能没有什么问题，但是对于一个大型站点，这个问题很严重。
因为Drupal的某些缓存比较大，比如theme-registry, content-type-info, locale翻译信息，对于一个较复杂的站点，这几个缓存加起来至少1M以上，大到3-5M。如果一个request需要3M的缓存，那么1000request需要3G的流量，这样即便是内网的IO，也会造成很大的瓶颈。（笔者曾经就遇到这样的问题，所以这里就是对这个问题的解决方案的分享）。

如何解决呢，就是将某些缓存，再缓存到本机，这样就会省去网络IO，降低了网络瓶颈。
缓存到本机，我们可以使用本机文件缓存，比如缓存到tmp下面。但是按照我们的原则： 能在内存中处理的决不能放到外存中，我们可以把这缓存放到内存中（前提是硬件服务器内存比较大，现在一般较好的服务器可以达到8G，以至于20，30G，这样内存完全可以拿出1G去缓存这些内容）。

为了方便，我们可以写一个接口函数，去封装缓存动作，可以缓存到APC（内存共享）、文件。这里我们重点选择文件夹，因为文件夹正常是缓存在磁盘上，但是我们可以把这个文件夹挂载到内存上。如果内存不够可以取消内存挂载，这样操作起来比较灵活，也不需要修改任何代码。

200 ! ^ P3 c! o. }: p+ e* J) @201 202 3 N7 H! a& s" b: ?6 a( N3 B203 204 . N$ a& Q5 U, p' V2 U6 x. ^; e205 ) ?- W6 R/ A% [, R3 R206 7 i8 L7 Q5 n7 \ F8 {4 W207 208 209 9 M8 H! a# T% G/ Y* }( N210 211 212 0 E' M1 y0 m6 m213 : s2 S$ z5 w4 p' o9 n214 215 , m; `$ Q3 x$ r6 @3 B# Q/ A& S M) S& S+ y216 217 218 219 220 221 ) l6 w* K" ?4 q) U. @( `: g( p* \222 * w+ q9 H! _/ h2 V: O( V- ?223 4 o& \8 a' X* |; c224 225 226 227 ' W& ]/ R1 W" X& g v228 229 230 231 232 233 234 , t4 H7 Z# B& \, a* p( V235 ' ^9 E* A+ D g, b$ M236 , V% |! a9 m! C$ N9 X0 [- J7 j! `+ L237 7 x; c; P& q8 ]) Q( d$ B* n. H. r238 & ?1 d3 t) a9 K, U) Q ~239 5 g6 ~' o) r a240 9 t' l- A! s& K: g241 " X+ Y7 C6 v8 a5 I/ B242 : _& P" V7 @; @4 H9 ^243 244 245 246 247 248 6 b9 {, W, W' O: M l249 250 ; c; }7 y7 s$ D# M* o4 q3 E251 7 E) c3 J% x5 \) o3 ?7 x! \- Y252 253 1 j! o; {4 B! K254 255 256 - g! d# F" `3 m257 . O) G7 y+ h5 R+ d' w4 V7 F+ E4 h2 A258 - Y2 z2 |7 S+ j% A4 D259 4 Q0 e5 B! B8 P' z; b260 7 w' M, g! A2 g5 N. [: [. z2 z261 262 263 # g" B6 W/ @+ \0 q6 r7 F+ ]3 P264 265 2 h& d4 E4 c+ T0 c* B266 - J* C$ ^% U; w1 a* w3 m P( ]267 6 Y6 Y" r" F7 o. F5 ~3 z& s u6 o268 : w. Y& }$ t' y$ g& W, c5 q269 , O( N# v6 n' G" z3 E+ v3 D270 , i/ |2 ~+ ?4 P, t( c ?0 {6 I2 W/ d271 6 \# @" D& u+ n2 P4 C( U8 z272 6 y6 e; H5 o- D, A) U273 * Y- l# W9 J: [) u* K274 275 276 277 / a2 ?' }/ o8 _' K' z& S278 279 & z+ O* T$ D: J- z280 281 7 U+ i6 z8 T+ B# s H. @282 283 284 285 286 # [$ x: [- o( B ^& s! J3 l287 - ~1 i" I( P4 i288 289 290 & n* d" O; u" `) ^291 292 1 q. E+ j. w. y1 H% g293 7 x b% o7 N& B% E8 p294 ( u& B" x0 H [' A9 U295 ' I3 l' ^5 }5 |, {) w4 O( | N7 ^296 297 298 299 300 301 302 $ J/ H1 P+ y1 c4 H4 f: O303 - t2 L0 W+ R# L4 P3 x6 j9 Z. p% g1 O, s

define('V_CACHE_FILE', 1);   # I. X3 b9 L2 a/** 4 r1 R$ `$ A* z3 E2 V3 a *@important Create the cache folder to store the cache data firstly   6 q8 m2 z, I; j, y #create memcache local cache folder 1 @0 v- V" C9 o: z7 m7 Y7 ] mkdir memcache ; sudo chown nginx:nginx memcache   ' N ~3 r5 w u* D: h: k8 p */ ! C/ @' m* H- Z( t& _- Efunction v_cache_file_dir() { " g. E, X# c5 P $path = dirname($_SERVER['SCRIPT_FILENAME']); ! H7 A8 @6 B9 _1 r0 t2 G S$ t9 w #$dir = rtrim($path, '/') .'/'. trim(file_directory_temp(), '/') .'/memcache'; $dir = rtrim($path, '/') .'/memcache'; % Z. J& F3 u) L) l4 f  4 _2 T- t: p" c8 g if($_GET['debug'] == 'test-cache') { drupal_set_message($dir. '@DIR'); 0 j- P% W0 [8 V& | } ( X* g' l7 L& g+ A% R if(!is_dir($dir)) { #mkdir($dir); throw new Exception('Create local directory for cache, ' .$dir); ; y9 x! y% f9 O7 m* l! _ } return $dir; }   $ `4 m' `' S# jfunction v_cache_file_set($key, $value) { & l+ y* F1 o0 P' p9 l $dir = v_cache_file_dir(); 5 X1 I) z1 p N" t% a5 _( C+ Y $file = "$key.ser"; if($_GET['debug'] == 'test-cache') { $ p: x o& |( q+ h# _ drupal_set_message($key. '@FILE_CACHE_SET'); * m" n. L6 b1 [3 G; A } file_put_contents($dir .'/'. $file, serialize($value)); + J, i- ~7 q5 a& w, t( t3 ]1 G}   function v_cache_file_get($key) { 3 _- N2 r) l. p( L" n8 f $dir = v_cache_file_dir(); 0 a. @* c0 w) E1 q* g9 q: F$ D  $file = "$key.ser"; $file = $dir .'/'. $file; if(file_exists($file)) { if($_GET['debug'] == 'test-cache') { drupal_set_message($key.'@FILE_CACHE_GET'); ) k; b; u* b+ _# e } 4 _+ T! R) m1 X* ~4 w return unserialize(file_get_contents($file)); } ! ?8 a; z5 c9 Q" B else { & ^3 c9 D! { S7 t6 ^( _) @ return false; $ |$ y0 b2 D3 d l% R } , \) h) S0 P, R2 D. V& n} 7 t! N0 j& X* Q  $ G3 [6 Z$ `; {* dfunction v_cache_encode_key($key) { , Z" P. l0 N4 \8 p9 r' g $address = $_SERVER['SERVER_ADDR']; //$key = str_ireplace(':', '-', $key); $key = "$key:$address"; : e+ F+ X- x4 o# C+ J; B3 [# _ return $key; }   % Y) r/ T( z- ?' E. Ufunction v_cache_set($key, $value, $table = 'cache', $expire = CACHE_PERMANENT) { : I# Y) u& y5 _2 C# e2 r" t+ @ $key_mem = v_cache_encode_key($key); if (function_exists('apc_cache_info')) { ) U, ]3 n4 U9 Z6 t' v0 |% I apc_store($key, $value, 60*60);//1 hour cache_set($key_mem, time(), $table, $expire); } else if (V_CACHE_FILE) { v_cache_file_set($key, $value);//1 hour cache_set($key_mem, time(), $table, $expire); } 0 q! w% q. Q# B( N& K6 A% @ else { 9 p' Z6 s3 i, {6 t- P( O" P d( i cache_set($key, $value, $table, $expire); } }   ) d9 W1 c3 }! J/ u9 N8 }4 C" Afunction v_cache_get($key, $table = 'cache') { if (function_exists('apc_cache_info') || VIA_CACHE_FILE) { ( v, W9 y! k! s0 W" g: @ static $static; : M$ u+ l* O$ O* L2 a% @& H $ret = false; if (isset($static[$key])) { 9 P5 p# ]4 C! X, A% s5 d' g $ret = $static[$key]; 4 C0 s' H! M# E# Z$ |5 N } else { 1 {7 x4 o$ S8 g9 P, x8 j $key_mem = via_cache_encode_key($key); if(cache_get($key_mem, $table)) { $cache_callback = function_exists('apc_cache_info') ? 'apc_fetch' : 'v_cache_file_get'; $value = $cache_callback($key); if($value) { $cache = new stdClass; $cache->data = $value; 5 j2 @1 P" S4 Q K; t $static[$key] = $cache; + O$ R2 i6 e( \2 o$ n $ret = $cache; } } . g; l2 b+ y1 [* w/ C% E) J7 `5 u } return $ret; } % s' i+ U; T$ @5 y) I8 M8 w else { return cache_get($key, $table); } # P; Y! @$ v3 W+ I% W: H, P}   function v_cache_clear_all($cid = NULL, $table = NULL, $wildcard = FALSE) { 3 B. j8 e* L }" A1 I- @8 J if ($cid) { & F; q9 `4 L5 p9 g0 z L+ S cache_clear_all($cid, 'cache', TRUE); % } {8 I' i% o4 P //apc_clear_cache('user'); 1 W8 }8 `) O& I9 w! { } }

添加了上面到代码之后，我们需要修改一些drupal核心code，去调用我们自己定义的cache方法，重点关注下面几个cache：

• common.inc 里面的shema，函数： drupal_get_schema里面调用的cache方法。
• theme.inc 里面的theme-registry，函数：_theme_save_registry。
• locale.module里面的locale函数，修改里面的cache方法。
• content.module里面的content-type-info, 函数：_content_type_info。

因为以上信息缓存一次，修改机会比较小，所以缓存到本机是比较理想的做法。
还有一个需要注意的，上面的缓存虽然存到的本机，但是cache的key还是存到了drupal正常的cache里面，所以当清除drupal的cache之后，这些key消失，通过这样的方法，可以实现对cache清除的操作控制。

当然，除了修改缓存的操作，还需要一个清除缓存的操作，我们可以通过实现相关hook来操作。
这个修改是需要修改drupal核心代码的，所以请谨慎使用。

---

声明： 本站所有文章欢迎转载，所有文章未说明，均属于原创，转载均请注明出处。 
本文有效链接： http://www.drupal001.com/2011/10/drupal-custom-cache-tips/ 
版权所有： Drupal与高性能网站架构 http://www.drupal001.com