Drupal教程：自定义缓存之共享内存

对于高性能、高并发软件架构中一个重要的优化策略就是，能在内存中处理的决不能放到外存中。这里外存包括：网络I/O，DB，硬盘。
对于一个Drupal站点，我们都要使用到缓存，前文《drupal性能优化经验贴》中也谈到，必须使用cache。
一般情况下，我们使用memcache，大型站点，使用分布式memcache，并且memcache常常和Application不在同一台服务器上面。这就会带来一个问题，内部网络IO。对于小站点可能没有什么问题，但是对于一个大型站点，这个问题很严重。
因为Drupal的某些缓存比较大，比如theme-registry, content-type-info, locale翻译信息，对于一个较复杂的站点，这几个缓存加起来至少1M以上，大到3-5M。如果一个request需要3M的缓存，那么1000request需要3G的流量，这样即便是内网的IO，也会造成很大的瓶颈。（笔者曾经就遇到这样的问题，所以这里就是对这个问题的解决方案的分享）。

如何解决呢，就是将某些缓存，再缓存到本机，这样就会省去网络IO，降低了网络瓶颈。
缓存到本机，我们可以使用本机文件缓存，比如缓存到tmp下面。但是按照我们的原则： 能在内存中处理的决不能放到外存中，我们可以把这缓存放到内存中（前提是硬件服务器内存比较大，现在一般较好的服务器可以达到8G，以至于20，30G，这样内存完全可以拿出1G去缓存这些内容）。

为了方便，我们可以写一个接口函数，去封装缓存动作，可以缓存到APC（内存共享）、文件。这里我们重点选择文件夹，因为文件夹正常是缓存在磁盘上，但是我们可以把这个文件夹挂载到内存上。如果内存不够可以取消内存挂载，这样操作起来比较灵活，也不需要修改任何代码。

200 ' e! |- a J/ n+ B8 h4 M201 202 203 204 205 ) H# a* u; M. n" ~" Z5 x206 207 ! M1 [, U0 C) H- B" O. V208 & r4 i( u W, V. g209 210 , h2 H/ M& Q9 R$ t4 Y a9 |4 x( }* m; Q211 0 |6 O. x7 k" z; [# _) v: W0 b212 ) p3 ?6 R' R; E213 . A- A* D) O* O, m/ m5 H1 v6 t' N214 & Y7 `. Z: h f) L" X8 j3 s- {215 1 N u. O- k1 x, S i6 a216 217 218 " O, W& f( [, \3 m) u% t3 {219 1 A% q. Y. |1 ]* ?: A220 221 222 8 I3 y2 W0 v% ]/ I* Y3 L223 3 B/ {) v; r' X7 p7 ^& }, G224 & U2 [" ^! L1 n& z225 226 227 3 A L0 ?+ G' Y3 H* ^) ^ s228 229 6 p8 T$ v/ P- R230 * ]; C3 {. [* A) t1 g5 A231 , k/ y( k& q8 F232 233 + k# ^7 s/ h% K2 S234 ) w% N5 V5 V$ `! y7 K7 l: w235 236 ! w* Q O0 [# o: z237 238 239 # |( M- E6 A3 d* F3 `240 " h$ r0 S& ]: Q4 o241 / \! k& R# K, u7 X, n: @/ a242 / S5 O3 s* K2 V* Y$ T+ f* x243 244 / O8 Z, [7 T- j' D( a; Q245 8 D/ T. U% |6 g% M246 " P" ]: n5 ~4 C+ K) y; H" d247 V W9 F6 b0 @# T& @6 ^) v248 6 l- \6 G1 E1 q1 |2 v249 / u% @/ K5 m" x( b250 : I! x4 R! H+ ~) \- P9 q9 L: Y5 Y251 ' m6 e3 g: T( S, e252 6 N* a; n- u' F% O253 1 }9 `2 _9 s& m4 R% r) O254 / q7 g7 x! q6 ?255 256 ( _% I7 H. i' q8 t, J+ h3 x257 & M1 ?' ~) w& N; c$ B$ `258 - a0 Z y7 J/ I8 f( ^& d259 260 261 262 263 & q# h3 ]+ C. `7 |4 r) D264 265 266 267 268 269 # M0 x6 T, |; W& H0 j1 I270 0 }/ W, V3 f4 y$ \) c. T- e; V271 4 U* P. I- q Q$ C272 & _( a) r2 s* d) T( r273 # d: E; X+ W& G& P+ e' y A274 275 4 o- X6 `& l: ~" A. q276 277 278 # c, o0 h K( d9 \! {279 / @6 J0 t+ |5 b7 o' U- {* P280 281 , j2 g! z6 X' A5 w8 U282 2 L/ ^9 s$ a( m: _+ O283 284 $ s5 A' o; ~9 P |3 M: Q# v285 286 ! B: q3 n; ~# v287 : F5 i: Y0 y% t288 6 f6 i2 G- ^0 J, D289 290 ) m: Q1 r& o7 o. \. i7 x291 / {% H6 o8 e) w0 I c7 T" T( _292 - y5 s7 D. }( V9 f293 % z! M) C9 V6 X+ C# N294 3 e5 f1 e, w+ W" V9 b1 ?# I) s7 g295 ; f: Z+ g ]5 Y l5 I0 r296 297 , }4 B- Z" \8 i298 299 ( t& k. O5 ~( J0 Q300 301 302 & Y) h. Z2 u7 \* d! T) u1 d+ M303

define('V_CACHE_FILE', 1); 6 O1 N4 C1 l) U  /** *@important Create the cache folder to store the cache data firstly   #create memcache local cache folder 4 U: E/ @' r/ A" | mkdir memcache ; sudo chown nginx:nginx memcache ( `& Y7 ~( X& I6 x2 }! G1 j2 K- B  */ function v_cache_file_dir() { 1 v: b, d q5 }6 g: v3 G $path = dirname($_SERVER['SCRIPT_FILENAME']); * n& P- k. s/ r& ^" N #$dir = rtrim($path, '/') .'/'. trim(file_directory_temp(), '/') .'/memcache'; # Q& x$ y) S3 \0 ` $dir = rtrim($path, '/') .'/memcache'; 5 S2 y4 ^% t3 j  ) C3 _6 i) f" G1 K3 [( q if($_GET['debug'] == 'test-cache') { drupal_set_message($dir. '@DIR'); 1 f3 }/ g' V% L* l4 l* ? } : ~% ?) }: D9 \. H& x if(!is_dir($dir)) { & ~! N3 t3 D" E# z U' J4 W #mkdir($dir); throw new Exception('Create local directory for cache, ' .$dir); ! b5 Q6 F# ^8 e# {* R N/ F: c$ I } return $dir; " E& W0 Z" x1 W: T- c' B( n} 2 b; D7 w# ]$ ~0 p8 I0 _3 V4 ^  ' }$ N" q4 w$ K6 rfunction v_cache_file_set($key, $value) { 2 d; `* w' K. f$ V $dir = v_cache_file_dir(); 7 E. Y0 ~2 M m: D1 W" \/ F4 `6 n' t% c $file = "$key.ser"; # g* {* j8 r. T4 X/ v if($_GET['debug'] == 'test-cache') { & c" ?) s7 H n2 g5 n, u drupal_set_message($key. '@FILE_CACHE_SET'); 6 r2 B9 x! m; f# c3 M } 6 s) C. e3 r4 g1 e file_put_contents($dir .'/'. $file, serialize($value)); } ) \! f9 F. V# i  ; }% l: Q% V. s* W, ~" Y1 dfunction v_cache_file_get($key) { $dir = v_cache_file_dir();   $file = "$key.ser"; $file = $dir .'/'. $file; ) T. z5 N& f0 c if(file_exists($file)) { if($_GET['debug'] == 'test-cache') { : l" {- H+ q# D5 X9 u0 C# B% ~ drupal_set_message($key.'@FILE_CACHE_GET'); } ) j" W7 G* G7 P6 N return unserialize(file_get_contents($file)); } 6 g+ O: C6 M6 n# ~% v$ ] else { return false; } } o! q0 N! s$ m w3 }4 y$ e/ R  / W) ~3 [5 B' M) @' t4 B: Ffunction v_cache_encode_key($key) { $address = $_SERVER['SERVER_ADDR']; //$key = str_ireplace(':', '-', $key); $key = "$key:$address"; 1 ~2 R' a4 v! q9 m) F! t) g return $key; }   : e* B2 E4 l" C7 w# cfunction v_cache_set($key, $value, $table = 'cache', $expire = CACHE_PERMANENT) { $key_mem = v_cache_encode_key($key); if (function_exists('apc_cache_info')) { apc_store($key, $value, 60*60);//1 hour # f. o# d4 q* ~) w cache_set($key_mem, time(), $table, $expire); } else if (V_CACHE_FILE) { v_cache_file_set($key, $value);//1 hour % T$ l3 F: g8 F. g cache_set($key_mem, time(), $table, $expire); ) |9 H! y: {( U; Q2 M } else { cache_set($key, $value, $table, $expire); } & I! `' P' K' I' `6 p0 I( T' i}   ; V0 g4 J, l* \1 P* qfunction v_cache_get($key, $table = 'cache') { / D3 L) |% {4 L# y if (function_exists('apc_cache_info') || VIA_CACHE_FILE) { static $static; 2 x) h; V8 C! ?8 {! G+ @2 D: |! C $ret = false; 6 j6 i6 I3 x0 M9 k/ L) q+ W if (isset($static[$key])) { $ret = $static[$key]; } 2 ?7 m$ c5 O, E. Y else { ( J) Y! r7 t2 d& s& e1 ?, y9 d $key_mem = via_cache_encode_key($key); & d. I# w( [/ i6 N& Q1 B if(cache_get($key_mem, $table)) { 6 N2 A5 z' m% d4 k' m: V5 D' N: z3 D $cache_callback = function_exists('apc_cache_info') ? 'apc_fetch' : 'v_cache_file_get'; : f. ? m; d1 `' A $value = $cache_callback($key); ( N0 G0 f; c" @: y1 K- [7 h if($value) { ! o) D' p6 Y3 |/ [5 W( m. _ $cache = new stdClass; $cache->data = $value; $static[$key] = $cache; " D5 Z# @, `2 T$ \4 R1 r/ S2 i/ x $ret = $cache; 5 ^/ H+ w/ j9 w1 G } } $ b ~, l" k0 N( z4 L& I5 L3 Y, f } return $ret; % G. @! c6 G5 J1 ], C0 L3 I) g2 ] } else { return cache_get($key, $table); 5 O' R% g- h5 I" D } }   8 Z& J r9 s9 M) N( }& r& O# x+ k8 Efunction v_cache_clear_all($cid = NULL, $table = NULL, $wildcard = FALSE) { ; Y3 n! V& O# {9 t0 A if ($cid) { : x Z- X b0 p6 z! e8 T" h cache_clear_all($cid, 'cache', TRUE); //apc_clear_cache('user'); 6 `7 k! [+ Z! a, U- k' b0 F } }

添加了上面到代码之后，我们需要修改一些drupal核心code，去调用我们自己定义的cache方法，重点关注下面几个cache：

• common.inc 里面的shema，函数： drupal_get_schema里面调用的cache方法。
• theme.inc 里面的theme-registry，函数：_theme_save_registry。
• locale.module里面的locale函数，修改里面的cache方法。
• content.module里面的content-type-info, 函数：_content_type_info。

因为以上信息缓存一次，修改机会比较小，所以缓存到本机是比较理想的做法。
还有一个需要注意的，上面的缓存虽然存到的本机，但是cache的key还是存到了drupal正常的cache里面，所以当清除drupal的cache之后，这些key消失，通过这样的方法，可以实现对cache清除的操作控制。

当然，除了修改缓存的操作，还需要一个清除缓存的操作，我们可以通过实现相关hook来操作。
这个修改是需要修改drupal核心代码的，所以请谨慎使用。

---

声明： 本站所有文章欢迎转载，所有文章未说明，均属于原创，转载均请注明出处。 
本文有效链接： http://www.drupal001.com/2011/10/drupal-custom-cache-tips/ 
版权所有： Drupal与高性能网站架构 http://www.drupal001.com