memcached是一個(gè)高性能的分布式的內(nèi)存對(duì)象緩存系統(tǒng)，通過在內(nèi)存里維護(hù)一個(gè)統(tǒng)一的巨大的hash表，它能夠用來存儲(chǔ)各種格式的數(shù)據(jù)，包括圖像、視頻、文件以及數(shù)據(jù)庫檢索的結(jié)果等。最初為了加速 LiveJournal 訪問速度而開發(fā)的,后來被很多大型的網(wǎng)站采用。起初作者編寫它可能是為了提高動(dòng)態(tài)網(wǎng)頁應(yīng)用，為了減輕數(shù)據(jù)庫檢索的壓力，來做的這個(gè)緩存系統(tǒng)。它的緩存是一種分布式的，也就是可以允許不同主機(jī)上的多個(gè)用戶同時(shí)訪問這個(gè)緩存系統(tǒng)， 這種方法不僅解決了共享內(nèi)存只能是單機(jī)的弊端， 同時(shí)也解決了數(shù)據(jù)庫檢索的壓力，最大的優(yōu)點(diǎn)是提高了訪問獲取數(shù)據(jù)的速度！基于memcached作者對(duì)分布式cache的理解和解決方案。memcached完全可以用到其他地方 比如分布式數(shù)據(jù)庫， 分布式計(jì)算等領(lǐng)域。

?
1、 memcached 協(xié)議理解
memcache是為了加快http://www.livejournal.com/訪問速度而誕生的一個(gè)項(xiàng)目。
它的官方主頁是：http://www.danga.com/memcached/
工作機(jī)制：

通過在內(nèi)存中開辟一塊區(qū)域來維持一個(gè)大的hash表來加快頁面訪問速度，和數(shù)據(jù)庫是獨(dú)立的。但是目前主要用來緩存數(shù)據(jù)庫的數(shù)據(jù)。允許多個(gè)server通過網(wǎng)絡(luò)形成一個(gè)大的hash，用戶不必關(guān)心數(shù)據(jù)存放在哪，只調(diào)用相關(guān)接口就可。存放在內(nèi)存的數(shù)據(jù)通過LRU算法進(jìn)行淘汰出內(nèi)存。同時(shí)可以通過刪除和設(shè)置失效時(shí)間來淘汰存放在內(nèi)存的數(shù)據(jù)。

2、 memcached 使用入門

2.1 memcached的安裝

<1>memcached服務(wù)的安裝
先檢查linux內(nèi)核版本，建議將memcached 安裝在2.6以上。
因?yàn)閙emcached 需要用到libevent和 epoll 。
memcached安裝前首先確定你的服務(wù)器上面安裝了libevent庫，
libevent下載地址（ http://www.monkey.org/~provos/libevent/）。
下載memcached的源碼（ http://www.danga.com/memcached/download.bml）。
Memcached最初是用perl寫的，現(xiàn)在的版本是用c寫的。
下載后拷貝到一個(gè)目錄，安裝需要root用戶來執(zhí)行
tar -zxvf memcached-1.1.12.tar.gz
cd memcached-1.1.12
./configure
這里必須先要configure, 它會(huì)檢測你的系統(tǒng)情況，然后生成一個(gè)config.h文件和其它的幾個(gè)文件，另外和其它的configure一樣，你可以配置它的安裝路徑等等。默認(rèn)應(yīng)用程序安裝在/usr/local/bin目錄下。
make //編譯
make install //安裝

<2>memcached客戶端的安裝
根據(jù)memcached協(xié)議，用戶可以自己寫出符合自己要求的客戶端程序。目前http://www.danga.com/memcached/download.bml
提供perl,c,java,python,php等客戶端程序供下載和參考。下面我就以perl客戶端程序?yàn)槔f明客戶端的安裝：
下載后拷貝到一個(gè)目錄，安裝需要root用戶來執(zhí)行
tar -zxvf Cache-Memcached-1.14.tar.gz
cd Cache-Memcached-1.14
perl makefile.pl
make
make install
make test
這樣就安裝好了memcahced， 啟動(dòng)memcached就可使用分布式緩存系統(tǒng)了！

2.2 快速入門
<1> memcached服務(wù)的啟動(dòng)
memcached的啟動(dòng)非常簡單，它沒有配置文件，只要配置好幾個(gè)參數(shù)就可以使用了。下面我以一個(gè)實(shí)際應(yīng)用的例子，具體說明一下：
memcached –d –m 500 -l 64.128.191.151 -p 11211 -vv >>/var/www/kelly/test/logs/memcached_$$.log
啟動(dòng)的這個(gè)memcached為一個(gè)后臺(tái)守護(hù)進(jìn)程模式（-d), 然后緩存的空間為500M（-m), 監(jiān)聽(-l)服務(wù)器64.128.191.15的11211號(hào)端口(-p).,將日志寫道/var/www/kelly/test/logs/memcached_$$.log(-vv)。
其實(shí)memcached的參數(shù)也非常的有限,就下面這幾個(gè)：
? -p port number to listen on
? -l interface to listen on, default is INDRR_ANY
? -d run as a daemon
? -r maximize core file limit
? -u assume identity of (only when run as root)
? -m max memory to use for items in megabytes, default is 64 MB
? -M return error on memory exhausted (rather than removing items)
? -c max simultaneous connections, default is 1024
? -k lock down all paged memory
? -v verbose (print errors/warnings while in event loop)
? -vv very verbose (also print client commands/reponses)
? -h print this help and exit
? -i print memcached and libevent license
我們也可以將這個(gè)啟動(dòng)腳本寫道/etc/rc.d或者/erc/rc.local，這樣可以在服務(wù)器啟動(dòng)時(shí)候執(zhí)行。

<2> memcached客戶端的連接
下面我就以perl客戶端程序?yàn)槔f明客戶端的連接:
啟動(dòng)兩個(gè)memcached server
memcached –d –m 500 -l 64.128.191.151 -p 11211 -vv >>/var/www/kelly/test/logs/memcached_$$.log
memcached –d –m 500 -l 64.128.191.151 -p 11212 -vv >>/var/www/kelly/test/logs/memcached_$$.log
perl客戶端程序
#!/usr/bin/perl
use Cache::Memcached;
my $memd = new Cache::Memcached {
'servers' => [ "64.128.191.15:11211" , "64.128.191.15:11212"],
};
my $val = $memd->get( "my_key" );
if ( $val )
{
print "Value is '$val'/n";
}
# Set a value
$memd->set("my_key", "123");
$memd->disconnect_all();
?運(yùn)行測試
$ perl test-memcache.pl
$ perl test-memcache.pl
Value is '123'
可以看到，第一次沒有取得my_key，第二次從memcached中得到my_key的值。
同時(shí)通過查看日志，可以發(fā)現(xiàn)的確存儲(chǔ)在兩個(gè)memcache server中。
這個(gè)簡單的例子，解釋了如何在memcached中存取數(shù)據(jù)，以及memcache是真正的分布式緩存系統(tǒng)。
當(dāng)然，這還只是很簡單的例子，體現(xiàn)不出memcache的優(yōu)勢，下面將通過一個(gè)很具體的例子，給出詳細(xì)的應(yīng)用。

3、 memcached在Zorpia的應(yīng)用
http://www.zorpia.com 是一個(gè)網(wǎng)頁相冊，博客，交友，論壇的大型網(wǎng)站公司。現(xiàn)在已有超過140萬活躍使用者遍布美國，香港，東南亞，歐洲，澳洲，亞洲等其它地區(qū)。每天的訪問量都在增長，已成為全世界排名第五的社會(huì)生活關(guān)系網(wǎng)。
Memcached也采用了memcached來提高網(wǎng)站的訪問速度，并且取得了很好的效果，我在負(fù)責(zé)zorpia的memcached項(xiàng)目時(shí)候積累了一些經(jīng)驗(yàn)，主要的做法如下：
1） 通過對(duì)memcache的perl客戶端進(jìn)行包裝，定制自己的客戶端。
2） 通過制定符合zorpia規(guī)范的hash key命名規(guī)范
? ? memcache中需要存儲(chǔ)的內(nèi)容的key均由string組成。
這個(gè)string統(tǒng)一由一個(gè)memcache.pm的subroutine來實(shí)現(xiàn)。(假設(shè)這個(gè)subroutine是 get_key() )
? ? memcache中存放兩種形式的數(shù)據(jù)
(1) result of SQL query :
(2) 普通變量(variable)
這兩種數(shù)據(jù)的key的組合方式是不相同的，由get_key進(jìn)行判斷和完成
? ? 關(guān)于get_key 和 naming rule
get_key subroutine完成所有memcache key的命名，naming rule也是在它里邊體現(xiàn)：
(1)輸入?yún)?shù) －－ hash結(jié)構(gòu)，里邊定義了當(dāng)前需要存放的數(shù)據(jù)的信息
結(jié)構(gòu)
(2)返回值 －－ string，返回?cái)?shù)據(jù)的key_name
?必須確定 get_key 的傳入hash的結(jié)構(gòu)，
hash中主要有兩個(gè)元素
type --- 定義當(dāng)前數(shù)據(jù)結(jié)構(gòu)的類型 ，有 'var' , 'sql'兩種值
object --- 存放當(dāng)前數(shù)據(jù)結(jié)構(gòu)的詳細(xì)信息，
當(dāng) type eq 'var'時(shí)，object表示變量的名字，該名字由程序員指定
當(dāng) type eq 'sql'時(shí)，object包含所存放sql的主要基本信息，hash結(jié)構(gòu)，也由程序員按照規(guī)則制定
## 當(dāng)variable 數(shù)據(jù)類型，比較簡單
$var_hash = {
type => 'var', ## var表示當(dāng)前類型是 variable
object => 'language', ## language代表variable的名字
};
生成的key是Zorpia::var| language
## sql 數(shù)據(jù)
比如select first_name from user where user_id =2那么hash為
$sql_hash = {
type => 'sql',
object => {
table => {table2=>"user",}, ## sql 查詢的表
column => {column1=>"first_name",}, ## sql所要查詢的column
condition => { user_id =>"2",}, ## sql條件
},
};
生成的key是Zorpia::sql|user|first_name| user_id =2
get_key subroutine必須對(duì)傳入hash進(jìn)行判斷，對(duì)不同類型的數(shù)據(jù)按照不同的方式組合，形成key，返回給使用者。這個(gè)key，必須保證其唯一性：
比如：所有字母小寫，一些數(shù)組在組合成key之前必須首先排序
? ? get_key函數(shù)
sub get_key{
my $hash = shift;
return undef unless $hash && ref $hash eq "HASH";
my $type = $hash->{type};
my $key_name;
if ($type eq 'sql') {
my ($table_key,$column_key,$condition_key);
$table_key=_get_key($hash->{object}->{table});
$column_key=_get_key($hash->{object}->{column});
$condition_key=_get_key($hash->{object}->{condition});
$key_name = join('|',$type,$table_key,$column_key,$condition_key);
#Currently the length limit of a key is set at 250 characters
if (length($key_name)>250)
{
$key_name=substr(0,250,$key_name);
}
}
elsif($type eq 'var')
{
$key_name = join('|',$type,$hash->{object});
}
return $key_name;
}
sub _get_key
{
my $hash=shift;
return undef unless $hash && ref $hash eq "HASH";
my ($t,$ret,$i);
foreach $i (sort keys %$hash)
{
$i=~s/^/s+|/s+$//g;
$hash->{$i}=~s/^/s+|/s+$//g;
push(@$t,lc("$i=$hash->{$i}"));
}
$ret=join(':',sort { $a cmp $b } @$t);
return $ret;
}
3） 制定需要應(yīng)用memcached的規(guī)則
?經(jīng)常訪問的表user,user_details
?合理設(shè)定變量在memcached的生存周期
?將活躍用戶的信息預(yù)先導(dǎo)入到memcached
?分別在多臺(tái)機(jī)器上啟動(dòng)多個(gè)memcached服務(wù)
?編寫腳本監(jiān)控memcached服務(wù)是否活動(dòng)
4） User表的具體應(yīng)用舉例
? 在 select時(shí)候
先查詢memcahce里有沒有，有的話，返回；否則從數(shù)據(jù)庫select,在memcache里設(shè)置，返回。
my $sql_hash = {
type => 'sql',
object => {
table => {table1=>"user",},
column => {column1=>"user_id",},
condition => {email=>$user_id,},
},
};
my $key=Zorpia::MemCache::get_key($sql_hash);
my $user_id_by_email=Zorpia::MemCache::get($key);
if(!$user_id_by_email)
{
my $sth;
my $query ="select user_id from user where email=?";
$sth = $dbh->prepare($query);
$sth->execute($user_id);
my $user1 = $sth->fetchrow_hashref();
$user_id_by_email=$user1->{'user_id'};
Zorpia::MemCache::set($key,$user_id_by_email,1800);
}
?在 update,insert,delete時(shí)候
先在數(shù)據(jù)庫update,insert,delete,在memcache里設(shè)置，返回。
&Zorpia::DB::data_entry_no_return($dbh,"user","COUNT(*)","$account_information_insert_statement user_id=$current_user_id", "user_id=$current_user_id");
#add by kelly
my $sql_hash = {
type => 'sql',
object => {
table => {table1=>"user",},
column => {column1=>"user_id",},
condition => {user_id=>$current_user_id,},
},
};
my $key=Zorpia::MemCache::get_key($sql_hash);
my $query = "SELECT *, user_id AS id FROM user WHERE user_id=?";
my $sth_memc = $dbh->prepare($query);
$sth_memc->execute($current_user_id);
my $user_memc = $sth_memc->fetchrow_hashref();
&Zorpia::MemCache::set($key,$user_memc,21600);

4、 memcached的應(yīng)用展望
使用了memcached以后， 我發(fā)現(xiàn)以前做過的很多的項(xiàng)目都可以應(yīng)用它提高效率，包括最近做的“大單追蹤”， “數(shù)碼搜索”等等。當(dāng)然既然memcahced是分布式的緩存系統(tǒng)，那么它就是建立了一個(gè)分布式的平臺(tái)， 我們可以用它來進(jìn)行分布式的記數(shù)， 因?yàn)閷?duì)于一個(gè)鍵值key我們可以設(shè)置它的數(shù)值以及有效期在參數(shù)中，另外還可以重新設(shè)置這個(gè)鍵值的數(shù)值。 所以我總結(jié)了一下目前可以應(yīng)用到的地方：
<1>.數(shù)據(jù)庫檢索結(jié)果的緩存，也就是說可以有機(jī)的和數(shù)據(jù)庫結(jié)合起來應(yīng)用，提高效率。
這也是目前memcached用到的最多的地方，比如用于大型網(wǎng)站等。
可以這樣來實(shí)現(xiàn)：
打開memcached服務(wù)器連接
編寫sql語句， 同時(shí)算出它的一個(gè)hash key值
獲取這個(gè)hash值的memcached保存數(shù)據(jù)(get)
如果獲取的這個(gè)hash值的數(shù)據(jù)存在。返回
否則連接數(shù)據(jù)庫查找
把這個(gè)查找結(jié)果保存在memcached中(set)，可以設(shè)置有效期
返回查找結(jié)果
<2>.分布式計(jì)算
<3>.分布式共享數(shù)據(jù)
總之，memcached的機(jī)制比較靈活，可以適用于一切需要分布式緩存數(shù)據(jù)的地方，隨著memcached逐漸為人所知，必將在更多的分布式應(yīng)用領(lǐng)域大放異彩。

總結(jié)

以上是生活随笔為你收集整理的Memcached在大型网站中应用的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。