1. 怎麼樣使用Redis來存儲和查詢ip數據
今天朋友打了個電話，他們網站的業務要根據客戶的ip地址快速定位客戶的地理位置。網上已經有一大堆類似的ip地址庫可以用，但問題是這些地址庫的數據表結構大多如下所示
+--------------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+--------------+------------------+------+-----+---------+----------------+
| ip_id | int(11) unsigned | NO | PRI | NULL | auto_increment |
| ip_country | varchar(50) | NO | | NULL | |
| ip_startip | bigint(11) | NO | MUL | NULL | |
| ip_endip | bigint(11) | NO | MUL | NULL | |
| country_code | varchar(2) | NO | | NULL | |
| zone_id | int(11) | NO | | 0 | |
+--------------+------------------+------+-----+---------+----------------+
最核心的部分是三個： ip_startip ， ip_endip 以及 ip_id 。其中 ip_id 是要查詢的結果，當然也可以把 zone_id 和 ip_country 包括進去。這里就用 ip_id 來特指查詢結果了。
面對這個表，沒什麼其它辦法，查詢語句只能是
SELECT * FROM who_ip WHERE ip_startip <= {ip} AND ip_endip >= {ip}
其中 {ip} 是要查詢的ip地址，為了方便查詢，在php中一般要用 ip2long函數把它轉換為一個整數。現在問題來了，這個表有400萬條數據，無論你怎麼優化它的索引結構（實際上我覺得這沒啥用），在以上查詢語句中都要耗費2秒以上的時間，對於一個高頻使用的介面，這顯然是不可忍受的。
REDIS能不能解決這個問題。實際上這也是朋友最關心的問題，因為知道Redis有強大數據結構和超快的速度，那麼能不能設計出適應這種查詢場景的結構。
范圍查詢，首先想到的就是Redis裡面的 Sorted Sets 結構，這也是redis中唯一可以指定范圍( SCORE 值)查詢的結構了，所以基本上希望都寄託在它身上了。
最簡單粗暴的方法就是把 ip_startip 和 ip_endip 都轉化為 Sorted Sets 里的 Score ，然後把 ip_id 定義為 Member 。這樣我們的查詢就很簡單了，只需要用 ZRANGESCORE 查詢出離ip最近SCORE對應的兩個 ip_id 即可。然後再分析，如果這兩個 ip_id 是相同的，那麼說明這個ip在這個地址段，如果不同的話證明這個ip地址沒有被任何地址段所定義，是一個未知的ip。
基本邏輯是沒有問題的，但是最大的問題還是性能上的挑戰。根據我的經驗，一個SET 裡面放10萬條數據以上就已經很慢了，如果放到400萬這種量級，我非常懷疑它跟mysql相比還有優勢嗎？
我設計的存儲結構
我的解決方案是把這個地址庫切分，每一片區最多保存65536個地址。也就是說如果一個ip地址段為 188.88.77.22 - 188.90.78.10 ，那麼我們就把它切分為
188.88.77.22 - 188.88.77.255
188.89.0.0 - 188.89.255.255
188.90.0.0 - 189.90.78.10
也就是我們保證每一個ip地址段都被保存在 xxx.xxx.0.0 - xxx.xxx.255.255的一個區段中，這個區段的理論極限是保存65536個值，實際上要遠小於這個數字。而這樣的區段理論上也有65536個，這都是ip地址的設計所限，當然實際上也遠小於這個值。
因此這樣的設計基本上就能滿足我們的性能需要了。以下是我用php寫的數據切分程序
<?php
// redis 參數
define('REDIS_HOST', '127.0.0.1');
define('REDIS_PORT', 6379);
define('REDIS_DB', 10);
define('MYSQL_HOST', 'localhost');
define('MYSQL_PORT', 3306);
define('MYSQL_USER', 'root');
define('MYSQL_PASS', '123456');
define('MYSQL_DB', 'who_brand');
define('MYSQL_TABLE', 'who_ip');
define('MYSQL_COLUMN_START', 'ip_startip');
define('MYSQL_COLUMN_END', 'ip_endip');
define('MYSQL_COLUMN_ID', 'ip_id');
define('MYSQL_PAGESIZE', 1000);
mysql_connect(MYSQL_HOST . ':' . MYSQL_PORT, MYSQL_USER, MYSQL_PASS);
mysql_select_db(MYSQL_DB);
function add_ip($page, $offset, $value) {
static $redis;
if (!$redis) {
$redis = new Redis();
$redis->connect(REDIS_HOST, REDIS_PORT);
$redis->select(REDIS_DB);
}
$key = 'ip:' . $page;
$redis->zAdd($key, $offset, $value);
}
$page = 0;
do {
$offset = $page * MYSQL_PAGESIZE;
$count = 0;
$res = mysql_query('SELECT * FROM ' . MYSQL_TABLE . ' LIMIT ' . MYSQL_PAGESIZE . " OFFSET {$offset}");
while ($ip = mysql_fetch_assoc($res)) {
$start = $ip[MYSQL_COLUMN_START];
$end = $ip[MYSQL_COLUMN_END];
$value = $ip[MYSQL_COLUMN_ID];
$startOffset = $start % 65536;
$endOffset = $end % 65536;
$start -= $startOffset;
$end -= $endOffset;
$startPage = $start / 65536;
$endPage = $end / 65536;
for ($i = $startPage; $i <= $endPage; $i ++) {
if ($i == $startPage) {
add_ip($i, $startOffset, 's:' . $value);
if ($i != $endPage) {
add_ip($i, 65535, 'e:' . $value);
}
}
if ($i == $endPage) {
add_ip($i, $endOffset, 'e:' . $value);
if ($i != $startPage) {
add_ip($i, 0, 's:' . $value);
}
}
if ($i != $endPage && $i != $startPage) {
add_ip($i, 0, 's:' . $value);
add_ip($i, 65535, 'e:' . $value);
}
}
echo ($page * MYSQL_PAGESIZE + $count) . "\n";
$count ++;
}
$page ++;
} while ($count = MYSQL_PAGESIZE);
<?php
define('REDIS_HOST', '127.0.0.1');
define('REDIS_PORT', 6379);
define('REDIS_DB', 10);
$redis = new Redis();
$redis->connect(REDIS_HOST, REDIS_PORT);
$redis->select(REDIS_DB);
$ip = ip2long('173.255.218.70');
$offset = $ip % 65536;
$page = ($ip - $offset) / 65536;
// 取出小於等於它的最接近值
$start = $redis->zRevRangeByScore('ip:' . $page, 0, $offset, array(
'limit' => array(0, 1)
));
// 取出大於等於它的最接近值
$end = $redis->zRangeByScore('ip:' . $page, $offset, 65535, array(
'limit' => array(0, 1)
));
if (empty($start) || empty($end)) {
echo 'unknown';
exit;
}
$start = $start[0];
$end = $end[0];
list ($startOp, $startId) = explode(':', $start);
list ($endOp, $endId) = explode(':', $end);
if ($startId != $endId) {
echo 'unknown';
exit;
}
echo $startId;
2. 怎麼樣使用 Redis 來存儲和查詢 ip 數據
最簡單粗暴的方法就是把ip_startip和ip_endip都轉化為Sorted Sets里的Score，然後把ip_id定義為Member。
這樣我們的查詢就很簡單了，只需要用ZRANGESCORE查詢出離ip最近SCORE對應的兩個ip_id即可。
然後再分析，如果這兩個ip_id是相同的，那麼說明這個ip在這個地址段，如果不同的話證明這個ip地址沒有被任何地址段所定義，是一個未知的ip！
3. redis 怎麼存數組和獲取數組
有兩種方法：
1.把要存的數組序列化 或者 json_encode後 變成字元串再存。取的時候 反序列號或者json_decode處理成數組。
2.可以使用hash結構,以key作為1維,以hash中的field作為第二維。
4. Redis資料庫適合使用於哪些應用場景
redis開創了一種新的數據存儲思路，使用redis，我們不用在面對功能單調的資料庫時，而是利用redis靈活多變的數據結構和數據操作。
5. Redis 都有哪些應用場景
緩存：這應該是 Redis 最主要的功能了，也是大型網站必備機制，合理地使用緩存不僅可以加 快數據的訪問速度，而且能夠有效地降低後端數據源的壓力。
共享Session：對於一些依賴 session 功能的服務來說，如果需要從單機變成集群的話，可以選擇 redis 來統一管理 session。
消息隊列系統：消息隊列系統可以說是一個大型網站的必備基礎組件，因為其具有業務 解耦、非實時業務削峰等特性。Redis提供了發布訂閱功能和阻塞隊列的功 能，雖然和專業的消息隊列比還不夠足夠強大，但是對於一般的消息隊列功 能基本可以滿足。比如在分布式爬蟲系統中，使用 redis 來統一管理 url隊列。
分布式鎖：在分布式服務中。可以利用Redis的setnx功能來編寫分布式的鎖，雖然這個可能不是太常用。 當然還有諸如排行榜、點贊功能都可以使用 Redis 來實現，但是 Redis 也不是什麼都可以做，比如數據量特別大時，不適合 Redis，我們知道 Redis 是基於內存的，雖然內存很便宜，但是如果你每天的數據量特別大，比如幾億條的用戶行為日誌數據，用 Redis 來存儲的話，成本相當的高。
6. 如何使用redis存儲海量小數據
redis自帶的 redis-cli 的 --pipe 參數可以實現快速載入數據，但是需要我們把數據轉成redis協議。 --pipe-timeout 參數設置為0，防止redis響應太晚redis-cli過早退出。
但是pl的性能稍弱，還沒到redis的吞吐量瓶頸，自己CPU先100%了，為此，使用20個進程，每個進程500萬數據，這樣redis的CPU使用率到了100%，數據載入可以在5分鍾內完成
7. redis適合什麼場景
1、緩存。 緩存現在幾乎是所有中大型網站都在用的必殺技，合理的利用緩存不僅能夠提升網站訪問速度，還能大大降低資料庫的壓力。Redis提供了鍵過期功能，也提供了靈活的鍵淘汰策略，所以，現在Redis用在緩存的場合非常多。（推薦：《 Redis視頻教程 》）
2、排行榜。 很多網站都有排行榜應用的，如京東的月度銷量榜單、商品按時間的上新排行榜等。Redis提供的有序集合數據類構能實現各種復雜的排行榜應用。
3、計數器。 什麼是計數器，如電商網站商品的瀏覽量、視頻網站視頻的播放數等。為了保證數據實時效，每次瀏覽都得給+1，並發量高時如果每次都請求資料庫操作無疑是種挑戰和壓力。Redis提供的incr命令來實現計數器功能，內存操作，性能非常好，非常適用於這些計數場景。
4、分布式會話。 集群模式下，在應用不多的情況下一般使用容器自帶的session復制功能就能滿足，當應用增多相對復雜的系統中，一般都會搭建以Redis等內存資料庫為中心的session服務，session不再由容器管理，而是由session服務及內存資料庫管理。
5、分布式鎖。 在很多互聯網公司中都使用了分布式技術，分布式技術帶來的技術挑戰是對同一個資源的並發訪問，如全局ID、減庫存、秒殺等場景，並發量不大的場景可以使用資料庫的悲觀鎖、樂觀鎖來實現，但在並發量高的場合中，利用資料庫鎖來控制資源的並發訪問是不太理想的，大大影響了資料庫的性能。可以利用Redis的setnx功能來編寫分布式的鎖，如果設置返回1說明獲取鎖成功，否則獲取鎖失敗，實際應用中要考慮的細節要更多。
8. Redis是什麼，用來做什麼
Redis是一個nosql資料庫，可以存儲key-value值。因為其底層實現中，數據讀寫是基於內存，速度非常快，所以常用於緩存；進而因其為獨立部署的中間件，常用於分布式緩存的實現方案。
常用場景有：緩存、秒殺控制、分布式鎖。
雖然其是基於內存讀寫，但底層也有持久化機制；同時具備集群模式；不用擔心其可用性。
關於Redis的使用，可以參考《Redis的使用方法、常見應用場景》
9. Redis存儲格式
redis目前提供四種數據類型：string,list,set及zset(sorted set)。
redis使用了兩種文件格式：全量數據和增量請求。全量數據格式是把內存中的數據寫入磁碟，便於下次讀取文件進行載入；增量請求文件則是把內存中的數據序列化為操作請求，用於讀取文件進行replay得到數據，序列化的操作包括SET、RPUSH、SADD、ZADD。redis的存儲分為內存存儲、磁碟存儲和log文件三部分，配置文件中有三個參數對其進行配置。save seconds updates，save配置，指出在多長時間內，有多少次更新操作，就將數據同步到數據文件。這個可以多個條件配合，比如默認配置文件中的設置，就設置了三個條件。appendonly yes/no ，appendonly配置，指出是否在每次更新操作後進行日誌記錄，如果不開啟，可能會在斷電時導致一段時間內的數據丟失。因為redis本身同步數據文件是按上面的save條件來同步的，所以有的數據會在一段時間內只存在於內存中。appendfsync no/always/everysec ，appendfsync配置，no表示等操作系統進行數據緩存同步到磁碟，always表示每次更新操作後手動調用fsync()將數據寫到磁碟，everysec表示每秒同步一次。
10. redis怎麼存儲list對象
方案一：直接使用List結構，List裡面存儲二進制的任務Bean信息，這樣做查詢全部任務很方便，查詢單條任務速度較慢，並且刪除和修改狀態很麻煩；方案二：直接使用Hash結構，Hash的key存儲任務ID，value存儲二進制的Bean信息，這樣做查詢所有任務、查詢單條任務以及刪除任務都很快，但是修改狀態也必須先取出數據再修改再插入！