Tag Archives: redis

12月 09

raspberry pi安装 java mysql tomcat

Posted on by

　　raspberry pi安装 java mysql tomcat。开始用oracle通的arm进行安装但是遇到了问题没有成功。后来还是采用apt-get安装，还是非常简单
$ sudo apt-get install openjdk-7-jdk mysql

版本如下：
Server version: 5.5.28-1 (Debian)
java version “1.7.0_07”

　　tomcat也能直接安装，但是出于需要，还是直接到apache上下载。解压，默认配置启动。能看到可爱的小猫了。

rp tomcat

raspberry pi 安装tomcat

　　查看配置源
$ vim /etc/apt/sources.list

　　通过到源上查看haproxy、nginx、apache2、squid、tomcat7、cacti、nagios、snmp、redis、rsync、samba、python、php、lua、node.js等应有尽有，直接用工具安装非常方便。以后不再用考虑环境准备工作了。下一步开始准备做点实用的东西。

　　对于要用桌面系统要还需要安装字体等
中文字体
$ sudo apt-get install ttf-wqy-microhei
输入法
$ sudo apt-get install scim scim-pinyin
音频驱动：
$ sudo apt-get install alsa-utils

8月 16

go 操作redis ，对比python 操作redis

Posted on by

　　之前做过python入库到redis的测试 http://www.simonzhang.net/?p=430
　　今天才发现由于页面生成问题，有部分代码被转译了。借这个机会在同一台机器上再测试一下这两种语言。

　　测试服务器为一个Xeon(TM)双核3.20GHz 的cpu，内存4G。操作系统为Centos5.4 64位。go1.0.2,python2.6

　　go环境和redis之前已经有记录，go语言的redis开发包安装也比较简单，但是官方文档中目录有写错。
　　我的go放在/usr/local/go,我的安装记录如下：
cd /usr/local/go/src/pkg
git clone git://github.com/alphazero/Go-Redis.git redis
cd redis
go install

仍旧用大密码表实验，go语言代码如下：

//www.simonzhang.net
package main 

import (
	"os";
	"log";
	"fmt";
	"redis";
        "encoding/hex"
        "crypto/md5"
)

func main () {
	spec := redis.DefaultSpec().Db(1).Password("");
        //如要操作远程redis服务器连接如下
	//spec := redis.DefaultSpec().Host("192.168.1.200").Db(1).Password("123");
	client, e := redis.NewSynchClientWithSpec (spec);
	if e != nil { log.Println ("failed to create the client", e); return }
        var str string
        userFile := "big_pass.txt"
        fin,err := os.Open(userFile)
        defer fin.Close()
        if err != nil {
                fmt.Println(userFile,err)
                return
        }
        buf := make([]byte, 1)
        for{
                n,_:= fin.Read(buf)
                if 0==n {break}
                if string(buf)=="\n"{
	            h:= md5.New()
   	            h.Write([]byte(str))
                    key:=hex.EncodeToString(h.Sum(nil));
                    value:=[]byte(str)
                    client.Set(key, value);
                    str=""
                 }else{
                    str+=string(buf)
                 }
                  
        }
}

开始测试

go使用build编译运行，cpu使用率在55%左右，load average: 1.98, 1.22, 0.91
real 1m33.310s
user 0m42.586s
sys 0m34.567s

python cpu使用在在80%，load average: 2.19, 1.36, 0.86。
real 1m26.873s
user 0m56.316s
sys 0m19.595s

　　总结python写redis的东西比较简单。go对字符串做了MD5，入redis时用MD5值做key。
a）都运行完毕python和go录入redis行数与文本行数相同。
b）从大小来看python不到1K，go编译完成2.3M。如果要一处编译，移到其他服务器运行，go编译完的可以直接运行，python还要再装环境。但是有easy_install，所以装环境对我来说比较简单。
c) cpu使用量来看go要比python好一些，在增加md5计算的情况下所用系统资源也比pyhton少，但是应该快不了一倍。
d) 从代码编写的逻辑和难易程度来看，还是python简单一点。
如果要考虑速度可以试试Cpython，我没有试过。

5月 27

从mysql向redis中加载数据测试

Posted on by

　　有测试显示reids如果使用持久化测试后效率会下降，所以不使用持久化。现在来测试一下从mysql中捞取数据加载到redis中的速度。
　　服务器使用8核2.6 cpu，内存8G，sas硬盘，Centos5.6 64位操作系统。python 2.6 redis2.4.13.
　　使用测试代码如下，从mysql的photo表中捞取两列数据加载到redis中，这两列在表中都有索引，数据量28万。

#!/bin/env python
# -------------------------------------------------
# Filename:    
# Revision:    
# Date:        2012-05-27
# Author:      simonzhang
# Email:       simon-zzm@163.com
# -------------------------------------------------
import MySQLdb
import redis


def redis_run(sql_data):
    try:
        r = redis.Redis(host='192.168.1.100', password = '123456', port=6379, db=0)
    except redis.RedisError, e:
        print "Error %s" % e
    for i in sql_data:
        r.set(str(i[0]),i[1])
        

def mysql_run(sql):
    try:
        db = MySQLdb.connect(host='192.168.1.100', user='test', passwd ='123456', db='photo')
        cursor = db.cursor()   
    except MySQLdb.Error, e:
        print "Error %d:%s" % (e.args[0],e.args[1])
        exit(1)
    try:
        result_set = ''
        cursor.execute('%s' % sql)
        result_set=cursor.fetchall()
        cursor.close()
        db.close()
        return  result_set
    except MySQLdb.Error, e:
        print "Error %d:%s" % (e.args[0], e.args[1])
        cursor.close()
        db.close()

def main():
    _loop = 0
    _limit_start = 0
    _limit_span = 10000
    _count_result = 5
    while _count_result > 0:
        result_data = ''
        sql = "select id as pid, userid as uid from photo LIMIT %s,%s" % (_limit_start + _limit_span * _loop, _limit_span)
        result_data = mysql_run(sql)
        _count_result = len(result_data)
        redis_run(result_data)
        _loop += 1


if __name__ == '__main__':
    main()

进行测试，分别为每次捞取50万，10万，5万，1万，结果如下：

50万
real 0m26.239s
user 0m16.816s
sys 0m5.745s

10万
real 0m24.019s
user 0m15.670s
sys 0m4.932s

5万
real 0m26.061s
user 0m15.789s
sys 0m4.674s

1万
real 0m28.705s
user 0m15.778s
sys 0m4.913s

结论：每次捞取10万效率会比较理想，对于操作系统的压力不大，所以硬件方面不用考虑。
这里两列保存的都是id，加入用户id和照片id长度都是9位，一组数据是18位。一亿组数据也就需要2G内存。
通过计算28万需要24秒，如果有1亿的数据，全部倒入要2个半小时。所以内存存储不是问题。不知道用固态硬盘是否能快，我没有就不知道了。所以要做三件事，一做好集群，将数据及时同步到其他机房，自己写个程序同步定时同步，如果用主从，主机重启了为空，这个就很麻烦了，二使用redis的数据持久化，肯定比从mysql中直接捞快，三天天烧香希望不要宕机。

10月 11

突发想法：python 随机产生双色球投注

Posted on by

【2011-10-11 张子萌】
今天用python做redis的测试，主要测试随机读redis的效率。突发想法这个产生双色球的结果挺方便的。33选6 ，呵呵呵呵呵。

#!/bin/env python
# -*- coding:utf-8 -*-
import random
list = [“01″,”02″,”03″,”04″,”05″,”06″,”07″,”08″,”09″,”10″,”11”,
“11”,”12″,”13″,”14″,”15″,”16″,”17″,”18″,”19″,”20″,”21″,
“21”,”22″,”23″,”24″,”25″,”26″,”27″,”28″,”29″,”30″,”31″,
“32”,”33″]
get_array = random.sample(list,6)
print “%s”%get_array

10月 11

Reids的安装、配置和初级管理

Posted on by

【2011-10-11 整理编辑 simon-zzm@163.com】

一、 获取和部署

# wget http://redis.googlecode.com/files/redis-2.2.12.tar.gz

# tar zxvf redis-2.2.12.tar.gz

# cd redis-2.2.12

# make

再src目录下会生成可执行文件，可以使用make install 进行安装，默认安装后放在/usr/local/bin中。也可以制定存放目录make PREFIX=/some/other/directory。可执行文件的作用

redis-server 服务器的daemon启动程序

redis-check-aof 数据修复

redis-check-dump 检查导出工具

redis-cli 命令行操作工具

redis-benchmark 性能测试工具，测试Redis在你的系统及你的配置下的读写性能

直接执行redis-server，使用默认配置控制台打印。再redis-2.2.12中有redis.conf配置文件的模板，可以将配置文件放到认可位置，建议放到/etc下，使用配置文件启动redis命令如下。修改系统内核参数

# echo vm.overcommit_memory=1 >> /etc/sysctl.conf

# sysctl vm.overcommit_memory=1

使用数字含义：

0，表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。

1，表示内核允许分配所有的物理内存，而不管当前的内存状态如何。

2，表示内核允许分配超过所有物理内存和交换空间总和的内存

启动

# redis-server /etc/redis.conf

二、配置说明

配置文件主要参数说明如下（多个#为系统默认注释的配置）：

daemonize no

#默认不以守护进程的方式启动，生产环境下建议改为yes

pidfile /var/run/redis.pid

#pid文件位置

port 6379

#监听端口

bind 127.0.0.1

#监听IP地址，可用于监听指定IP

unixsocket /tmp/redis.sock

#sock文件位置

timeout 60

#超时断开时间

loglevel verbose

#日志级别debug，notice，verbose，warning

logfile stdout

#日志保存位置，默认是输出到/dev/nul，既不记录日志。

# syslog-enabled no

# 开启系统日志，默认关闭

###### syslog-ident redis

######syslog-facility local0

# 日志级别从LOCAL0-LOCAL7

databases 16

#数据库个数，登陆数据库默认dbid为0，可以使用select 设置。

save 900 1

save 300 10

save 60 10000

# 持久化保持 save *（秒数）*（修改次数）保存到硬盘上。全部注释掉，则不进行持久化。

rdbcompression yes

# 持快照是否要压缩

dbfilename dump.rdb

# 快照文件名称

dir ./

#快照保存位置

######slaveof

# 如果为从库需要配置主库的IP和端口，需要注意，从机如果做数据修改是不能同步到主机的

######masterauth

# 如果主数据库有密码需要在从库上设置主库的密码

###### requirepass foobared

< p>#主数据库的密码设置，如果加密了客户端连接为./redis-cli?-a foobared

slave-serve-stale-data yes

# 当主库宕机时，备机接替主库工作

######requirepass foobared

# 设置客户端登陆访问密码

maxclients 1024

# 默认客户端链接数，如果为0 则是不限制

######maxmemory 2048000000

# 使用内存大小，如果不设置为使用所有。单位为bytes

######maxmemory-policy volatile-lru

#内存用满的清理策略（lru为最近最少使用算法）：

# volatile-lru：删除过期和lru 的key（默认值）

# allkeys-lru ： 删除lru算法的key

# volatile-random：随机删除即将过期key

# allkeys->random：随机删除

# volatile-ttl ： 删除即将过期的

# noeviction ： 永不过期，返回错误

######maxmemory-samples 3

# 可以用ttl这只key的生存时间，此配置为用lru检查ttl时间。个人认为应该是对ttl的排序

appendonly no

# 开启操作记录日志，每此操作都会写日志，效率比较低。但是服务器宕机重启后，服务会加载日志，提高安全性。

#### appendfilename appendonly.aof

# 日志名称

appendfsync everysec

# 写日志的规则 always 时时写，everysec美秒写一次，no为不写

no-appendfsync-on-rewrite no

#没有太懂，个人理解是因为I/O效率问题，所以使用的一种类似的增量写入的方式。

slowlog-log-slower-than 10000

slowlog-max-len 1024

#像系统日志一样，记录命令的执行时间。记录周期为毫秒级（1000000毫秒=1秒）负值表示禁用，0表示记录所有命令。记录能保存的最大行数。

vm-enabled no

#虚拟内存开关

vm-swap-file /tmp/redis.swap

# 虚拟内存swap文件的位置。不同的redis服务不能共用内存文件。不推荐使用tmp目录。

vm-max-memory 0

#虚拟内存的大小，0为不限制。

vm-page-size 32

#缓存中每页的大小，默认是32个字节

vm-pages 134217728

# 虚拟内存中可以最大的页数，虚拟文件大小为vm-page-size * vm-pages。如果是32字节的页，用134217728页，会有4G大的swap文件

vm-max-threads 4

#使用虚拟内存的最大线程数

hash-max-zipmap-entries 512

hash-max-zipmap-value 64

list-max-ziplist-entries 512

list-max-ziplist-value 64

set-max-intset-entries 512

activerehashing yes

#为一种高级的哈希算法。原理没有明白，也不做修改了。

#以下为可以引入其它位置的配置文件。

# include /path/to/local.conf

# include /path/to/other.conf

三、基本管理

　　Redis的命令共分为十个部分，其中主要的六个部分(Key、String、Hash、List、Set、SortedSet)的翻译可以到http://redis.readthedocs.org/en/latest/中查看。本问只是记录部分管理命令。

1）Select

切换库，select后直接跟阿拉伯数字的dbid。

举例：

redis 127.0.0.1:6379> select 1


OK

2）Dbsize

统计库中key的数量

举例：

redis 127.0.0.1:6379> dbsize

(integer) 1

3）Flushdb

Redis还支持对某个DB数据进行清除（当然清空所有数据的操作也是支持的）

redis 127.0.0.1:6379> dbsize

(integer) 1

redis 127.0.0.1:6379> flushdb

OK

redis 127.0.0.1:6379> dbsize

(integer) 0

4）slaveof

同步命令，在从端参输入主机的IP和端口，进行数据同步。在复制的开始阶段处于阻塞状态（sync_readline）服务无法对外提供服务。

5）Slowlog

获得slowlog日志中最近的2条记录

redis 127.0.0.1:6379> slowlog get 2

1) 1) (integer) 6

2) (integer) 1318257654

3) (integer) 19244

4) 1) “rpush”

2) “b”

3) “z”

2) 1) (integer) 5

2) (integer) 1318256413

3) (integer) 42203

4) 1) “keys”

2) “10*”

6）Save Bgsave

将所有数据遍历一遍，然后存到一个扩展名为rdb的数据文件中。Bgsave为后台运行保存

redis 127.0.0.1:6379> SAVE

OK

7）CONFIG RESETSTAT

充值redis服务器的统计信息，将被重置的内容如下：

Keyspace hits

Keyspace misses

Number of commands processed

Number of connections received

Number of expired keys

8）Info

查看服务当前状态和版本信息。主要关心的空间使用信息used_memory_human使用内存量，vm使用率和swap使用。

举例：

redis 127.0.0.1:6379[1]> info

redis_version:2.2.12

redis_git_sha1:00000000

redis_git_dirty:0

arch_bits:64

multiplexing_api:epoll

process_id:27525

uptime_in_seconds:3085418

uptime_in_days:35

lru_clock:1807857

used_cpu_sys:79.22

used_cpu_user:186.33

used_cpu_sys_children:8.48

used_cpu_user_children:1.53

connected_clients:1

connected_slaves:0

client_longest_output_list:0

client_biggest_input_buf:0

blocked_clients:0

used_memory:83717864

used_memory_human:79.84M

used_memory_rss:127311872

mem_fragmentation_ratio:1.52

use_tcmalloc:0

loading:0

aof_enabled:0

changes_since_last_save:0

bgsave_in_progress:0

last_save_time:1318258998

bgrewriteaof_in_progress:0

total_connections_received:132983

total_commands_processed:5728570

expired_keys:0

evicted_keys:0

keyspace_hits:3588043

keyspace_misses:2140445

hash_max_zipmap_entries:512

hash_max_zipmap_value:64

pubsub_channels:0

pubsub_patterns:0

vm_enabled:0

role:master

db0:keys=664042,expires=0

db1:keys=1,expires=0