1月 03

测试python计算MD5和CRC的速度

Posted on by

　　大量数据想均匀分布到不同的数据库存储，当前方法将key进行MD5或CRC计算，取最后一位分别对应到相应的存储位置。测文本17721088行。
两个脚本如下：
MD5部分

import hashlib
import time

file_list = open('di.txt')
start =time.time()
for get_str in file_list:
    if get_str[-1] == '\n':
        get_str = get_str[:-1]
    get_crc = hashlib.md5(get_str).hexdigest()
    #print get_crc
end = time.time()
print end-start

CRC部分

import zlib
import time

file_list = open('di.txt')
start =time.time()
for get_str in file_list:
    if get_str[-1] == '\n':
        get_str = get_str[:-1]
    get_crc = zlib.crc32(get_str) & 0xffffffff
end = time.time()
print end-start

md5计算用58.81秒，crc计算用27.06秒。CRC速度比md5快一倍。但是MD5是16进制，CRC是十进制。如果要将CRC转为16进制，所用时间和MD5用时相似。

12月 29

手工打造自己的备份服务器

Posted on by

　　习惯经常备份，但是总用移动硬盘也不是很方便，有些问题要在线同步会比较方便，放到公共云觉得安全不靠谱，几百G当下来网速也是问题。决定自己用pcduino打造一下。东西配齐。
image
　　L型贴片的孔太小，要改成M3的。出师不利，电钻打到手上，指纹都没有了，如果不是带着防割手套估计一下就废了，只能缠上创可贴接着干。以后一定要用台钳，带护目镜，真是太危险了。
image
　　安装pcduino的底座制作完毕。
image
　　两侧板子搞定，缺角的为右边的。
image
　　安装pcduino和两侧板子
image
　　安装好硬盘，系统安装完成。
image
　　侧片来一张，还留了一个硬盘的位置，将来在买一个硬盘。用rsync打造成双盘镜像（从arm的性能考虑就不使用软raid了）。
image
　　在路由器上配个固定IP，对外共享一下。开机远程SSH登陆，在media下已经可以看到有硬盘加载了。以后HDIM连在电视上配个红外接收，自己开发机顶盒了。搞定收工、制手。