Tag Archives: linux

3月 19

python 脚本不能并行运行

Posted on by

        写了个脚本，数据需要定时循环处理，但是不能同时重复处理。也就是说，脚本需要单进程运行。脚本定时运行配置在crontab中。如果在脚本开始写状态文件，运行完成后关闭状态文件也可以，但是如果脚本中途退出，状态文件不会更改，下次运行就不容易判断了。使用进程号来判断就比较准确了，所以写了以下代码。
       以下脚本为linux下使用。

#!/usr/local/bin/python
# -------------------------------------------------------------------------------
# Filename:    my-pid.py
# Revision:
# Date:        2012-12-19
# Author:      simonzhang
# Email:       simon-zzm@163.com
# -------------------------------------------------------------------------------
import os

if __name__ == '__main__':
    try :
        #首先查看是否有pid文件
        #读取pid
        now_pid = open("./my_pid.pid","rb").read()
        #通过操作系统命令，统计pid运行的数量
        get_count = os.popen("ps -ef|awk ' ''{print $2}'|grep -w %s|wc -l"%now_pid).read()
    except:
        #如果没有pid文件，则统计为零
        get_count = 0
    #判断pid是否在进程中
    if int(get_count) > 0 :
        #如果系统进程中有pid进程，则打印后推出
        print "run...."
        sys.exit()
    else:
        #如果没有进程则获得后，保存在pid文件中
        w_pid = os.getpid()
        w_pid_file = open("./my_pid.pid","wb")
        w_pid_file.write("%s"%w_pid)
        w_pid_file.close()
        #运行脚本
         main()
3月 15

python中通过 pexpect 使用 rsync

Posted on by

　　之前写了脚本，死循环调用inotifywait监控文件夹，如果文件有变动，则启动rsync进行同步。但是当前需求有点变化，文件要按照日期建文件夹进行存储，且文件变化很快，如果直接监控最顶级目录系统资源将消耗很大，所以考虑还是自写一下好，如果系统资源量变化大，且不用时时同步时可以根据文件变动对变动对文件进行记录，可以按照优先规则进行同步。
　　官方网站 : http://trac.dbzteam.org/pyinotify
　　系统要求：Linux kernel with inotify ≥ 2.6.13
Python ≥ 2.4

　　直接使用easy_install安装非常简单
　　# sudo easy_install pyinotify
　　如果不能联网，则需要直接下载压缩包，进行编译安装。

　　首先测试下是否可用：
　　使用以下命令监控/tmp文件夹，
　　# python -m pyinotify /tmp

在/tmp文件夹下新建1.txt，并随后进行删除。看到显示的记录如下：

　　效果不错，继续向下进行。只要有创建、删除和关闭写就打印出变化的文件或目录，代码如下：

import  re
import pyinotify

wm = pyinotify.WatchManager()
mask = pyinotify.IN_DELETE | pyinotify.IN_CREATE | pyinotify.IN_CLOSE_WRITE
class EventHandler(pyinotify.ProcessEvent):
    def process_IN_CREATE(self, event):
        self.rebuild(event) 

    def process_IN_DELETE(self, event):
        self.rebuild(event) 

    def process_IN_CLOSE_WRITE(self, event):
        self.rebuild(event)

    def rebuild(self, event):
        chang_name=re.compile(".+\.swp$|.+\.swx$|.+\.swpx$")
        if not chang_name.match(event.pathname):
            print event.pathname 

handler = EventHandler()
notifier = pyinotify.Notifier(wm, handler)
wdd = wm.add_watch('/tmp', mask, rec=True,auto_add=True  

notifier.loop()

　　代码里使用正则表达式过滤因为使用vim打开文件产生的缓存文件。也可以用exclude_filter方法在官方文档中例子如下，但是我测试多次没有成功，所以直接用正则过滤。

# Exclude patterns from list
excl_lst = ['^/etc/apache[2]?/',
            '^/etc/rc.*',
            '^/etc/hostname',
            '^/etc/hosts',
            '^/etc/(fs|m)tab',
            '^/etc/cron\..*']
excl = pyinotify.ExcludeFilter(excl_lst)
# Add watches
res = wm.add_watch(['/etc/hostname', '/etc/cups', '/etc/rc0.d'],
                   pyinotify.ALL_EVENTS, rec=True, exclude_filter=excl)

　　如果监控文件太多，需要对系统做一下修改sysctl -n -w fs.inotify.max_user_watches=16384。

3月 03

曾经的技术，曾经的书

Posted on by

　　最近打算把家里的书整理一番,同时也做个记录。
　　最新开始学习的技术是delphi，从2005年开始学习，学习了有一年多，自己也做了几个东西，在私人和工作方面都有些帮助。
　　但是后来发现，靠这个技术想找个收入理想的工作有一定困难，所以就放弃了。当下看看现有的这几本书，“Delphi 开发经验技巧宝典”还起到写作用。其它几本更是没有派上用场，加在一起总共看了一周的时间。突然想起了一个和开发人员聊的话题，经验宝典类的书用的最多，都是当字典用，出问题的时候可以拿抄，拿来主义在开发过程中显的很重要，高手的标志就是解决问题速度快。真正理论方面的书都是在学校中使用，高人
　　推荐的书自然也要买几本，不然就显得脱了节，当然读法也是“高束焉,庋藏焉”。
image
　　vb是和delphi一起开始学习的，但是个人感觉还是delphi比较好用，并且技术开放一些，所以就放弃了vb。

　　Dreamweaver 标准教程和零基础学java 是同时买的，只是为了了解，并没有仔细看过。个人感觉这种快速教程对学习帮助并不是很大，所以要选择性购买。


　　做过voip一段时间，对所用只是还是要充实一下。这本“voip技术与应用”个人感觉还是不错，有普及知识也有理论。如果从事网络语音通讯类的还是可以买一本读读。

　　当前从事的工作是架构和维护想干的工作。“linux 架站务实4.0”对当时初步工作的我帮助还是挺大。“云计算 深刻改边未来”当时看介绍是是当时移动研究院编写，很多高人呀，但是阅读之后对云有了一定认识，但是又有了很多的疑问。其实到现在“云”技术也没有公认的说法，我也选择一直糊涂着吧。


　　最后一本是，当时学习项目经理的时候用的，当时学觉得很无聊，但是项目做大后发现有清晰的体系结构还是很重要。有个空可以看看。

10月 22

php python node.js 简单循环累加计算速度测试

Posted on by

【张子萌 www.simonzhang.net 2012-4-1】

之前简单做了一下node.js和python的“hello ***”的页面测试，也做了循环的测试，本次主要是增加了java的语言,go语言。主要是想看一下主流四种脚本的速度java、python、php、c语言。均使用for循环进行简单的累加测试。个人技能有限所以只做了简单测试做参考。

实验环境使用linux 64位服务器，操作系统为contos 5.4，php版本5.1.6，python版本为2.6.6，node.js版本为0.4.12，java版本为1.6.0_03，gcc 版本 4.1.2 2008070，go语言为1.0.2。
一、脚本编写
php脚本
# cat test.php

python脚本
# cat test.py

#!/bin/env python
#-*- coding:utf-8 -*-
def main():
    j = 0;
    for i in xrange(10000000):
        j=j+i
    print j

if __name__=="__main__":
    main()

node.js脚本
# cat test.js

var j=0;
for (i = 0; i < 10000000; i++ ) {
   j=j+i
}
    console.log(j);

Java代码：
# cat Test.java

public class Test {
public static void main(String[] args) {
          long n = 0;
          for (int i = 0; i < 10000; i++) {
               n=n+i;
          }
          System.out.println(n);
     }
}

C语言，使用gcc编译，编译两种结果，一种是直接编译的，一种是优化编译的。

#include 
#include 
main()
{
    long i,j=0;
    for (i=0 ; i<10000000 ; i++)
       j=j+i;
    printf("%ld\n",j);
}

go语言代码

package main

import "fmt"

func main() {
    var sum,i int64
    sum=0
    for i=0;i<10000000;i++{
        sum+=i
    }
    fmt.Printf("%d",sum)
}

二、运行结果
使用time命令对程序运行时间进行统计

以下是循环一千万次的累加测试结果。

参数 C语言直接编译 C语言优化编译 go Node.js Python PHP Java
Real 0.024s 0.001s 0.011s 0.420s 1.055s 1.429s 0.087
User 0.023s 0.000s 0.011s 0.401s 1.046s 1.423s 0.067
sys 0.001s 0.001s 0.000s 0.019s 0.009s 0.007s 0.015

以下是循环一万次的累加测试结果

参数 C语言直接编译 C语言优化编译 go Node.js Python PHP Java
Real 0.001s 0.001s 0.004s 0.090s 0.027s 0.014s 0.087
User 0.000s 0.001s 0.003s 0.080s 0.022s 0.007s 0.041
sys 0.001s 0.000s 0.002s 0.010s 0.006s 0.007s 0.017

三、结论
从简单的测试来看，c语言不是一般的快，大数据计算情况下node.js速度最快，java次之，python和php比慢。但是如果是少量计算时php效果还是很不错。但是实际应用中，还需要调用各种函数和各方面的资源，并不能以一个空框架下的for来判断。每种语言都会有自己擅长的一方面，速度快与慢，还与编写的技巧性有关。学好每一步，认认真真踏实的做就好了。

9月 28

pyinotify监控文件和文件夹变化

Posted on by

【2011-9-28 张子萌】

之前写了脚本，死循环调用inotifywait监控文件夹，如果文件有变动，则启动

rsync进行同步。但是当前需求有点变化，文件要按照日期建文件夹进行存储，

且文件变化很快，如果直接监控最顶级目录系统资源将消耗很大，所以考虑还是自

写一下好，如果系统资源量变化大，且不用时时同步时可以根据文件变动对变动

对文件进行记录，可以按照优先规则进行同步。

官方网站 : http://trac.dbzteam.org/pyinotify

系统要求：Linux kernel with inotify ≥ 2.6.13

Python ≥ 2.4

直接使用easy_install安装非常简单

# sudo easy_install pyinotify

如果不能联网，则需要直接下载压缩包，进行编译安装。

首先测试下是否可用：

使用以下命令监控/tmp文件夹，

# python -m pyinotify /tmp

在/tmp文件夹下新建1.txt，并随后进行删除。看到显示的记录如下：

效果不错，继续向下进行。只要有创建、删除和关闭写就打印出变化的文件或目录，代码如下：

import re

import pyinotify

wm = pyinotify.WatchManager()

mask = pyinotify.IN_DELETE | pyinotify.IN_CREATE | pyinotify.IN_CLOSE_WRITE

class EventHandler(pyinotify.ProcessEvent):

def process_IN_CREATE(self, event):

self.rebuild(event)

def process_IN_DELETE(self, event):

self.rebuild(event)

def process_IN_CLOSE_WRITE(self, event):

self.rebuild(event)

def rebuild(self, event):

chang_name=re.compile(“.+.swp$|.+.swx$|.+.swpx$”)

if not chang_name.match(event.pathname):

print event.pathname

handler = EventHandler()

notifier = pyinotify.Notifier(wm, handler)

wdd = wm.add_watch(‘/tmp’, mask, rec=True,auto_add=True )

notifier.loop()

代码里使用正则表达式过滤因为使用vim打开文件产生的缓存文件。也可以用exclude_filter方法

在官方文档中例子如下，但是我测试多次没有成功，所以直接用正则过滤。

# Exclude patterns from list

excl_lst = [‘^/etc/apache[2]?/’,

‘^/etc/rc.*’,

‘^/etc/hostname’,

&nb
sp; ‘^/etc/hosts’,

‘^/etc/(fs|m)tab’,

‘^/etc/cron..*’]

excl = pyinotify.ExcludeFilter(excl_lst)

# Add watches

res = wm.add_watch([‘/etc/hostname’, ‘/etc/cups’, ‘/etc/rc0.d’],

pyinotify.ALL_EVENTS, rec=True, exclude_filter=excl)

如果监控文件太多，需要对系统做一下修改sysctl -n -w fs.inotify.max_user_watches=16384。