Tag Archives: oracle

9月 11

mysql双机热备恢复问题

Posted on by

Mysql中双机热备比较常见。运维过程中遇到一个问题，备机或主机的其中一台遇到硬盘物理故障，重装系统后需要重新同步数据。这时就遇到了一个问题，用“FLUSH TABLES WITH READ LOCK;”命令锁上所有表或者再mysqldump数据时使用“–lock-all-tables”或“–master-data”参数导出数据，但是数据库被锁不能操作，前台业务会报错，问题很严重。在oracle中有SCN（The System Change Number），在mysql的二进制日志中有position，所以只能从此处考虑。

所以我写一个脚本，思维逻辑如下：

a) 使用语句“show master statusG;” 获得导出开始的position的点

b) 开始导出整库数据

c) 导出完毕，再使用语句“show master statusG;” 获得导出结束的position的点

d) 从binlog中导出开始position点到结束position点得变化的增量数据

导入逻辑：

a) 先导入整库数据

b) 再导入增量的数据

c) 然后确认开始同步的position点，开始同步

做增量的数据需要使用mysql自带的mysqlbinlog命令，mysqlbinlog也可以远程使用，为了防止网络问题所以没有采用远程的方案。

Mysqlbinlog命令的主要参数如下：

-d, –database=name 仅列出该数据库相关的

-F, –force-if-open 强行读出正在使用的二进制文件

-j, –start-position=# 开始读取点

–stop-position=# 结束读取点

　–start-date 开始获取时间

　–stop-date 结束获取时间

导出完毕，在备机上先恢复整库文件，再恢复增量文件，再设置恢复点。还有几个文件问题没有太仔细考虑，如备份过程中二进制日志切换，数据量大的时候会出现增量和整库的重复等问题未考虑。本处只是抛砖引玉。

脚本如下（注意折行问题）：

#!/bin/sh

#————————————————

# file name: mysql_dump_binlog.sh

# Revision: 1.0

# Date: 2011-09-10

# Author: simon-zzm

# Email: simon-zzm@163.com

# ———————————————–

#############set bases value

mysql_path=’/usr/local/mysql’

dump_path=’/usr/local/checksystem’

mysql_host=’192.168.1.12′

mysql_user=’root’

mysql_pass=’qq’

mysql_data=’test’

#############main

start_time=`/bin/date +%Y-%m-%d %H:%M:%S`

${mysql_path}/bin/mysql -h${mysql_host} -u${mysql_user} -p${mysql_pass} -e ‘show master statusg;’>/tmp/mysql_start_read_mast

get_start_f=`tail -1 /tmp/mysql_start_read_mast|/bin/awk ‘ ”{print $1}’`

#${mysql_path}/bin/mysqldump -h${mysql_host} -u${mysql_user} -p${mysql_pass} ${mysql_data}>${dump_path}/${mysql_data}_${now_time}.sql

sleep 30

${mysql_path}/bin/mysql -h${mysql_host} -u${mysql_user} -p${mysql_pass} -e ‘show master statusg;’>/tmp/mysql_end_read_mast

get_end_p=`/usr/bin/tail -1 /tmp/mysql_end_read_mast|/bin/awk ‘ ”{print $2}’`

get_end_f=`/usr/bin/tail -1 /tmp/mysql_end_read_mast|/bin/awk ‘ ”{print $1}’`

echo “dump database ${mysql_data} ok.”

stop_time=`/bin/date +%Y-%m-%d %H:%M:%S`

${mysql_path}/bin/mysqlbinlog -d${mysql_data} -F –start-date=”${start_time}” –stop-date=”${stop_time}” ${mysql_path}/data/${get_start_f}>${dump_path}/${mysql_data}_repair_${now_time}.sql

echo “CHANGE MASTER TO MASTER_LOG_FILE=’${get_end_f}’,MASTER_LOG_POS=${get_end_p} ; “

/bin/rm -rf /tmp/mysql_start_read_mast /tmp/mysql_end_read_mast

echo “repair database ${mysql_data} ok.”

5月 27

python连接oracle和mysql备忘

Posted on by 
import cx_Oracle
    
def sql_comm(sql_run):
    db = cx_Oracle.connect(‘user’, ‘passwd’, ‘IP:port/sid’) 
    try:
        cursor=db.cursor()
    except cx_Oracle.ERROR,e:
        print “Error %d:%s”%(e.args[0],e.args[1])
    try:
           cursor.execute(sql_run)
    result_set=cursor.fetchall()
           cursor.close()
           db.commit()
           db.close()
    return result_set
    except e:
        print “Error %s”%(e.args[0])
        cursor.close()
        db.close()

python连接mysql

import MySQLdb

def sql_comm(sql_run):
        try:
                conn=MySQLdb.connect(host=host,user=username,passwd=pwd,db=database)
                cursor = conn.cursor()
        except MySQLdb.Error,e:
                print “Error %d:%s”%(e.args[0],e.args[1])
        try:
                cursor.execute(sql_run)
                result_set=cursor.fetchall()
                cursor.close()
                db.close()
                return result_set
        except MySQLdb.Error,e:
                print “Error %d:%s”%(e.args[0],e.args[1])
                cursor.close()
                db.close()

注意部分，在mysql修改数据时最好使用commit，如果只是select就不用了，不然得不到数据。
在oracle和mysql插入大量数据时，可以使用executemany，需要注意的是，oracle插入大量
数据时要将数据类型为元组，然后放到列表中。建议一次插入10000行。

9月 17

ORACLE 重建过度占用的空间

Posted on by

[整理人：张子萌]
数据库的undotbs或临时空间占用过太（自动扩展造成），磁盘空间有点紧，所以先考虑重建一下环节压力。

创建新的UNDO表空间

1)创建新的undo空间
SQL> CREATE UNDO
TABLESPACE UNDOTBS2
DATAFILE ‘/u02/UNDOTBS2.dbf’ SIZE 2048M
AUTOEXTEND
ON NEXT 10M MAXSIZE UNLIMITED ;
2)切换使用新的undo空间
SQL> ALTER SYSTEM SET UNDO_TABLESPACE = UNDOTBS2;
3)删除原始的undo空间
SQL> DROP TABLESPACE UNDOTBS1 INCLUDING CONTENTS AND DATAFILES;

重建临时表空间

1)创建新的临时表空间
SQL> CREATE temporary
TABLESPACE TEMP2
TEMPFILE ‘/u02/temp2.DBF’ SIZE 512M
REUSE AUTOEXTEND
ON NEXT 1M MAXSIZE UNLIMITED;
2) 改变缺省临时表空间
SQL> ALTER DATABASE DEFAULT temporary TABLESPACE TEMP2;
3)删除原来临时表空间
SQL> DROP TABLESPACE TEMP1 INCLUDING CONTENTS AND DATAFILES;

7月 30

oracle用nfs时mount设置

Posted on by

oracle归档进程写日志到NFS文件系统，与一般的在NFS文件系统上通过命令添加删除文件是不同的，要在mount NFS文件系统的时候指定一定的参数才能让归档进程正常归档。

原来是这样指定mount的：

mount -t nfs 192.168.60.110:/exitgogo /free/oracle/orarch

增加mount参数：

Mount -t nfs -o rw,hard,nointr,tcp,noac,vers=3,timeo=600,rsize=32768,wsize=32768 192.168.60.110:/exitgogo /free/oracle/orarch

指定参数后，归档进程就可以正常的在NFS文件系统上归档了。

指定参数具体含义如下：

rw 以读写方式安装文件系统（也必须要以相同的方式来导出）

ro 以只读方式安装文件系统

bg 如果安装失败（服务器没有响应），在后台一直尝试，继续发其它的安装请求

hard 以硬方式安装文件系统(这是默认情况)。如果服务器当机，让试图访问它的操作被阻塞，直到服务器恢复为止。

soft 以软方式安装文件系统。如果服务器当机，让试图访问它的操作失败，返回一条出错消息。这项功能对于避免进程“挂”在无关紧要的安装操作上来说非常有用。

intr 允许用户中断被阻塞的操作（并且让它们返回一条出错消息）

nointr 不允许用户中断

retrans=n 指定在以软方式安装的文件系统上，在返回一条出错消息之前重复发出请求的次数。

timeo=n 设置请求的超时时间（以十分之一秒为单位）

rsize=n 设置读缓冲的大小为n字节。对TCP和UDP安装都适用，但最优值不一样（32K较好）。

wsize=n 设置写缓冲的大小为n字节。对TCP和UDP安装都适。

nfsvers=n 设置NFS协议的版本 2 或者 3 （在正常情况下是自动的）

tcp 选择通过TCP来传输。默认选择UDP

fg 和bg正好相反，是默认的参数

mountport 设定mount的端口