一、背景说明

随着业务的不断发展，原来3台MySQL做主从提供多个库（>5个库）并通过jdbc实现简单读写分离的结构已不足以支撑公司的业务发展，需要对原有的十几个库进行分类，分为核心应用1（包含1个库），核心应用2（包含2个库）以及非核心应用（包含多个库），并且使用数据库中间件对各个应用进行分组读写分离。

经过筛选，候选的中间件有360的Atlas、Kingshard以及OneProxy，通过进一步了解发现Kingshard在架构改造时还处于核心功能开发阶段，所以pass；360的Atlas有一定的群众基础，所以优先选择它进行测试，在测试环境测试OK后很快便应用到了生产环境中的非核心应用，结果Atlas多次出现了假死现象导致业务无法正常访问。最后对OneProxy进行了1周的测试随即上线到生产环境，在非核心业务跑了2周后将公司业务全线切换到OneProxy。以下内容便是在数据库架构调整过程中整理出的OneProxy使用教程。

二、OneProxy简介

OneProxy是平民软件完全自主开发的分布式数据访问层，帮助用户在MySQL/PostgreSQL集群上快速搭建支持分库分表的分布式数据库中间件，也是一款具有SQL白名单（防SQL注入）及IP白名单功能的SQL防火墙软件。采用与MySQL Proxy一致的反向协议输出模式，对应用非常简单和透明易用，让用户畏惧的分库分表（Horizontal Partitioning）工作变得极其简单可控！基于Libevent机制实现，单个实例可以实现25万的SQL转发能力，用一个OneProxy节点可以带动整个MySQL集群。

互联网企业在开源软件的基础之上打造了足以支撑每天十亿笔交易、支付处理能力的在线系统，其中分布式架构在其中发挥了关键的作用。在架构里面又分为应用层架构和数据层架构，应用层架构着重于解决应用之间的远程调用、服务的发现、消息的流转，数据层架构着重于解决底层数据库、缓存等的透明扩展。关系数据库的水平扩展，或者说MySQL数据库的水平扩展能力是架构中的关键所在，OneProxy是一款构建在MySQL数据库之上的透明数据访问中间件，由在互联网行业（电商、互联网金融）工作多年的资深架构师精心打造，旨在降底对上层应用开发要求，实现对应用基本透明的底层数据库单点切换(Failover)、读写分离、水平拆分功能，使任何公司都可以轻松地拥有与大型互联网企业一样底层数据库扩展能力，也不用受制于开发语言的限制，以帮助业务实现再一次腾飞。

 

三、OneProxy被使用的功能

«  读写分离

«  高可用

«  主从服务器延时检测

«  动态扩容

«  性能统计

«  连接池

四、环境说明

4.1、网络环境

接入交换机：华为CE5810

核心/汇聚交换机：华为 CE6810

网线类型：泛达6类线

服务器网卡类型：Intel X350I QP

服务器与交换机互联带宽：2G(2*1GE BONDING)

接入交换机与核心交换机互联带宽：40G(4*10GB Eth-Trunk)

服务器网卡BOND主要参数：

DEVICE="bond0"

BONDING_OPTS="mode=802.3ad miimon=100 xmit_hash_policy=2 lacp_rate=1"

BOOTPROTO="static"

IPV6INIT="no"

MTU="9000"

NM_CONTROLLED="no"

ARPCHECK=no

NOZEROCONF=yes

IPADDR=

NETMASK=

GATEWAY=

服务器网卡eth0主要配置

DEVICE="eth0"

IPV6INIT="no"

MASTER="bond0"

NM_CONTROLLED="no"

ONBOOT="yes"

SLAVE="yes"

ETHTOOL_OPTS="-G ${DEVICE} rx 4096 tx 4096"

MTU="9000"

服务器网卡eth1配置

DEVICE="eth1"

IPV6INIT="no"

MASTER="bond0"

NM_CONTROLLED="no"

ONBOOT="yes"

SLAVE="yes"

ETHTOOL_OPTS="-G ${DEVICE} rx 4096 tx 4096"

MTU="9000"

交换机配置要点

1、与服务器相连的网口做Eth-Trunk，并启用巨型帧功能（如果OneProxy与数据库不在同一交换机下，在数据传输的链路上均要开启巨型帧功能）

2、链路聚合模式一定要是动态lacp（华为非CE系列交换机不支持动态lacp，只有静态lacp；H3C、思科、Juniper交换机均支持动态lacp）

 

4.2、硬件环境

4.3、软件环境

操作系统：CentOS 6.5 x86_64 with 2.6.32-431.29.2.el6.x86_64

OneProxy：oneproxy-rhel6-linux64-v5.8.2-ga.tar.gz

Percona Server：percona-server-5.6.29-76.2.tar.gz源码编译

flashcache：master版本

4.4、软件目录规划

安装目录

OneProxy：/opt/websuite/oneproxy

Percona Server：/opt/websuite/percona

配置文件目录

OneProxy：/opt/config/oneproxy

Percona Server：/etc/my.cnf

日志目录

OneProxy：/opt/logs/oneproxy

PID目录

OneProxy：/opt/run/oneproxy

Percona Server：/opt/run/percona

Percona其他目录

/database/percona/{binlog,relaylog,data,undolog,ibdata,iblogs,logs}

启动脚本

OneProxy：/etc/init.d/rc.oneproxy {start|stop|restart} groupname

Percona Server：/etc/init.d/rc.percona {start|stop|restart}

4.5、IP地址及数据库信息

ü  表格中GroupName与OneProxy配置文件的名称一致。例如，

GroupName为cisco，则OneProxy配置文件中的集群名称也为cisco，且OneProxy的配置文件名称为cisco.conf（此种约定为单个管理脚本管理多个不同业务的Group）

ü  设定每一个数据库的访问用户密码均为netemu（实际生产环境中千万不要这样设置）

ü  用于检测主从延时的用户为repuser@’172.16.4.%’,密码为repuser(该用户需在每个Group的所有数据库服务器上进行创建)

 

4.6、TOP

 

五、OneProxy部署

5.1、OneProxy安装

下载OneProxy

wget https://www.onexsoft.com/software/oneproxy-rhel6-linux64-v5.8.2-ga.tar.gz

解压

mkdir -p /opt/{logs,run,websuite.config}/oneproxy

tar zxf oneproxy-rhel6-linux64-v5.8.2-ga.tar.gz -C /opt/websuite/

生成启动脚本并实现单一脚本管理多个不同业务的集群（服务脚本见附录）

cp /opt/websuite/oneproxy/oneproxy.service /etc/init.d/rc.oneproxy

生成3个groupname对应的配置文件

touch /opt/config/oneproxy/{cisco.conf,juniper.conf,huawei.conf}  （配置文件内容见附录）

在任意一台数据库服务器上通过OneProxy管理口生成加密后的数据库用户密码

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041

OneProxy管理接口默认用户为admin，密码为OneProxy，端口为4041

启动OneProxy加载多个集群

/etc/init.d/rc.oneproxy start cisco

/etc/init.d/rc.oneproxy start juniper

/etc/init.d/rc.oneproxy start huawei

停止多个集群

/etc/init.d/rc.oneproxy stop cisco

/etc/init.d/rc.oneproxy stop juniper

/etc/init.d/rc.oneproxy stop huawei

 

5.2、OneProxy常用参数说明

OneProxy的所有可用参数可通过oneproxy --help-all查看。所有参数均可以写入文件中，由OneProxy启动时加载

5.2.1、基本参数

--user=<user>

以指定的用户运行oneproxy

--pid-file=<file>

指定oneproxy的进程pid文件路径

--log-level=(error|warning|info|message|debug)

指定oneproxy的日志输出级别

--log-file=<file>

指定日志文件的路径

--keepalive

开启进程守护，当oneproxy进程挂掉后重启oneproxy

--max-open-files

显示指定oneproxy的最大文件句柄数，默认Soft Limit为32768，Hard Limit为系统指定的大小

--event-threads

指定oneproxy的线程数，默认为8，建议为CPU的processor数量

--max-idle-time

在连接池中的连接最大空闲时间，指oneproxy与backends之间的连接，数据库中interactive_timeout的值要大于（max-idle-time+10），max-idle-time最大值为1800秒

--proxy-address=<host:port>

设定oneproxy提供服务的监听端口，在单机环境下，可指定监听IP及端口；在高可用环境下可忽略IP，例如--proxy-address=:3306

--proxy-user-list=<user:passwd@dbname>

设定在当前group中访问dbname的用户名和密码，其中密码是经过管理接口中passwd进行加密的字符串。建议在管理接口中使用passwd ‘password’;密码需用引号引起来，否则在使用特殊字符时密码会被截断

--proxy-database=<dbname>

设置通过oneproxy访问的默认数据库，默认为test库

--mysql-version=<version>

指定后端数据库的版本号，默认为5.5.18，此处主要是防止高版本的JDBC驱动连接oneproxy时，JAVA应用日志里出现“Caused by: java.sql.SQLException: Unknown system variable 'tx_read_only'”的错误导致应用无法启动。

--proxy-connect-timeout=<number>

设定oneproxy与后端建立连接的超时时间，默认为2秒

--proxy-read-timeout=<number>

设定oneproxy对后端进行读操作的超时时间，默认8小时

--proxy-write-timeout=<number>

设定oneproxy对后端进行写操作的超时时间，默认8小时

--admin-address=<host:port>

设定oneproxy管理接口的监听地址及端口

--admin-username=<string>

设定允许访问管理接口的用户名

--admin-password=<string>

设定允许访问管理接口的用户登陆密码

--proxy-license=<license>

针对企业版的注册码

--proxy-charset=<charset>

设定默认的字符集，默认为utf8_general_ci，可通过登陆管理接口并输入list charset查看oneproxy支持的所有字符集

5.2.2、读写分离

--proxy-master-addresses=<host:port@servergroup>

设定MySQL主服务器的地址、端口号及所属集群，例如

--proxy-master-addresses=172.16.4.1:3306@cisco

--proxy-slave-addresses=<host:port@servergroup>

设定MySQL从服务器的地址、端口号及所属集群，例如

--proxy-slave-addresses=172.16.4.2:3306@cisco

--proxy-group-policy=<groupname:policy>

设定在一个group中，数据库的读写分离策略，当前oneproxy支持12种读写分离策略

支持一主多从场景的策略

master_only：读写都在master

read_failover：读写都在master，当master挂掉的时候读切到slaves

read_slave：写在master，读在所有slaves

read_balance：写在master，读从master以及slaves走

big_slave：写以及简单查询走master，复杂查询走slaves

big_balance：写及简单查询走master，复杂查询走master及slaves

数据分片场景的策略

write_shard：多组master的shard环境中，读写在任意master

read_shard：一组多从的shard环境中，写在master，读走其他节点

Percona XtraDB Cluster/MariaDB Galera Cluster环境

write_balance

write_other

write_failover

双主环境

read_other

5.2.3、主从延迟检测

--proxy-replication-check

开启oneproxy的主从延迟精确检测功能，默认会在test库中创建一张表。原理类似pt-heartbeat

--proxy-group-slavedelay=<servergroup:seconds>

设定在一个group中的slave，在检测到复制延迟到达设置的值之后，自动剔除该节点，在延迟小于设定值时动态加入服务

--repadmin-username=<string>

设置用于主从检测的用户名

--repadmin-password=<string>

设置用于主从检测的用户名密码

 

5.2.4、高可用

--vip-address=<ip/dev>

在多节点HA环境下，设置提供服务的VIP地址以及VIP绑定的dev

--remote-address=<host:port>

设定在HA环境下，设置其他节点的管理接口IP和管理端口

--proxy-server-id=<number>

设置oneproxy的ID

5.2.5、性能抓取

--proxy-trans-debug

开启是否事务调试功能，帮助架构师、DBA分析在业务运行时的各个表之间所关联的query和trx的关系

--proxy-log-sqlerror

开启记录sql error

--proxy-sql-debug

开启sql debug功能

 

5.3、OneProxy实例管理

5.3.1、OneProxy单机多实例

通过附录的脚本即可实现单机多个OneProxy实例

5.3.2、OneProxy管理接口

OneProxy管理接口的连接

mysql -uadminuser-padminpasswd -hOneProxyIP -POneProxyadminport

其中

adminuser：由参数admin-username指定，默认用户为admin

adminpasswd：由参数admin-password指定，默认为OneProxy

OneProxyIP：为OneProxy监听的服务器IP

OneProxyadminport：为OneProxy监听的管理端口，默认为4041

 

通过OneProxy的管理端口，通过动态调整运行参数（登陆后通过list命令可查看所有支持的指令），可满足如下需求：

1、动态的调整Group中backend的最大最小连接池数量

2、动态调整Group中读写分离策略

3、动态调整Group中的安全策略

4、动态调整Group中SQL防火墙的规则

5、动态开启或关闭OneProxy的性能统计数据

6、动态上线或下线Group中的Master、Slave机器

5.4、OneProxy集群动态调整

1、扩容服务器

增加一台Master服务器

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “add master *.*.*.* ;set online ‘*.*.*.*’”

增加一台Slave服务器

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “add slave *.*.*.* ;set online ‘*.*.*.*’”

 

2、下线服务器

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “set offline ‘*.*.*.*’”

 

5.5、OneProxy性能数据

OneProxy的性能监控数据有很多，通过LIST指令可详细查看

开启、关闭或清空sql statistics

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET SQLSTATS {on|off|clear}”

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST SQLSTATS”

 

开启、关闭或清空table statistics

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET TABSTATS {on|off|clear}”

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST TABSTATS”

 

开启、关闭或清空user statistics

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET USERSTATS {on|off|clear}”

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST USERSTATS”

 

开启、关闭transaction debug mode

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET TRANS_DEBUG {on|off}”

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST TRANS_DEBUG”

 

开启、关闭sql error log

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET LOG_SQLERROR {on|off }”

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST LOG_SQLERROR”

 

开启、关闭sql debug mode

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “SET SQL_DEBUG {on|off }”

mysql -uadmin -pOneProxy -h172.16.4.98 -P4041 -e “LIST SQL_DEBUG”

六、OneProxy杂谈

6.1、OneProxy性能优化

6.1.1、升级内核

需要选择较新的内核版本，以避免撞上闻名的Big Kernel Lock 性能问题，CentOS 6下可以更新到2.6.32-573.7.1.el6.x86_64。

 

6.1.2、网卡优化

1、在服务器千兆接入，交换机之前万兆接入的情况下，尽量为服务器选择Intel I350 DP/Inter I350 QP的网卡，并将驱动升级至最新版本。https://sourceforge.net/projects/e1000/ 这里选择合适的驱动下载。

kernel自带igb驱动与最新版驱动的差别

升级驱动后通过modinfo igb可以看到网卡的很多可配置的参数，优化的条目可参考intel万兆网卡的部分说明

2、网卡SMP绑定

通过网卡多队列绑定到不同的CPU上，可降低CPU0的压力。建议关闭irqbalance服务

3、MTU

默认的MTU是1500，可调整到9000（相当于开启巨型帧），MTU增大后，需要在数据通过的链路上都开启巨型帧功能。

4、智能网卡

OCTEON XL NIC Network Interface Card

OCTEON XL NICPro Network Interface Card - Pro version

6.2、OneProxy万兆网络环境

万兆环境下，网络架构比较关键，没有必要全网万兆环境。

6.3、OneProxy监控

通过shell从管理端口获取各种监控数据，并做成Zabbix的自定义监控项输入监控系统

6.4、用Haproxy对OneProxy进行负载均衡

6.5、另一种OneProxy多节点高可用方案

 

 

 

 

 

附录

rc.oneproxy脚本

#!/bin/sh

#

# chkconfig: - 98 02

# description: Utility for MySQL Proxy

#

# processname: Oneproxy

# config: /opt/config/oneproxy/proxy.conf

# pidfile: /opt/run/oneproxy/oneproxy.pid

# Short-Description: OneProxy is a MySQL Proxy

 

# Source function library.

. /etc/init.d/functions

 

### Default variables

ONEPROXY_HOME="/opt/websuite/oneproxy"

ONEPROXY_CONFIG="/opt/config/oneproxy/$2.conf"

ONEPROXY_PROJECT=$2

prog="OneProxy"

ONEPROXY_BIN="${ONEPROXY_HOME}/bin/oneproxy"

ONEPROXY_PID="/opt/run/oneproxy/oneproxy_$2.pid"

 

# Check if requirements are met

[ -x "$ONEPROXY_BIN" ] || exit 1

[ -r "$ONEPROXY_CONFIG" ] || exit 1

 

RETVAL=0

 

start() {

        echo -n $"Starting $prog: "

        daemon $ONEPROXY_BIN --defaults-file=$ONEPROXY_CONFIG

        RETVAL=$?

        echo

        [ $RETVAL -eq 0 ] && touch /var/lock/subsys/$prog

        return $RETVAL

}

 

stop() {

        echo -n $"Shutting down $prog: "

        if [ -e ${ONEPROXY_PID} ]; then

                daemon kill -INT $(cat ${ONEPROXY_PID})

                RETVAL=$?

        fi

        echo

}

 

restart() {

        stop

        start

}

 

case "$1" in

  start)

        start

        ;;

  stop)

        stop

        ;;

  restart)

        restart

        ;;

  status)

        status $prog

        RETVAL=$?

        ;;

  *)

        echo $"Usage: $0 {start|stop|restart|status}"

        RETVAL=1

esac

 

exit $RETVAL

 

 

 

 

cisco.conf

[oneproxy]

keepalive= 1

event-threads=24

log-file= /opt/logs/oneproxy/oneproxy_cisco.log

pid-file= /opt/run/oneproxy/oneproxy_cisco.pid

 

proxy-address            = :3306

proxy-master-addresses.1 = 172.16.4.1:3306@cisco

proxy-slave-addresses.1  = 172.16.4.2:3306@cisco

proxy-slave-addresses.2  = 172.16.4.3:3306@cisco

proxy-user-list.1        = item/FB14020BF4CB7C11173E9492C1D0C18DF18B6955@item1

proxy-secure-client      = 127.0.0.1

proxy-group-policy       = cisco:read-slave

proxy-read-timeout       = 3600

proxy-write-timeout      = 3600

proxy-charset            = utf8_general_ci

proxy-group-security     = cisco:0

vip-address              = 172.16.4.100/bond0:0

admin-address            = 172.16.4.98:4041

max-idle-time            = 1800

remote-address           = 172.16.4.99:4041

 

juniper.conf

[oneproxy]

keepalive = 1

event-threads=24

log-file  = /opt/logs/oneproxy/oneproxy_juniper.log

pid-file  = /opt/run/oneproxy/oneproxy_juniper.pid

 

proxy-address            = :3307

proxy-master-addresses.1 = 172.16.4.4:3306@juniper

proxy-slave-addresses.1  = 172.16.4.5:3306@juniper

proxy-slave-addresses.2  = 172.16.4.6:3306@juniper

proxy-user-list.1        = netemu/78D841BBCF0742621BCEE5B472E13E92824A2F24@netemu

proxy-user-list.2        = 51auto/78D841BBCF0742621BCEE5B472E13E92824A2F24@51auto

proxy-secure-client      = 127.0.0.1

proxy-group-policy       = juniper:0

proxy-read-timeout       = 3600

proxy-write-timeout      = 3600

proxy-charset            = utf8_general_ci

proxy-group-security     = juniper:0

vip-address              = 172.16.4.101/bond0:1

admin-address            = 172.16.4.98:4042

max-idle-time            = 1800

mysql-version            = 5.6.26

proxy-group-policy       = juniper:read-slave

remote-address           = 172.16.4.99:4042

 

huawei.conf

[oneproxy]

keepalive                = 1

event-threads            = 24

log-file                 = /opt/logs/oneproxy/oneproxy_huawei.log

pid-file                 = /opt/run/oneproxy/oneproxy_huawei.pid

 

proxy-address            = :3308

proxy-master-addresses.1 = 172.16.4.7:3306@huawei

#proxy-slave-addresses.1 = 172.16.4.8:3306@huawei

#proxy-slave-addresses.2 = 172.16.4.9:3306@huawei

proxy-user-list.1        = user1/2ED0B8B24B8B9D0D93112645C1502475E1009B80@data1

proxy-user-list.2        = user2/7EE08CF6626928BD3169D106C83B7957030FBB1E@data2

proxy-user-list.3        = user3/FE8EA7D6822FE01CD4F0282FD2BDD8888E46AFCD@data3

proxy-user-list.4        = user4/0A6B2A3A898D4F0A328B03C6075D91C00960530E@data4

proxy-secure-client      = 127.0.0.1

proxy-group-policy       = huawei:read_slave

proxy-read-timeout       = 3600

proxy-write-timeout      = 3600

proxy-charset            = utf8_general_ci

proxy-group-security     = huawei:0

vip-address              = 172.16.4.102/bond0:2

admin-address            = 172.16.4.98:4043

max-idle-time            = 1800

mysql-version            = 5.6.29

remote-address           = 172.16.4.99:4043