archer下載 - archer手源代碼下載

archer

網站數據

自动化数据库SQL操作平台

下載

archer

基於inception的自動化SQL操作平台，支持工單、審核、定時任務、郵件、OSC等功能，還可配置MySQL查詢、慢查詢管理、會話管理等

主要功能

自動審核發起SQL上線，工單提交，由inception自動審核，審核通過後需要由審核人進行人工審核
人工審核
inception自動審核通過的工單，由其他研發工程師或研發經理來審核，DBA操作執行SQL
為什麼要有人工審核？
這是遵循運維領域線上操作的流程意識，一個工程師要進行線上數據庫SQL更新，最好由另外一個工程師來把關很多時候DBA並不知道SQL的業務含義，所以人工審核最好由其他研發工程師或研發經理來審核. 這是archer的設計理念
回滾數據展示工單內可展示回滾語句，支持一鍵提交回滾工單
定時執行SQL
審核通過的工單可由DBA選擇定時執行，執行前可修改執行時間，可隨時終止
pt-osc執行支持pt-osc執行進度展示，並且可以點擊中止pt-osc進程
MySQL查詢庫、表、關鍵字自動補全查詢結果集限制、查詢結果導出、表結構展示、多結果集展示
MySQL查詢權限管理基於inception解析查詢語句，查詢權限支持限製到表級查詢權限申請、審核和管理，支持審核流程配置，多級審核
MySQL查詢動態脫敏基於inception解析查詢語句，配合脫敏字段配置、脫敏規則(正則表達式)實現敏感數據動態脫敏
慢日誌管理基於percona-toolkit的pt_query_digest分析和存儲慢日誌，並在web端展現
郵件通知可配置郵件提醒，對上線申請、權限申請、審核結果等進行通知對異常登錄進行通知

設計規範

合理的數據庫設計和規範很有必要，尤其是MySQL數據庫，內核沒有oracle、db2、SQL Server等數據庫這麼強大，需要合理設計，揚長避短。互聯網業界有成熟的MySQL設計規範，特此撰寫如下。請讀者在公司上線使用archer系統之前由專業DBA給所有後端開發人員培訓一下此規範，做到知其然且知其所以然。
下載鏈接https://github.com/jly8866/archer/blob/master/src/docs/mysql_db_design_guide.md

主要配置文件

archer/archer/settings.py

採取docker部署

docker鏡像，參考wiki
- inception鏡像: https://hub.docker.com/r/hhyo/inception
- archer鏡像: https://hub.docker.com/r/hhyo/archer
docker鏡像製作感謝@小圈圈提供

手動安裝步驟

環境準備

克隆代碼到本地或者下載zip包
git clone https://github.com/jly8866/archer.git
安裝inception
項目地址

安裝python3，版本號>=3.4(由於需要修改官方模塊，請使用virtualenv或venv等單獨隔離環境！)
```
 pip3 install virtualenv
virtualenv venv4archer --python=python3.4
```

安裝所需相關模塊

 source venv4archer/bin/activate
pip3 install -r requirements.txt

pymysql模塊兼容inception版本信息使用src/docker/pymysql目錄下的文件替換/path/to/python3/lib/python3.4/site-packages/pymysql/對應文件

啟動前準備

創建archer本身的數據庫表

修改archer/archer/settings.py所有的地址信息，包括DATABASES和INCEPTION_XXX部分
通過model創建archer本身的數據庫表，如果是現有版本升級請使用src/init_sql內的變更腳本變更數據庫原v1.1.1分支請使用v1.1.1->v2.0.sql變更原master分支請使用master->v2.0.sql變更全新安裝請使用如下方式初始化
```
 python3 manage.py makemigrations sql  
python3 manage.py migrate 
```

創建admin系統root用戶（該用戶可以登錄django admin來管理model）
python3 manage.py createsuperuser

啟動，有兩種方式
(1)用django內置runserver啟動服務，建議不要在生產環境使用
bash debug.sh
(2)用gunicorn+nginx啟動服務安裝模塊pip3 install gunicorn==19.7.1
nginx配置示例

 server{
        listen 9123; #监听的端口
        server_name archer;
        proxy_read_timeout 600s;  #超时时间与gunicorn超时时间设置一致，主要用于在线查询

        location / {
          proxy_pass http://127.0.0.1:8888;
          proxy_set_header Host $host:9123; #解决重定向404的问题
          proxy_set_header X-Real-IP $remote_addr;
          proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
          proxy_set_header X-Forwarded-Proto $scheme;
        }

        location /static {
          alias /archer/static; #此处指向settings.py配置项STATIC_ROOT目录的绝对路径，用于nginx收集静态资源
        }

        error_page 404 /404.html;
            location = /40x.html {
        }

        error_page 500 502 503 504 /50x.html;
            location = /50x.html {
        }
    }

啟動bash startup.sh

正式訪問使用上面創建的管理員賬號登錄http://XXXX:port/login/

其他功能集成

在線查詢

settings中QUERY改為True
到【後台數據管理】-【從庫地址配置】頁面添加從庫信息
到【後台數據管理】-【工作流配置】頁面配置審核流程
用戶申請權限、審核通過後即可進行在線查詢
如需要使用動態脫敏，請將settings中DATA_MASKING_ON_OFF改為True，並且到【後台數據管理】-【脫敏配置】頁面配置脫敏規則和字段

慢日誌管理

settings中SLOWQUERY改為True

安裝percona-toolkit（版本=3.0.6），以centos為例

 yum -y install http://www.percona.com/downloads/percona-release/redhat/0.1-3/percona-release-0.1-3.noarch.rpm 
yum -y install percona-toolkit.x86_64

使用src/script/mysql_slow_query_review.sql創建慢日誌收集表到archer數據庫
將src/script/analysis_slow_query.sh部署到各個監控機器，注意修改腳本里面的hostname="${mysql_host}:${mysql_port}"與archer主庫配置信息一致，否則將無法篩選到相關記錄

SQLAdvisor優化工具

安裝SQLAdvisor，項目地址
修改配置文件SQLADVISOR為程序路徑，路徑需要完整，如'/opt/SQLAdvisor/sqladvisor/sqladvisor'

阿里雲rds管理

修改配置文件ALIYUN_RDS_MANAGE=True

安裝模塊

 pip3 install aliyun-python-sdk-core==2.3.5
pip3 install aliyun-python-sdk-core-v3==2.5.3
pip3 install aliyun-python-sdk-rds==2.1.1

在【後台數據管理】-【阿里雲認證信息】頁面，添加阿里雲賬號的accesskey信息，重新啟動服務
在【後台數據管理】-【阿里雲rds配置】頁面，添加實例信息，即可實現對阿里雲rds的進程管理、慢日誌管理

admin後台加固，防暴力破解

patch目錄下，名稱為django_1.8.17_admin_secure_archer.patch

使用命令

 patch  python/site-packages/django/contrib/auth/views.py django_1.8.17_admin_secure_archer.patch

集成ldap

修改配置文件ENABLE_LDAP=True，安裝相關模塊，可以啟用ldap賬號登錄，以centos為例
```
 yum install openldap-devel
pip install django-auth-ldap==1.3.0
```
如果使用了ldaps，並且是自簽名證書，需要打開settings中AUTH_LDAP_GLOBAL_OPTIONS的註釋
settings中以AUTH_LDAP開頭的配置，需要根據自己的ldap對應修改

系統體驗

點擊體驗

角色	賬號	密碼
管理員	archer	archer
工程師	engineer	archer
審核人	auditor	archer
DBA	dba	archer

部分問題解決辦法

查看錯誤日誌

/tmp/default.log & /tmp/archer.err

頁面樣式顯示異常

runserver/debug.sh啟動
settings裡面關閉了debug，即DEBUG = False，需要在啟動命令後面增加--insecure，變成

nginx+gunicorn/startup.sh啟動
nginx的靜態資源配置不正確

 location /static {
              alias /archer/static; #此处指向settings.py配置项STATIC_ROOT目录的绝对路径，用于nginx收集静态资源，一般默认为archer按照目录下的static目录
            }

用戶管理

偶現添加用戶報錯採用nginx+gunicorn/startup.sh啟動，多worker的部署可能出現，目前問題沒有解決
無法登錄（確認用戶名和密碼正確）
檢查用戶is_active字段是否為1

SQL上線

集群不顯示數據庫
archer會默認過濾一些系統數據庫，過濾列表為'information_schema', 'performance_schema', 'mysql', 'test', 'sys'
審核人不顯示沒有為審核人/DBA角色的有效用戶
審核通過後沒有執行按鈕
archer的SQL上線流程為：工程師提交SQL->審核人審核->DBA執行，審核人只能審核歸屬自己審核的數據，DBA執行全部數據

檢測SQL報錯

invalid literal for int() with base 10:'Inception2'
調整pymysql使其兼容Inception版本信息，
使用src/docker/pymysql目錄下的文件替換/path/to/python3/lib/python3.4/site-packages/pymysql/目錄下的文件
invalid source infomation
inception用來審核的賬號，密碼不能包含*
Must start as begin statement
python3的pymysql模塊會向inception發送SHOW WARNINGS語句，導致inception返回一個"Must start as begin statement"錯誤被archer捕捉到報在日誌裡使用src/docker/pymysql目錄下的文件替換/path/to/python3/lib/python3.4/site-packages/pymysql/目錄下的文件
Incorrect database name ''
inception檢查不支持子查詢
Invalid remote backup information
inception無法連接備份庫

無法生成回滾語句

檢查配置文件裡面inception相關配置

檢查inception審核用戶和備份用戶權限，權限參考

 — inception备份用户
GRANT SELECT, INSERT, CREATE ON *.* TO 'inception_bak'
— inception审核用户（主库配置用户，如果要使用会话管理需要赋予SUPER权限，如果需要使用OSC，请额外配置权限）
GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, ALTER,REPLICATION CLIENT,REPLICATION SLAVE ON *.* TO 'inception'
— archer在线查询用户（从库配置用户）
GRANT SELECT ON *.* TO 'archer_read'