浅鱼

Webhook 实现项目自动部署
面临的问题我们在本地开发好一个 web 项目,如果想要给别人看的话一般来说都是需要部署到服务器上面的。如果你使用 ...
扫描右侧二维码阅读全文
31
2018/10

Webhook 实现项目自动部署

面临的问题

我们在本地开发好一个 web 项目,如果想要给别人看的话一般来说都是需要部署到服务器上面的。如果你使用 github 或者 coding 等代码托管的服务,只需要在服务器安装好环境且安装好 git 之后,把项目 clone 下来然后启动自己的项目就行了。如果是 Node.js项目,可能需要使用到 forever 或者 pm2(Node 进程会时不时自动关闭--具体原因我暂时还没有弄清楚)。

但是,如果我更新了代码到了远程仓库去了,而服务器还是以前的老代码,你还是需要登录到服务器上面并且用 git 命令把最新的代码拉下来,再重启一次项目。久而久之,如果更改代码频繁的话,每次都需要自己登录到服务器上手动部署也不是一个办法。

刚好我们又用到了一些代码托管的服务,且有 WebHook 这种好东西,怎么不拿来用一用呢!

于是我要完成的事情便是完成一个能够将我最新版本的项目文件,随时同步到服务器的 Webhook。简单分析一下我需要什么:

1、一台外网可以访问的主机

2、一个能够响应 Webhook 的服务器

3、配置 Webhook

1. 一台外网可访问的主机

什么叫外网可访问的主机?简单来说,就是搭建好服务器后你能够输入一个IP加端口号就可以访问的主机。

2、响应 Webhook 的服务器

为了响应 Webhook 所发出的请求,从而做一些我们想做的事情,我们得先实现一个响应服务器。下面给出两个版本:python 和 node 的。

Python版:

用 Flask 搭建一个小的 web 服务非常简单。这里可以先看看项目的结构。

├── app
│   ├── __init__.py
│   └── webhooks.py
├── requirements.txt
└── wsgi.py

首先,创建应用。应用代码在 app 目录下。

两个文件(__init__.py 和 webhooks.py)构成了 Flask 应用。前者包含有创建 Flask 应用并为其添加配置的代码。后者有端点endpoint逻辑。这是该应用接收 GitHub 请求数据的地方。

这里是 app/__init__.py 的内容:

import os
from flask import Flask
from .webhooks import webhook
def create_app():
 """ Create, configure and return the Flask application """
  app = Flask(__name__)
  app.config['GITHUB_SECRET'] = os.environ.get('GITHUB_SECRET')
  app.config['REPO_PATH'] = os.environ.get('REPO_PATH')
  app.register_blueprint(webhook)
  return(app)

该函数创建了两个配置变量:

GITHUB_SECRET 保存一个密码,用来认证 GitHub 请求。

REPO_PATH 保存了自动更新的仓库路径。

这份代码使用Flask 蓝图Flask Blueprints来组织应用的端点endpoint。使用蓝图可以对 API 进行逻辑分组,使应用程序更易于维护。通常认为这是一种好的做法。

这里是 app/webhooks.py 的内容:

import hmac
from flask import request, Blueprint, jsonify, current_app 
from git import Repo
webhook = Blueprint('webhook', __name__, url_prefix='')
@webhook.route('/github', methods=['POST']) 
def handle_github_hook(): 
 """ Entry point for github webhook """
  signature = request.headers.get('X-Hub-Signature') 
  sha, signature = signature.split('=')
  secret = str.encode(current_app.config.get('GITHUB_SECRET'))
  hashhex = hmac.new(secret, request.data, digestmod='sha1').hexdigest()
  if hmac.compare_digest(hashhex, signature): 
    repo = Repo(current_app.config.get('REPO_PATH')) 
    origin = repo.remotes.origin 
    origin.pull('--rebase')
    commit = request.json['after'][0:6]
    print('Repository updated with commit {}'.format(commit))
  return jsonify({}), 200

首先代码创建了一个新的蓝图 webhook。然后它使用 Flask route 为蓝图添加了一个端点。任何请求 /GitHub URL 端点的 POST 请求都将调用这个路由。

验证请求

当服务在该端点上接到请求时,首先它必须验证该请求是否来自 GitHub 以及来自正确的仓库。GitHub 在请求头的 X-Hub-Signature 中提供了一个签名。该签名由一个密码(GITHUB_SECRET),请求体的 HMAC 十六进制摘要,并使用 sha1 哈希生成。

为了验证请求,服务需要在本地计算签名并与请求头中收到的签名做比较。这可以由 hmac.compare_digest 函数完成。

自定义钩子逻辑

在验证请求后,现在就可以处理了。这篇教程使用 GitPython 模块来与 git 仓库进行交互。GitPython 模块中的 Repo 对象用于访问远程仓库 origin。该服务在本地拉取 origin 仓库的最新更改,还用 --rebase 选项来避免合并的问题。

调试打印语句显示了从请求体收到的短提交哈希。这个例子展示了如何使用请求体。更多关于请求体的可用数据的信息,请查询 GitHub 文档。

最后该服务返回了一个空的 JSON 字符串和 200 的状态码。这用于告诉 GitHub 的网络钩子服务已经收到了请求。


Node.js版:

var http = require('http')
  , exec = require('exec')

const PORT = 9988
  , PATH = '../html'

var deployServer = http.createServer(function(request, response) {
  if (request.url.search(/deploy\/?$/i) > 0) {

    var commands = [
      'cd ' + PATH,
      'git pull'
    ].join(' && ')

    exec(commands, function(err, out, code) {
      if (err instanceof Error) {
        response.writeHead(500)
        response.end('Server Internal Error.')
        throw err
      }
      process.stderr.write(err)
      process.stdout.write(out)
      response.writeHead(200)
      response.end('Deploy Done.')

    })

  } else {

    response.writeHead(404)
    response.end('Not Found.')

  }
})

deployServer.listen(PORT)

如果还需要实现更多,更复杂的功能,直接在 commands 数组中添加便是。此处我的项目根目录 html 与部署服务器根目录同属一个目录,所以配置常量 PATH = '../html'。只要启动了服务器,那么 Webhook 就可以通过类似于 http://104.236.xxx.xxx:9988/deploy/ 的路径来部署我的项目啦。

webhook部署

Python版:

为了运行该服务,这个例子使用 gunicorn web 服务器。首先安装服务依赖。在支持的 Fedora 服务器上,以 sudo 运行这条命令:

sudo dnf install python3-gunicorn python3-flask python3-GitPython

现在编辑 gunicorn 使用的 wsgi.py 文件来运行该服务:

from app import create_app
application = create_app()

为了部署服务,使用以下命令克隆这个 git 仓库或者使用你自己的 git 仓库:

git clone https://github.com/zwq-qianyu/csu_jobsky_collect.git /opt/

下一步是配置服务所需的环境变量。运行这些命令:

export GITHUB_SECRET=asecretpassphraseusebygithubwebhook
export REPO_PATH=/opt/github_hook_deployment/

这篇教程使用网络钩子服务的 GitHub 仓库,但你可以使用你想要的不同仓库。最后,使用这些命令开启该 web 服务:

cd /opt/github_hook_deployment/
gunicorn --bind 0.0.0.0 wsgi:application --reload

这些选项中绑定了 web 服务的 IP 地址为 0.0.0.0,意味着它将接收来自任何的主机的请求。选项 --reload 确保了当代码更改时重启 web 服务。这就是持续部署的魔力所在。每次接收到 GitHub 请求时将拉取仓库的最近更新,同时 gunicore 检测这些更改并且自动重启服务。


Node版

安装 forever:

$ [sudo] npm install -g forever

运行:

$ cd { 部署服务器的根目录 }
$ forever start server.js


三、配置 Webhook

最后一部分是配置 GitHub 来发送网络钩子请求到 web 服务上。这是持续部署的关键。

从你的 GitHub 仓库的设置中,选择 Webhook 菜单,并且点击“Add Webhook”。输入以下信息:

“Payload URL”: 服务的 URL,比如http://public_ip_address:8000/github

“Content type”: 选择 “application/json”

“Secret”: 前面定义的 GITHUB_SECRET 环境变量

然后点击“Add Webhook” 按钮。
屏幕快照 2018-10-31 19.14.53.png

配置好 Webhook 后,Github 会发送一个 ping 来测试这个地址。如果成功了,那么这个 Webhook 前就会加上一个绿色的勾;如果你得到的是一个红色的叉,那就好好检查一下哪儿出问题了吧!

参考文献:
1、Webhook 实践 —— 自动部署
2、使用 GitHub 和 Python 实现持续部署
3、使用 WebHook 来自动部署 NodeJS 项目!

Last modification:October 31st, 2018 at 07:20 pm
If you think my article is useful to you, please feel free to appreciate

Leave a Comment