使用工作流建立持续集成和交付管道，以可靠地迭代应用程序。
intuition
持续集成 (CI) 允许团队以结构化的方式开发、测试和集成代码。这使团队可以更加自信和频繁地开发，因为他们的工作将被正确集成。持续交付 (CD) 将集成代码交付给依赖它的各种应用程序。借助 CI/CD 管道，可以开发和部署，因为知道系统可以快速适应并按预期工作。
GitHub 操作
在本课中，将使用GitHub Actions创建与推送到 git 的代码相关的 CI/CD。将在编排课程中了解有关 CI/CD 的更多信息，将更广泛地将其应用于 DataOps 和 MLOps。
GitHub Actions 具有与 GitHub 很好地集成的额外优势，并且由于所有的工作都在那里进行版本控制，可以轻松地基于 GitHub 事件（推送、PR、发布等）创建工作流。GitHub Actions 还拥有一个丰富的市场，其中包含可以用于自己的项目的工作流。而且，最重要的是，GitHub Actions对公共存储库是免费的。
成分
将通过了解构成 Action 的组件来了解 GitHub Actions。这些组件遵循特定的工作流语法，可以使用适当的上下文和表达式语法进行扩展。
工作流程
使用 GitHub Actions，正在创建自动工作流来为做一些事情。将首先创建一个 .github/workflows 目录来组织所有的工作流。
mkdir -p .github/workflows
touch .github/workflows/testing.yml
touch .github/workflows/documentation.yml
每个工作流文件都将包含该操作的具体说明。例如，这个测试工作流程负责对代码库进行测试。可以在 YAML 文件的顶部指定工作流的名称。
# .github/workflows/testing.yml
name: testing
活动
工作流由事件触发，事件可以是按计划 ( cron )、webhook 或手动发生的事情。在应用程序中，当有人直接向主分支推送或提交 PR 时，将使用 push and pull request 请求webhook 事件来运行测试工作流程。
# .github/workflows/testing.yml
on:
push:
branches:
- main
- master
pull_request:
branches:
- main
- master
请务必查看可以触发工作流的不同事件的完整列表。
工作
触发事件后，一组作业将在runner上运行，这是使用特定操作系统运行作业的应用程序。第一个（也是唯一一个）工作是test-code在最新版本的 ubuntu 上运行。
# .github/workflows/testing.yml
jobs:
test-code:
runs-on: ubuntu-latest
作业并行运行，但如果您需要创建从属作业，如果特定作业失败，则所有相关作业都将被跳过，那么请务必使用需求键。一个类似的说明，还可以在工作之间共享数据。
Steps
每个作业都包含一系列按顺序执行的步骤。每个步骤都有一个名称，以及要从 GitHub Action 市场使用的操作或要运行的命令。对于这项test-code工作，步骤是checkout repo，安装必要的依赖项并运行测试。
name: testing
on:
push:
branches:
- master
- main
pull_request:
branches:
- master
- main
jobs:
test-code:
runs-on: ubuntu-latest
steps:
- name: Checkout repo
uses: actions/checkout@v2
- name: Set up Python
uses: actions/setup-python@v2
with:
python-version: 3.7.13
- name: Caching
uses: actions/cache@v2
with:
path: $/{/{ env.pythonLocation /}/}
key: $/{/{ env.pythonLocation /}/}-$/{/{ hashFiles('setup.py') /}/}-$/{/{ hashFiles('requirements.txt') /}/}
- name: Install dependencies
run: |
python -m pip install -e ".[test]" --no-cache-dir
- name: Execute tests
run: pytest tests/tagifai --ignore tests/tagifai/test_main.py --ignore tests/tagifai/test_data.py
请注意，步骤之一是使用特定键缓存整个 Python 环境。只要密钥保持不变（相同的 python 位置、setup.py 和 requirements.txt），这将显着加快下一次运行 Action 所需的时间。
其他工作流程负责自动生成和部署 mkdocs 文档。下面的“部署文档”步骤将在存储库中创建/更新一个名为gh-pages的新分支，该分支将包含文档的生成 UI 文件。可以通过转到Settings>Pages并将源分支设置为gh-pages并将文件夹设置为/root>来将此分支部署为 GitHub 页面网站Save。这将为文档生成公共 URL，并在每次 PR 之后运行工作流时自动更新。
# .github/workflows/documentation.yml
name: documentation
...
jobs:
build-docs:
...
- name: Deploy documentation
run: mkdocs gh-deploy --force
View
.github/workflows/documentation.ymlname: documentation on: push: branches: - master - main pull_request: branches: - master - main jobs: build-docs: runs-on: ubuntu-latest steps: - name: Checkout repo uses: actions/checkout@v2 - name: Set up Python uses: actions/setup-python@v2 with: python-version: 3.7.13 - name: Caching uses: actions/cache@v2 with: path: $/{/{ env.pythonLocation /}/} key: $/{/{ env.pythonLocation /}/}-$/{/{ hashFiles(‘setup.py’) /}/}-$/{/{ hashFiles(‘requirements.txt’) /}/} - name: Install dependencies run: | python -m pip install -e “.[docs]” –no-cache-dir - name: Deploy documentation run: mkdocs gh-deploy –force
查看.github/workflows/documentation.yml
运行
回想一下，当某些事件发生时将触发工作流。例如，测试工作流程将在向主分支推送或 PR 时启动。可以在存储库页面的Actions选项卡上查看工作流的运行（当前和以前） 。如果单击特定的运行，还可以查看所有步骤及其输出。还可以设置分支保护规则（GitHub仓库页面» Settings）Branches，保证这些工作流运行全部成功后，才能合并到主分支。
虽然有一些方法，例如act，可以在本地运行和测试工作流，但其中许多方法不够稳定，无法可靠使用。
服务
在所有集成测试通过后，有各种各样的 GitHub 操作可用于部署和服务 ML 应用程序。它们中的大多数将要求定义一个 Dockerfile，该文件将使用适当的工件加载和启动服务。在系统设计课程中阅读有关所需基础设施的更多信息。
- AWS EC2、谷歌计算引擎、Azure VM等。
- 容器编排服务，例如AWS ECS或Google Kubernetes Engine
- 无服务器选项，例如AWS Lambda或Google Cloud Functions。
如果想一次部署和服务多个模型，强烈建议使用专门构建的模型服务器来无缝检查、更新、服务、回滚等多个版本的模型。
使用它的具体部署方法完全取决于应用程序、团队、现有基础设施等。关键组件是能够在所有集成测试通过时更新应用程序，而无需手动干预部署。
note
将在编排课程中学习如何分离开发和服务。仍然可以利用 CI/CD 工作流程将代码推送到 Git，但是单独的工作流程可以使用经过验证的代码库来执行下游工作流程（评估、服务、再培训等）。
市场
那么从市场上使用的这些操作到底是什么？例如，在上述工作中的第一步test-code是使用actions/ checkout@v2 GitHub Action checkout repo。Action 的链接包含有关如何使用它、场景等的信息。 Marketplace 具有满足各种需求的操作，包括针对各种云提供商的持续部署、代码质量检查等。
- Great Expectations：确保 GE 检查点在发生任何可能影响数据工程管道的更改时通过。此操作还使用Netlify创建了一个免费的 GE 仪表板，其中包含更新的数据文档。
- 持续 ML：训练、评估和监控您的 ML 模型并生成总结工作流程的报告。如果您不想离线训练，您可以手动/自动触发训练管道以在云基础设施 (AWS/GCP) 或自托管运行器上运行。
不要将您的工作流程限制在 Marketplace 上可用的内容或单个命令操作上。可以做一些事情，比如包含代码覆盖率报告、部署更新的 Streamlit 仪表板并将其 URL 附加到 PR、将应用程序交付 (CD) 到 AWS Lambda / EC2 等。
更多干货，第一时间更新在以下微信公众号：
您的一点点支持，是我后续更多的创造和贡献
转载到请包括本文地址 更详细的转载事宜请参考文章如何转载/引用
本文主体源自以下链接：
@article{madewithml,
author = {Goku Mohandas},
title = { Made With ML },
howpublished = {\url{https://madewithml.com/}},
year = {2022}
}
