franztao

Talk is cheap, show me the code.

机器学习系统设计

2022年10月

可以根据数据约束和任务要求设计机器学习系统的不同方式。 Intuition 在本课程中，将讨论处理特征、从中学习、对模型进行试验和为它们提供服务的不同选项。还将讨论基础架构编排和扩展它们的不同选项。 任务 在讨论 ML 任务所需的基础架构之前，需要先讨论一下 ML 任务的基本类型。 静止的 一项任务可能涉及不随时间变化的特征。例如，如果 API 对上传的图片进行分类，则所有输入特...

Posted by franztao on October 27, 2022

预提交pre-commit

2022年10月

使用预提交 git 钩子来确保在提交之前进行检查。 Intuition 在对本地存储库执行提交之前，心理待办事项列表上有很多项目，从样式、格式化、测试等。很容易忘记其中的一些步骤，尤其是当想要“推送到快速解决”。为了帮助管理所有这些重要步骤，可以使用预提交钩子，当尝试执行提交时，它会自动触发。 尽管可以直接在 CI/CD 管道中添加这些检查（例如通过 GitHub 操作），但在推...

Posted by franztao on October 26, 2022

Git

2022年10月

跟踪工作的变化以实现可重复性和协作。 Intuition 无论是单独工作还是与团队一起工作，重要的是有一个系统来跟踪项目的变化，这样就可以恢复到以前的版本，这样其他人就可以重现transformers工作并为之做出贡献。Git是一个分布式版本控制系统，可以让做到这一点。Git 在transformers计算机上本地运行，它会跟踪transformers文件及其历史记录。为了与他人协作，可...

Posted by franztao on October 26, 2022

Docker

2022年10月

intuition 实现可重现性的最后一步是将版本化代码和工件部署在可重现的环境中。这远远超出了为 Python 应用程序配置的虚拟环境，因为没有捕获系统级规范（操作系统、所需的隐式包等）。希望能够封装需要的所有需求，这样就没有外部依赖项会阻止其他人复制确定应用程序。 docker 实际上有相当多的系统级可重复性解决方案（VM、容器引擎等），但Docker容器引擎是迄今为止最受欢迎的几...

Posted by franztao on October 26, 2022

CI/CD for Machine Learning

2022年10月

使用工作流建立持续集成和交付管道，以可靠地迭代应用程序。 intuition 持续集成 (CI) 允许团队以结构化的方式开发、测试和集成代码。这使团队可以更加自信和频繁地开发，因为他们的工作将被正确集成。持续交付 (CD) 将集成代码交付给依赖它的各种应用程序。借助 CI/CD 管道，可以开发和部署，因为知道系统可以快速适应并按预期工作。 GitHub 操作 在本课中，将使用GitH...

Posted by franztao on October 26, 2022

OpenCV 的知识体系

2022年10月

01 OpenCV 初识与安装 本部分要了解 OpenCV （Open Source Computer Vision Library）的相关简介，OpenCv 可以运行在多平台之上，轻量级而且高效，由一系列 C 函数和少量 C++类构成，提供了 Python、Ruby、MATLAB 等语言的接口，所以在学习的时候，要注意查阅资料的语言实现相关问题。 这个阶段除了安装 OpenCV 相关...

Posted by franztao on October 25, 2022

样式和格式代码

2022年10月

样式和格式约定使代码看起来一致。 Intuition 阅读代码的频率高于编写代码的频率。——Guido Van Rossum（Python 的作者） 当编写一段代码时，几乎从来都不是最后一次看到它或最后一次编辑它。所以需要解释发生了什么（通过文档）并使其易于阅读。使代码更具可读性的最简单方法之一是遵循一致的样式和格式约定。在遵守 Python 样式约定方面有很多选择，但大多数都...

Posted by franztao on October 10, 2022

打包python代码库

2022年10月

使用配置和虚拟环境来创建用于重现结果的设置。 Intuition 到目前为止，一直在note本内部工作，这使能够非常快速地训练模型。但是，note本并不容易投入生产，而且并不总是能够控制环境（例如，Google Colab 会定期更新其软件包）。当使用notebook时，有一组预加载的包（!pip list在 notebook 中运行以查看所有包）。但是现在想要明确定义环境，以便可以在本...

Posted by franztao on October 10, 2022

组织机器学习代码

2022年10月

组织机器学习代码 从note本转移到 Python 脚本时组织代码。 Intuition 有组织的代码就是有可读的、可重现的、健壮的代码。您的团队、经理，最重要的是，您未来的自己，将感谢您为组织工作付出的最初努力。在本课中，将讨论如何将代码从note本迁移和组织到 Python 脚本。 Editor 在开始编码之前，需要一个空间来完成它。代码编辑器有多种选择，例如VSCode、At...

Posted by franztao on October 10, 2022

Makefile

2022年10月

为应用程序流程组织命令的自动化工具。 Intuition 尽管只完成了课程的一半，但已经有很多不同的命令需要跟踪。为了帮助组织一切，将使用Makefile一个自动化工具来组织命令。将首先在项目的根目录中创建此文件。 在顶部，Makefile需要指定希望所有命令在其中执行的 shell 环境： # Makefile SHELL = /bin/bash 成分 在Makefile中，...

Posted by franztao on October 10, 2022

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS