franztao

Talk is cheap, show me the code.

量化压缩kernal分析

子任务: •1. 采用常见深度学习框架实现一个经典模型 •框架可以选:tensorflow/pytorch/caffe •经典模型可以从前文算法模型中选择一个 •最好是从0开始搭建,不要直接将网上模型下载下来,理解深度学习模型中的基本元素,包括节点,边,层,图等。 •2. 基于训练集设计预处理、loss并训练到收敛 •设计图像预处理逻辑,理解预处理对训练收敛的意义 •自行设计l...

Query_operation

query->multi query • 为什么要进行 query 理解 1、用户表达的模糊性 2、query 和 doc 不在同一个语义空间 3、用户的 query 可能比较复杂 • query 理解有哪些技术(从 RAG 角度) query 理解技术分为三大类:query 改写、query 增强和 query 分解 • 各种 query 理解...

采用CUDA实现矩阵乘法

2024年11月

任务描述 采用CUDA实现矩阵乘法:A矩阵:1024x1024,B矩阵:1024x1024,C矩阵:1024x1024,目标是尽可能的减少整个流程时间 学习目标 入门cuda,什么是cuda,cuda的基本操作 如何对一个cuda问题,基于cuda领域持续优化,从哪些角度思考,优化cuda需要结合硬件情况,不只是考虑算法的时间复杂度,也需要从硬件是否可以实现甚至实现的高效性考...

CUDA编程基础入门系列

2024年11月

cuda入门 参考B站CUDA编程基础入门系列(持续更新)的学习笔记 CPU+GPU异构架构 GPU不能单独计算, CPU+GPU组成异构计算架构;CPU起到控制作用, 一般称为主机(Host) ; GPU可以看作CPU的协处理器, 一般称为设备(Device) ;主机和设备之间内存访问一般通过PCIe总线链接。 查询GPU详细信息 查询GPU详细信息 nvidia-smi –q...

Swimtransformer


学习笔记

2022年12月

李宏毅老师新鲜出炉的关于ChatGPT的解读视频,非常推荐:Chat GPT (可能)是怎麼煉成的 - GPT 社會化的過程 - YouTube 原文链接:ChatGPT: Optimizing Language Models for Dialogue GPT Introduction 李宏毅老师 GPT3 ppt 模型之大,感官认识如下图说明 模型整体架构 chatGP...

文章如何转载/引用

2022年12月

本站使用“署名-非商业性使用-禁止演绎”协议,文章不禁转载,但需要注明来源于本站,以及注明来源链接,并且不能随意商业使用。 顺便说,本站不禁转载,但是像公众号等具有原创标识的平台,如果你希望以“原创”身份来转发本站文章时,需要私下联系本人,并获得本人授权,否则会尽力追究相关责任。 作为最基本的尊重,请不要将文章进行简单的“洗稿”后作为你的“原创”发表。 当然这只是个参考格式,事实上我也...

DETR

2022年11月

DETR:End to End Object Detection with Transformers DETR训练过程: 第一步用CNN抽特征。 第二步用Transformer编码器去学全局特征,帮助后边做检测。 第三步,结合learned object query用Transformer解码器生成很多预测框。 第四步,匹配预测框与GT框,在匹配上的框里做目标检测的loss。 D...

设计机器学习产品

2022年11月

设计机器学习产品 用于指导机器学习系统开发周期的模板,该模板考虑了产品要求、设计文档和项目注意事项。 概述 在本课程中,不仅会开发机器学习模型,还会讨论以可重现、可靠和稳健的方式将模型投入生产所需的所有重要 ML 系统和软件设计组件。将从为将要构建的精确产品设置场景开始。虽然这是一门技术课程,但最初的产品设计过程非常关键,是区分优秀产品与平庸产品的关键所在。本课将提供如何思考 ML...

机器学习编排

2022年11月

机器学习编排 通过创建可扩展的管道来创建、安排和监控工作流。 Intuition 到目前为止,已经将 DataOps(ELT、验证等)和 MLOps(优化、训练、评估等)工作流实现为 Python 函数调用。这很有效,因为数据集是静态的并且很小。但是当需要: 在新数据到来时安排这些工作流程? 随着数据的增长扩展这些工作流程? 将这些工作流程共享给下游应用程序? ...