franztao

Talk is cheap, show me the code.

LLM agent的视觉指南A Visual Guide to LLM Agents

2025年3月

最近在做agent的工作，一篇对agent技术深入浅出的博文https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-llm-agents，写的很棒，特地翻译下。 正文 LLM agent正变得越来越普遍，似乎正在取代我们熟悉的“常规”对话式 LLM。这些令人难以置信的功能并不容易实现，需要许多组件协同工作。 通过...

Posted by franztao on March 19, 2025

DeepSeek R1复现

2025年02月

DeepSeek R1复现指导手册 1、DeepSeek R1 蒸馏指导 参考工程：https://github.com/huggingface/open-r1 1.1、DeepSeek R1蒸馏原理 蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显著降低计算成本和内存占用。 DeepSeek R...

Posted by franztao on February 1, 2025

DeepSeek R1 蒸馏

2025年02月

DeepSeek R1 蒸馏指导手册 参考工程：https://github.com/huggingface/open-r1 1、DeepSeek R1蒸馏原理 蒸馏是一种机器学习技术，其中较小的模型（“学生”）经过训练以模仿较大的预训练模型（“老师”）的行为。目标是保留老师的大部分表现，同时显着降低计算成本和内存占用。 DeepSeek R1 SFT蒸馏小模型的本质：将【DeepS...

Posted by franztao on February 1, 2025

DeepSeek R1 强化学习

2025年02月

DeepSeek R1 强化学习指导手册 参考工程：deep-learning-pytorch-huggingface/training/mini-deepseek-r1-aha-grpo.ipynb at main · philschmid/deep-learning-pytorch-huggingface 项目操作手册 ++数据和模型准备++ 本项目的训练任务为利用给定的...

Posted by franztao on February 1, 2025

图解20个重要的思维模型

Posted by franztao on January 9, 2025

读王慧文清华产品课笔记

2024年12月

战略 战略是不同时空里ROI最高的Strategy。 一、市场体量(TAM: Total Addressable Market) 二、规模效应 规模效应是商业世界里的万有引力，规模效应在商业世界里的重要性就像物理世界里的万 有引力。 规模效应是交易额/客户使用量足够大之后所产生的客户体验优势或成本优势， 具体是成本优势还是客户体验优势取决于具体的生意模式 互联网的价值和节点数的...

Posted by franztao on December 25, 2024

Multimodel_documentai_rag

任务描述 学习gradio，自己搭建一个NLP/多模态/RAG等方向的一个demo paper(https://arxiv.org/pdf/2407.01449) 参考资料 Multimodal Retrieval-Augmented Generation (RAG) with Document Retrieval (ColPali) and Vision Langua...

Posted by franztao on November 29, 2024

量化压缩kernal分析

子任务： •1. 采用常见深度学习框架实现一个经典模型 •框架可以选：tensorflow/pytorch/caffe •经典模型可以从前文算法模型中选择一个 •最好是从0开始搭建，不要直接将网上模型下载下来，理解深度学习模型中的基本元素，包括节点，边，层，图等。 •2. 基于训练集设计预处理、loss并训练到收敛 •设计图像预处理逻辑，理解预处理对训练收敛的意义 •自行设计l...

Posted by franztao on November 28, 2024

Query_operation

query->multi query • 为什么要进行 query 理解 1、用户表达的模糊性 2、query 和 doc 不在同一个语义空间 3、用户的 query 可能比较复杂 • query 理解有哪些技术（从 RAG 角度） query 理解技术分为三大类：query 改写、query 增强和 query 分解 • 各种 query 理解...

Posted by franztao on November 28, 2024

采用CUDA实现矩阵乘法

2024年11月

任务描述 采用CUDA实现矩阵乘法：A矩阵：1024x1024，B矩阵：1024x1024，C矩阵：1024x1024，目标是尽可能的减少整个流程时间 学习目标 入门cuda,什么是cuda，cuda的基本操作 如何对一个cuda问题，基于cuda领域持续优化，从哪些角度思考，优化cuda需要结合硬件情况，不只是考虑算法的时间复杂度，也需要从硬件是否可以实现甚至实现的高效性考...

Posted by franztao on November 20, 2024

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS