TAG
AI
16 篇笔记
- 层次
从 AI、机器学习、深度学习到语言模型与 AI 工程,梳理核心概念的包含关系。
- LM
从文本序列的概率建模出发,理解 Token、词表,以及掩码语言模型和自回归语言模型的区别。
- LLM
从模型规模与自监督学习出发,梳理大语言模型的训练流程、架构演进、推理和优化方法。
- 基础模型
认识基础模型的定义及多模态分类,比较文本、图像、语音和其他领域的代表性模型。
- AI工程
理解 AI 工程的定位、出现背景、应用场景与技术栈,并与传统软件工程进行对比。
- 传统软件
以传统软件交付链路为参照,回顾需求、调研、实现、测试、性能和运维之间的关系。
- RAG
围绕检索增强生成的动机、索引与检索链路、上下文构建、效果优化和评估展开。
- Agent
从 Agent 的定义和适用问题出发,理解工具调用、规划、ReAct 模式和可靠执行。
- Fine-tuning
梳理微调的作用与边界,比较不同训练策略,并分析微调流程、优化方法及评估。
- Prompt Engineering
从提示词的组成与有效性出发,讨论上下文、示例、约束、安全风险和提示词优化。
- Memory
对比模型内部知识、短期上下文与外部长期记忆,梳理记忆管理和检索机制。
- 评估
围绕 AI 系统的评价标准、评估方法、模型选择与决策,组织一套可落地的评估思路。
- 数据集工程(Dataset Engineering)
从数据需求、采集、合成、清洗、验证到质量控制,系统整理数据集工程的全过程。
- AI工程架构与用户反馈
将网关、上下文工程、安全防护、缓存、Agent 与可观测性纳入统一架构,并讨论用户反馈闭环。
- 推理优化(Inference Optimization)
从延迟、吞吐量、显存和成本等指标入手,梳理模型、推理引擎与服务层的优化方法。
- AI 技术体系
以算力基础设施、模型、应用平台和 AI 应用四层结构,建立 AI 技术体系的整体视图。