人工智能知识速查
函数与数系
函数基础
定义域与值域
复合函数
反函数
奇偶性与单调性
凸性与凹性
方程与超平面
线性方程（Ax + By + C = 0）
超平面（w·x + b = 0）
法向量与半空间
点到超平面的距离
指数函数
对数函数
幂函数
三角函数
基本三角恒等式
欧拉公式
复数
复数的表示（直角 / 极坐标）
共轭与模
复数乘法与旋转
数列与级数
等差数列 / 等比数列
无穷级数与收敛
Taylor 展开
组合数学
排列与组合
二项式定理
不等式
基本不等式
Jensen 不等式
Cauchy-Schwarz 不等式
集合论基础
集合运算（并 / 交 / 补）
映射与关系
线性代数
向量与矩阵
矩阵运算
行列式
矩阵的秩
正定矩阵
特征值与特征向量
奇异值分解（SVD）
范数（L1 / L2）
微积分
极限与连续
极限的定义
连续性
无穷小与无穷大
导数与偏导数
向量微积分
梯度
散度
旋度
积分
不定积分
定积分
常用积分公式
多重积分
链式法则
最小二乘法
凸函数与凸优化
拉格朗日乘数法
KKT 条件
概率论与统计
基本概率
联合概率
条件概率
边缘概率
贝叶斯定理
常用分布
高斯分布（正态分布）
伯努利分布
多项式分布
泊松分布
期望、方差与协方差
最大似然估计（MLE）
最大后验估计（MAP）
大数定律与中心极限定理
信息论
熵（Entropy）
KL 散度
交叉熵
机器学习基础概念
学习范式
监督学习
无监督学习
自监督学习
对比学习
掩码预测
强化学习
马尔可夫决策过程（MDP）
Q-Learning
深度 Q 网络（DQN）
策略梯度（Policy Gradient）
近端策略优化（PPO）
基于人类反馈的强化学习（RLHF）
直接偏好优化（DPO）
群体相对策略优化（GRPO）
数据集工程
数据划分
训练集
验证集
测试集
归一化与标准化
特征工程
类别不平衡处理
正则化
L1 正则化（Lasso）
L2 正则化（Ridge）
Dropout
Batch Normalization
Early Stopping
模型评估
交叉验证
偏差与方差
分类指标
Accuracy
Precision
Recall
F1 Score
AUC-ROC
回归指标
MAE
MSE
RMSE
R²
经典机器学习
优化算法
梯度下降
批量梯度下降（BGD）
随机梯度下降（SGD）
小批量梯度下降（Mini-batch SGD）
动量法（Momentum）
AdaGrad / RMSProp
Adam
学习率调度
集成策略（Ensemble Learning）
Bagging
Boosting
Stacking
线性模型
线性回归
岭回归与 Lasso
逻辑回归
支持向量机（SVM）
树模型与集成方法
决策树
随机森林
梯度提升树（GBDT）
XGBoost
LightGBM
概率模型
朴素贝叶斯
高斯混合模型（GMM）
隐马尔可夫模型（HMM）
条件随机场（CRF）
近邻模型
K 近邻（KNN）
聚类
K-Means
层次聚类
DBSCAN
HDBSCAN
降维
主成分分析（PCA）
线性判别分析（LDA）
t-SNE
UMAP
异常检测
孤立森林（Isolation Forest）
局部异常因子（LOF）
单类支持向量机（One-Class SVM）
神经网络
前馈神经网络
感知机
多层感知机（MLP）
激活函数
Sigmoid
Tanh
ReLU
Leaky ReLU
ELU
GELU
Swish / SiLU
Softmax
损失函数
回归损失
MSE
MAE
Huber Loss
分类损失
交叉熵损失（Binary）
交叉熵损失（Categorical）
Focal Loss
Hinge Loss
度量学习损失
Contrastive Loss
Triplet Loss
InfoNCE
反向传播
权重初始化
Xavier 初始化
He 初始化
训练正则化技术
Dropout
Batch Normalization
Layer Normalization
卷积神经网络（CNN）
卷积层与池化层
经典架构
LeNet
AlexNet
VGG
ResNet
循环神经网络（RNN）
RNN
LSTM
GRU
生成模型
自编码器（AE）
变分自编码器（VAE）
生成对抗网络（GAN）
扩散模型（Diffusion）
图神经网络（GNN）
图卷积网络（GCN）
图注意力网络（GAT）
GraphSAGE
消息传递机制（Message Passing）
Transformers
整体架构
编码器-解码器
仅编码器
仅解码器
输入处理
Tokenization
BPE
WordPiece
SentencePiece
Token Embedding
位置编码
绝对位置编码
相对位置编码
RoPE
ALiBi
注意力机制
Scaled Dot-Product Attention
Multi-Head Attention
Masked Attention
Cross-Attention
KV Cache
Flash Attention
GQA（Grouped Query Attention）
前馈网络（FFN）
MLP
Mixture of Experts（MoE）
归一化
Layer Normalization
RMS Normalization
残差连接
主流预训练模型
文本表示模型
BERT
RoBERTa
文本生成模型
GPT 系列
LLaMA
Qwen
向量嵌入模型
Word2Vec（CBOW / Skip-gram）
GloVe
Sentence-BERT
text-embedding 系列
Seq2Seq 模型
T5
BART
多模态模型
视觉-语言模型
CLIP
LLaVA
GPT-4V / Gemini
图像生成模型
DALL-E
Stable Diffusion
Imagen
语音模型
Whisper
语音合成（TTS）
多模态对齐
对比学习对齐（CLIP 范式）
视觉指令微调
预训练与微调
预训练（Pre-training）
自回归语言建模（CLM）
掩码语言建模（MLM）
对比学习预训练
继续预训练（Continual Pre-training）
领域适配
灾难性遗忘问题
监督微调（SFT）
全量微调
指令微调（Instruction Tuning）
聊天微调（Chat Fine-tuning）
参数高效微调（PEFT）
LoRA
QLoRA
Adapter
Prefix Tuning
Prompt Tuning
强化学习对齐
奖励模型（Reward Model）
RLHF
DPO
GRPO
推理阶段优化
量化
INT8 / INT4 / FP8
GGUF / GGML
KV Cache 优化
Speculative Decoding
连续批处理（Continuous Batching）
推理框架
vLLM
TensorRT-LLM
Ollama
上下文工程（Context Engineering）
提示策略
零样本（Zero-shot）
少样本（Few-shot）
思维链（Chain-of-Thought）
Self-Consistency
ReAct
Tree of Thoughts（ToT）
上下文构建
系统提示（System Prompt）
对话历史与记忆
工具调用上下文
上下文窗口管理
Token 预算
压缩与摘要
长文本处理策略
结构化输出
JSON Schema 约束
函数调用（Function Calling）
检索增强生成（RAG）
分块策略（Chunking）
固定大小分块
语义分块
递归分块
向量数据库
检索策略
稠密检索（向量相似度）
全文检索（BM25 / ES）
混合检索
重排序（Reranking）
Cross-Encoder Reranker
LLM Reranker
生成与融合
智能体（Agent）
核心概念
感知-推理-行动循环
工具使用（Tool Use）
记忆系统
短期记忆（上下文窗口）
长期记忆（外部存储）
记忆类型：情景 / 语义 / 程序
推理与规划
ReAct
Reflection（自我反思）
Plan-and-Solve
MCTS（蒙特卡洛树搜索）
工具与行动
Function Calling
Code Interpreter
Web 搜索
Computer Use
MCP（模型上下文协议）
多智能体系统
角色分工
Planner
Executor
Critic
协作模式
顺序执行
并行执行
层级委派
主流框架
LangChain / LangGraph
AutoGen
CrewAI
OpenAI Assistants API
Leave a Reply