SVD分解与消融实验：特征重要性分析为何结果大相径庭？ 在机器学习的特征工程中，我们常通过SVD分解（奇异值分解）的无监督方式量化特征重要性，也会用消融实验（Ablation Study）的有监督手段验证特征对任务的实际贡献。但很多时候，这两种方法给出的结论却天差地别——比如SVD认为某特征“至关重要”，消融实验中移除它却对模型性能毫无影响；反之，SVD里“无足轻重”的特征，消融后模型直接...

SVD分解：原理、性质与应用全解析 奇异值分解（Singular Value Decomposition，简称SVD）是线性代数中最核心、最强大的矩阵分解工具之一。它不要求矩阵是方阵、对称或可逆，几乎适用于所有实数矩阵，因此在机器学习、数据挖掘、信号处理、计算机视觉等领域有着广泛的应用。本文将从数学原理、核心性质、实际应用三个维度，详细拆解SVD分解。 一、SVD分解的数学原理 1.1 定...

1. 引言 直接使用这个函数，解决了rank模型中，部分稀疏目标无法正常训练的问题，学习一下其推导过程。 2. 二分类问题 一般我们在模型训练中，会使用sigmoid函数作为激活函数，将模型的输出映射到(0,1)之间，作为二分类问题的预测概率。 但是，sigmoid函数有一些问题，比如： 当输入非常大或非常小时，sigmoid函数的输出接近0或1，而梯度接近0，这会导致梯度消失问题...

论文名字：ROFORMER: ENHANCED TRANSFORMER WITH ROTARY POSITION EMBEDDING 这篇论文主要介绍了一种名为RoFormer的增强型Transformer模型，其核心是提出了旋转位置嵌入（RoPE）方法来改进Transformer中的位置编码机制，具体内容如下： [\begin{equation} \begin{split} q_m &...

论文名字：Self-Attention with Relative Position Representations 绝对位置编码有明显的局限性，不能处理超过训练数据长度的序列，token之间的位置关系，表达不清晰。 自注意力子层输出计算: [z_{i}=\sum_{j=1}^{n} \alpha_{i j}\left(x_{j} W^{V}\right)] 注意力权重...

1. 引言 梯度计算是深度学习的核心机制之一，PyTorch通过 自动微分（Autograd） 系统实现了高效的梯度计算。本文将深入解析PyTorch中梯度计算的原理与实现细节。 2. 计算图与反向传播 PyTorch采用 动态计算图（Dynamic Computation Graph）： 前向传播时实时构建计算图 每个张量操作被记录为图中的节点 反向传播时自动计算梯度 ...

RQ-VAE（Residual Quantized Variational Autoencoder）方法详解 一、 方法概述 Residual-Quantized Variational AutoEncoder（RQ-VAE）是一种结合了残差连接（Residual Connection）和量化技术（Quantization）的变分自编码器（VAE）。 它旨在通过引入这些技术，提高模型的生成...

Flash Attention 计算正确性数学推导 标准注意力计算 给定查询矩阵 \(Q \in \mathbb{R}^{N \times d}\)，键矩阵\(K \in \mathbb{R}^{N \times d}\)，值矩阵\(V \in \mathbb{R}^{N \times d}\)，标准注意力输出\(O \in \mathbb{R}^{N \times d}\)计算为： ...

Self-Attention 与 Cross-Attention 的区别及实现细节 应用场景 类型 应用场景 示例 Self-Attention 单序列内部关系建模 Transformer 编码器、文本分类 Cross-Attentio...

看看gpt2的代码，改成生成式推荐需要的代码。 https://github.com/huggingface/transformers/blob/main/src/transformers/models/gpt2/modeling_gpt2.py # coding=utf-8 # Copyright 2018 The OpenAI Team Authors and HuggingFace ...