gradient测血统网页版（gradient测哪国血统）

本文目录

• gradient测哪国血统
• gradient软件血统怎么用
• python gradientboostingregressor可以做预测吗
• Gradient Episodic Memory for Continual Learning
• bp神经网络中的gradient是什么意思
• 受限显存下增加batchsize策略：gradient checkpointing
• -webkit-mask : -webkit-gradient 渐变蒙版从左到右怎么改成从上到下

gradient测哪国血统

英国
总体来英国人除了日耳曼和凯尔特基本没有别的血统了,凯尔特和日耳曼都属于白人的波罗的海类型,所以英国人和南欧那些差别还是很大的。

gradient软件血统怎么用

gradient是一款超好玩的测血统软件，上传或拍摄一张面部照片，就能根据你的轮廓信息分析出你的dna祖先。

python gradientboostingregressor可以做预测吗

可以

最近项目中涉及基于Gradient Boosting Regression 算法拟合时间序列曲线的内容，利用python机器学习包 scikit-learn 中的GradientBoostingRegressor完成

因此就学习了下Gradient Boosting算法，在这里分享下我的理解

Boosting 算法简介

Boosting算法，我理解的就是两个思想：

1）“三个臭皮匠顶个诸葛亮”，一堆弱分类器的组合就可以成为一个强分类器；

2）“知错能改，善莫大焉”，不断地在错误中学习，迭代来降低犯错概率

当然，要理解好Boosting的思想，首先还是从弱学习算法和强学习算法来引入：

1）强学习算法：存在一个多项式时间的学习算法以识别一组概念，且识别的正确率很高；

2）弱学习算法：识别一组概念的正确率仅比随机猜测略好；

Kearns & Valiant证明了弱学习算法与强学习算法的等价问题，如果两者等价，只需找到一个比随机猜测略好的学习算法，就可以将其提升为强学习算法。

那么是怎么实现“知错就改”的呢？

Boosting算法，通过一系列的迭代来优化分类结果，每迭代一次引入一个弱分类器，来克服现在已经存在的弱分类器组合的shortcomings

在Adaboost算法中，这个shortcomings的表征就是权值高的样本点

而在Gradient Boosting算法中,这个shortcomings的表征就是梯度

无论是Adaboost还是Gradient Boosting，都是通过这个shortcomings来告诉学习器怎么去提升模型，也就是“Boosting”这个名字的由来吧

Adaboost算法

Adaboost是由Freund 和 Schapire在1997年提出的，在整个训练集上维护一个分布权值向量W,用赋予权重的训练集通过弱分类算法产生分类假设（基学习器）y(x),然后计算错误率,用得到的错误率去更新分布权值向量w,对错误分类的样本分配更大的权值,正确分类的样本赋予更小的权值。每次更新后用相同的弱分类算法产生新的分类假设,这些分类假设的序列构成多分类器。对这些多分类器用加权的方法进行联合,最后得到决策结果。

其结构如下图所示：

前一个学习器改变权重w，然后再经过下一个学习器，最终所有的学习器共同组成最后的学习器。

如果一个样本在前一个学习器中被误分，那么它所对应的权重会被加重，相应地，被正确分类的样本的权重会降低。

这里主要涉及到两个权重的计算问题：

1）样本的权值

1》 没有先验知识的情况下,初始的分布应为等概分布,样本数目为n,权值为1/n

2》 每一次的迭代更新权值，提高分错样本的权重

2）弱学习器的权值

1》 最后的强学习器是通过多个基学习器通过权值组合得到的。

2》 通过权值体现不同基学习器的影响,正确率高的基学习器权重高。实际上是分类误差的一个函数

Gradient Boosting

和Adaboost不同，Gradient Boosting 在迭代的时候选择梯度下降的方向来保证最后的结果最好。

损失函数用来描述模型的“靠谱”程度，假设模型没有过拟合，损失函数越大，模型的错误率越高

如果我们的模型能够让损失函数持续的下降，则说明我们的模型在不停的改进，而最好的方式就是让损失函数在其梯度方向上下降。

下面这个流程图是Gradient Boosting的经典图了，数学推导并不复杂，只要理解了Boosting的思想，不难看懂

这里是直接对模型的函数进行更新，利用了参数可加性推广到函数空间。

训练F0-Fm一共m个基学习器，沿着梯度下降的方向不断更新ρm和am

GradientBoostingRegressor实现

python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函数接口，可以很方便的调用函数就可以完成模型的训练和预测

GradientBoostingRegressor函数的参数如下：

class sklearn.ensemble.GradientBoostingRegressor(loss=’ls’, learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort=’auto’)¶

loss: 选择损失函数，默认值为ls(least squres)

learning_rate: 学习率，模型是0.1

n_estimators: 弱学习器的数目，默认值100

max_depth: 每一个学习器的最大深度，限制回归树的节点数目，默认为3

min_samples_split: 可以划分为内部节点的最小样本数，默认为2

min_samples_leaf: 叶节点所需的最小样本数，默认为1

……

可以参考   

官方文档里带了一个很好的例子，以500个弱学习器，最小平方误差的梯度提升模型，做波士顿房价预测，代码和结果如下：

1 import numpy as np 2 import matplotlib.pyplot as plt 3  4 from sklearn import ensemble 5 from sklearn import datasets 6 from sklearn.utils import shuffle 7 from sklearn.metrics import mean_squared_error 8  9 ###############################################################################10 # Load data11 boston = datasets.load_boston()12 X, y = shuffle(boston.data, boston.target, random_state=13)13 X = X.astype(np.float32)14 offset = int(X.shape)58 plt.xlabel(’Relative Importance’)59 plt.title(’Variable Importance’)60 plt.show()

可以发现，如果要用Gradient Boosting 算法的话，在sklearn包里调用还是非常方便的，几行代码即可完成，大部分的工作应该是在特征提取上。

感觉目前做数据挖掘的工作，特征设计是最重要的，据说现在kaggle竞赛基本是GBDT的天下，优劣其实还是特征上，感觉做项目也是，不断的在研究数据中培养对数据的敏感度。

Gradient Episodic Memory for Continual Learning

机器学习在有一件事上一直做得不好，那就是学习新任务的时候会忘记之前完成过的任务。

在监督学习任务中，监督学习的目标是构建模型fx，用于预测与看不见的特征向量关联的目标向量x，为此，监督学习方法通常采用ERM原则。但是ERM的直接应用会导致“灾难性的遗忘”，也就是说，机器的学习在接触新任务后会忘记如何解决过去的任务。作者们提出了一种新的学习度量，用于评估模型如何在一系列学习任务中迁移知识。最终，作者们提出了一个新的顶级表现的算法—— 梯度片段记忆（GEM） ，它使得学习机器在学习新任务的时候也可以不忘记以往学到的技能，同时能够使有益的知识转移到先前的任务。

机器在学习当前任务时，可以访问之前所有任务的部分数据，它们被收集在一个称为“episodic memory”的地方。作者提出了“Gradient Episodic Memory”的方法来利用“episodic memory”解决机器遗忘的问题。

以往机器有关序列学习的任务都有若干特点：

1任务数量少，但每个任务所要学习的例子很多

2学习机器对每个任务的例子进行了几次复习

3报告的平均绩效是唯一的指标

 但本文的作者采用一种“ 更像人类 ”（“more human-like”）的学习任务来测试GEM模型，该种任务的特点：

1任务数量大，但每个任务的训练示例数量少，

2学习只观察每个任务的示例一次

3增加报告测量迁移的绩效和遗忘的指标 ，作者认为除了观察其跨任务的绩效外，评估转移知识的能力也很重要

在学习任务的框架中， 作者定义了3个任务指标——ACC/BWT/FWT 。
这些指标越大代表了模型建立越完美，如果两个模型的ACC相同，BWT和FWT的值越大的模型越好（文章并没有比较BWT和FWT，是不是说明ACC是下位的指标）。对于学习的精细度（fine-grained evaluation）评估，可以通过更构建一个行数多于任务数的矩阵R中的元素Ri,j（为观察连续体中第i个样本后对任务tj的测试精度）来进行评估。

EGM算法 ：

作者在任务k的工作记忆上定义如下损失函数：
其中Mk 表示任务k的memory。但这种方式容易在Mk中的样本上过拟合。作者尝试一种方法，通过构建一个不等式约束，让其只减不增。作者新定义了一个学习函数模型：
其中 是学习前一个任务后的模型。作者进一步观察到，其实并不需要保存之前的模型，只需要在模型参数更新后，之前任务的损失不增加就可以了。这可以通过计算梯度的夹角来确定：
如果夹角为锐角，则学习当前任务时，任务k的性能就不会增加。如果夹角不是锐角，通过投影的方法，将梯度g投影到最近的梯度 上，并且建立优化函数求解
文章还通过实验来评估GEM在连续学习中的表现。

实验采用3个数据集（datasets）——MNIST Permutations；MNIST Rotations；CIFAR 100。对于所有数据集，实验给出了T = 20个任务。在MNIST数据集上，每个任务都有来自10个不同类别的1000个示例。在CIFAR100数据集上，每个任务都有来自5个不同类别的2500个示例。该模型按顺序观察任务，每个示例观察一次。在每个数据集的测试分区上执行每个任务的评估，记录ACC,BWT,FWT的值。

不仅如此，作者还将GEM和其他算法（single，independent, iCaRL和EWC）一起比较，观察和记录各项指标来观察GEM的绩效。

实验结果：
图左为所有数据集和方法的指标数据分析图，图右显示的是不同方法在整个连续性数据中第一个任务的测试准确性的演变。可以观察到，总的来说，GEM的性能与多模态模型（the multimodal model）相似，甚至更好，并且这些模型非常适用于MNIST任务；不仅如此，GEM在CIFAR100中表现出最小的遗忘和正向后移（backward transfer）。GEM的性能明显优于其他的持续学习方法，并且计算量更少。综合后续的CPU训练时间、工作记忆容量的实验测量后，可以观察到GEM优质的性能。
实验虽然展示出了GEM的高性能，作者表明但仍然有3点不足：

1首先，GEM没有利用结构化的任务描述符，而描述符可以被用来获得零镜头学习（zero-shot learning）。

2其次，实验没有研究高级记忆管理(例如构建任务的核心集)。

3第三，每个GEM迭代要求每个任务向后通过一次，这增加了计算时间。当然，如何解决计算时间也是作者自身准备研究的方面。

bp神经网络中的gradient是什么意思

若果对你有帮助，请点赞。
神经网络的结构（例如2输入3隐节点1输出）建好后，一般就要求神经网络里的权值和阈值。现在一般求解权值和阈值，都是采用梯度下降之类的搜索算法（梯度下降法、牛顿法、列文伯格-马跨特法、狗腿法等等），这些算法会先初始化一个解，在这个解的基础上，确定一个搜索方向和一个移动步长（各种法算确定方向和步长的方法不同，也就使各种算法适用于解决不同的问题），使初始解根据这个方向和步长移动后，能使目标函数的输出（在神经网络中就是预测误差）下降。 然后将它更新为新的解，再继续寻找下一步的移动方向的步长，这样不断的迭代下去，目标函数（神经网络中的预测误差）也不断下降，最终就能找到一个解，使得目标函数（预测误差）比较小。
现在很多算法在寻解过程，都会借助梯度来确定目标函数的下降方向，梯度可以理解为单变量时的导数，梯度下降的方法就是目标函数的下降方向。
你可以到《神经网络之家》nnetinfo中查看《梯度下降法》一文来理解，另外还有《Levenberg-Marquardt法理论基础》方法，也讲解了在数据不太大时，一种更优于梯度下降法的寻解方法
若果对你有帮助，请点赞。
祝学习愉快

受限显存下增加batchsize策略：gradient checkpointing

***隐藏网址***

我是在 Swin-Transformer的开源 里找到的：

When GPU memory is not enough, you can try the following suggestions:

Use gradient accumulation by adding --accumulation-steps 《steps》, set appropriate 《steps》 according to your need.

Use gradient checkpointing by adding --use-checkpoint, e.g., it saves about 60% memory when training Swin-B. Please refer to this page for more details.

We recommend using multi-node with more GPUs for training very large models, a tutorial can be found in this page .

看看PyTorch官网怎么说：

***隐藏网址***

注意：

Checkpointing是通过在反向传播过程中为每个Checkpointed段重新运行前向传播分段来实现的。这可能会导致像RNG状态这样的持久状态比没有Checkpointing的状态更高级。默认情况下，Checkpointing包括改变RNG状态的逻辑，这样，与非Checkpointed过程相比，使用RNG的Checkpointing过程（例如通过dropout）具有确定性输出。根据Checkpointing操作的运行时间，隐藏和恢复RNG状态的逻辑可能会导致适度的性能损失(moderate performance hit)。如果不需要与非Checkpointing过程相比较的确定性输出，则向Checkpointing或Checkpointing顺序提供preserve_rng_state=False，以在每个Checkpointing期间省略存储和恢复rng状态。

存储逻辑将当前设备和所有cuda张量参数的设备的RNG状态保存并恢复到run_fn。但是，逻辑无法预测用户是否会将张量移动到run_fn自身内的新设备。因此，如果在run_fn中将张量移动到新设备（“new”表示不属于），则与非Checkpointing过程相比，决不能保证确定性输出。

Checkpointing模型或模型的一部分

Checkpointing的工作原理是用计算换取内存。Checkpointing部分不会存储整个计算图的所有中间激活以进行反向计算，不会保存中间激活，而是在反向过程中重新计算它们。它可以应用于模型的任何部分。

具体来说，在向前传递中，函数将以torch.no_grad（）方式运行，即不存储中间激活。相反，向前传递保存输入元组和函数参数。在向后传递中，检索保存的输入和函数，并再次在函数上计算向前传递，现在跟踪中间激活，然后使用这些激活值计算梯度。

函数的输出可以包含非张量值，仅对张量值执行梯度记录。请注意，如果输出包含由张量组成的嵌套结构（例如：自定义对象、列表、dict等），则嵌套在自定义结构中的这些张量将不会被视为autograd的一部分。

警告：

Checkpointing当前仅支持torch.autograd.backward（），并且仅当其输入参数未传递时才支持。不支持torch.autograd.grad（）。

警告：

如果向后期间的函数调用与向前期间的函数调用不同，例如，由于某些全局变量，Checkpointing版本将不等效，不幸的是，它无法被检测到。

警告：

如果Checkpointing段包含由detach（）或torch.no_grad（）从计算图中分离的张量，则向后传递将引发错误。这是因为Checkpointing使得所有的输出都需要梯度，当张量被定义为在模型中没有梯度时，这会导致问题。要避免这种情况，请分离Checkpointing函数外部的张量。

警告：

如果模型输入需要梯度，则至少有一个输入需要具有requires_grad=True，否则模型的Checkpointing部分将不具有梯度。至少有一个输出需要同时具有requires_grad=True。

输入参数列表：

function –描述在模型或部分模型的正向传递中运行的内容。它还应该知道如何处理作为元组传递的输入。例如，在LSTM中，如果用户通过（激活，隐藏），函数应正确使用第一个输入作为激活，第二个输入作为隐藏

preserve_rng_state–（bool，可选，默认值=True）–在每个Checkpointing期间省略存储和恢复rng状态。

args–包含函数输入的元组

返回：

*args上运行函数的输出

顺序模型按顺序（顺序）执行模块/功能列表。因此，我们可以将这样一个模型划分为不同的部分，并检查每个部分。除最后一段以外的所有段都将以torch.no_grad（）方式运行，即不存储中间激活。将保存每个Checkpointing段的输入，以便在反向过程中重新运行该段。

请参阅checkpoint（），了解Checkpointing的工作原理。

警告

Checkpointing当前仅支持torch.autograd.backward（），并且仅当其输入参数未传递时才支持。不支持torch.autograd.grad（）。

参数

functions –torch.nn.Sequential或要按顺序运行的模块或功能（包括模型）列表。

segments–要在模型中创建的块数

input –输入到函数的张量

preserve_rng_state（bool，可选，默认值=True）–在每个Checkpointing期间省略存储和恢复rng状态。

返回：

按*输入顺序输出运行函数

实例

上面那个博主的示例：

注意第94行，必须确保checkpoint的输入输出都声明为require_grad=True的Variable，否则运行时会报如下的错
RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

***隐藏网址***

***隐藏网址***

-webkit-mask : -webkit-gradient 渐变蒙版从左到右怎么改成从上到下

一、图片蒙版

.demo1 {
background : url("images/logo.png") no-repeat;
-webkit-mask : url("images/mask.png");
}

它的属性值与background的语法基本一样，相关的属性有webkit-mask-clip、 webkit-mask-position 和webkit-mask-repeat等。

下面就是其实现的效果图：

这里需要注意的是第二张mask.png中黑色部分的透明度（alpha）值为1，将完全显示其下方的图片区域，而其余部分的透明度为0（alpha值），将完全覆盖其下方的图片区域。

二、渐变蒙版

.demo1 {
background : url("images/logo.png") no-repeat;
-webkit-mask : -webkit-gradient(linear, left top, right bottom, from(rgba(0,0,0,1)), to(rgba(0,0,0,0)));
}

其属性值为CSS渐变老式语法：-webkit-gradient(《type》, 《point》 *) 

而新式语法：-webkit-linear-gradient( * )  经过我的测试发现暂不支持

效果图如下：

三、logo遮罩动态效果

利用-webkit-mask我们还可以制作炫酷的logo遮罩动画效果，用js控制让蒙版动起来。效果图如下：

实现代码如下：

$(function(){
$(".mask").mouseover(function(){          var b=0,c=$(this),
d=setInterval(function(){               if(b》parseInt(c.width()+50)){clearInterval(d);}
c.css({"-webkit-mask":"-webkit-gradient(radial, 88 53,"+b+", 88 53, "+(b+15)+", from(rgba(255, 255, 255,1)), color-stop(0.5,rgba(255, 255, 255, 0.2)), to(rgba(255, 255, 255,1)))"});
b++;
},0);
});
});

通过setInterval来对遮罩层渐变位置进行动态变化。

我们还可以改变渐变的起点和终点位置来实现不同的效果：

-webkit-gradient(radial, 0 0,"+b+", 0 0, "+(b+15)+", from(rgba(255, 255, 255,1)), color-stop(0.5,rgba(255, 255, 255, 0.2)), to(rgba(255, 255, 255,1)))