0-1标准化 01标准化公式

归一化和标准化大全

在进行数据分析的时候，什么情况下需要对数据进行标准化处理？

本人对这两个理解不是很深入，看了下面这些大佬的回答，还是模模糊糊，略懂一二。

0-1标准化 01标准化公式

1、特征工程中的「归一化」有什么作用？

对数据做PCA，之前考虑归一化，突然想到应该是对每一维特征做归一化然后合起来还是直接对整个特征矩阵归一化？

标准化：

是将数据按比例缩放，使之落入一个小的特定区间。由于信用指标体系的各个指标度量单位是不同的，为了能够将指标参与评价计算，需要对指标进行规范化处理，通过函数变换将其数值映射到某个数值区间。

归一化：

（1）把数据变成(0，1)或者（1,1）之间的小数。主要是为了数据处理方便提出来的，把数据映射到0～1范围之内处理，更加便捷快速。

（2）把有量纲表达式变成无量纲表达式，便于不同单位或量级的指标能够进行比较和加权。归一化是一种简化计算的方式，即将有量纲的表达式，经过变换，化为无量纲的表达式，成为纯量。归一化的依据非常简单，不同变量往往量纲不同，归一化可以消除量纲对终结果的影响，使不同变量具有可比性。比如两个人体重10KG，身高0.02M，在衡量两个人的别时体重的距会把身高的距完全掩盖，归一化之后就不会有这样的问题。

如果把所有维度的变量一视同仁，在计算距离中发挥相同的作用应该选择标准化，如果想保留原始数据中由标准所反映的潜在权重关系应该选择归一化。另外，标准化更适合现代嘈杂大数据场景。

归一化的好处

2.提升模型的精度

归一化的另一好处是提高精度，这在涉及到一些距离计算的算法时效果显著，比如算法要计算欧氏距离，上图中x2的取值范围比较小，涉及到距离计算时其对结果的影响远比x1带来的小，所以这就会造成精度的损失。所以归一化很有必要，他可以让各个特征对结果做出的贡献相同。

概率模型（树形模型）不需要归一化，因为它们不关心变量的值，而是关心变量的分布和变量之间的条件概率，如决策树、RF。因为决策树中的切分依据，信息增益、信息增益比、Gini指数都是基于概率得到的，和值的大小没有关系。另外同属概率模型的朴素贝叶斯，隐马尔科夫也不需要标准化。而像Adaboost、SVM、LR、Knn、KMeans之类的化问题就需要归一化。

如果你不用正则，那么，标准化并不是必须的，如果你用正则，那么标准化是必须的。

为什么呢？

因为不用正则时，我们的损失函数只是仅仅在度量预测与真实的距，加上正则后，我们的损失函数除了要度量上面的距外，还要度量参数值是否足够小。而参数值的大小程度或者说大小的级别是与特征的数值范围相关的。 举例来说，我们用体重预测身高，体重用kg衡量时，训练出的模型是：

身高 = 体重x

x就是我们训练出来的参数。

当我们的体重用吨来衡量时，x的值就会扩大为原来的1000倍。

在上面两种情况下，都用L1正则的话，显然对模型的训练影响是不同的。

假如不同的特征的数值范围不一样，有的是0到0.1，有的是100到10000，那么，每个特征对应的参数大小级别也会不一样，在L1正则时，我们是简第三步，做案例。 我的知识、经验和技能到底能不能帮这些人解决？这是需要验证的。单将参数的相加，因为它们的大小级别不一样，就会导致L1只会对那些级别比较大的参数有作用，那些小的参数都被忽略了。

数据预处理的归一化手段应该如何应用到训练集，测试集和验证集中？

两个问题，个假如先把数据划分成训练集和测试集，我在训练集上对所有变量归一化后，比如用均值方归一化，那我在测试集上归一化的时候用的均值方都是训练集中的还是在测试集上用自身的均值方。第二个问题是归一化手段有很多，均值方归一化，小归一化，那我怎么去区分这些归一化手段的不同，就是什么时候用均值方归一化什么时候用小归一化，这些不同的归一化手段会对我的结果产生影响吗？如果有影响我又该如何去针对数据选择合适的归一化手段？

回答一：

如何在spss中对量表选项值进行0-100分的标准化处理，比如1代表20分

先将x1-x12作为指标名在转置否则，赚在多钱也只是他的职业。排列，即行为指标名，列为数值。然后打开软件，导入数据，单击分析->数据缩减->因子分析，进入因子分析窗口，选中所有变量加入右边框，点击描述->相关矩阵-，勾选系数，kmo两项单击继续回到因子分析窗口，在选择旋转，勾选无，然后按确定就行了。一般软件会进行标准化处理的，应该不用你自己处理。

这个步骤只是大致的，因为SPSS版本不同，界面也会有所不同，还有中英文版的，所以var(observations_standard)可能还要你对软件的语言翻译一下。身边现在只有中文版的，不好意思啦~~

正态分布标准化公式是什么？

当我们找到客户群体，找到产品，并有批种子用户和案例之后，个人品牌轻创业就算正式启动了。 这时候就渡过了个人品牌轻创业的第1阶段，每个月多赚1 2万根本不是问题。

标准正态分布（英语：standard normal distribution）是以0为均数，以1为标准的正态分布，记为N（0，1）。

标准正态分布又称为u分布，是以0为均数、以1为标准的正态分布，记为N（0，1）。

标准正态分布曲线下面积分布规律是：在-1.96～+1.96范围内曲线下的面积等于0.9500，在-2.58～+2.58范围内曲线下面积为0.9900。统计学家还制定了一张统计用表（自由度为∞时），借助该表就可以估计出某些特殊u1和u2值范围内的曲线下面积。

嘿，你好呀！正态分布标准化公式就是将原始数据转化为标准正态分布的公式。这个公式是：

其中，Z代表标准化后的数值，X代表原始数据，μ代表原始数据的平均值，σ代表原始数据的标准。这个公式可以帮助我们将原始数据转化为以0为均值、1为标准的标准正态分布数据。

扩展补充：

标准化的作用是使得不同数据集之间具有可比性。通过标准化，我们可以将不同的数据集转化为相同的尺度，便于进行比较和分析。在统计学中，标准化也常用于计算概率、确定阈值等。此外，标准化还可以帮助我们发现原始数据中的异常值或离群点。标准化公式是统计学中非常重要的工具之一，对于数据分析和模型建立有着重要的作用。

正态分布标准产品的开发不是一朝一夕的，内容输出不是一朝一夕的，客户也不是一朝一夕就能信任我们的。化公式（Z-score）是用来将原始分数转换为标准分数（Z分数）的公式，它用于描述一个随机变量与其均值之间的标准的异。

标准化公式如下：

其中：

- Z 是转换后的标准分数（Z分数）

- X 是原始分数

- μ 是样本或总体的均值

- σ 是样本或总体的标准

通过应用这个公式，原始分数可以被转换成以均值为0，标准为1的标准分数。这种标准化转换有助于比较不同分布的数据，并且使得数据更易于解释和分析。

能不能用SPSS做0-1变量的聚类分析

要求是少二十个y = ifelse(k1 = 0,log(y+k2),[(y +k2)^k1-1]/k1) ,任意y，保证y+k2>0,即k2已知，k1为参数。样本，十个变量。

1、主成分分析在于对原始变量的线性变换，注意是转换、变换；而因子分析在于对原始变量的剖析，注意是剖析，是分解，分解为公共因子和特殊因子。

2、这两种分析法得出的新变量，也就是成分或者因子，并不是原始变量筛选或者提出后剩余的变量。

3、因子分析只能解释部分变异（指公共因子），主成分分析能解释所有变异（如果提取了所有成分）。

4、主成分分析，有几个变量就至少有几个成分，一般只提取能解释80%以上的成分；因子分析，有几个变量不一定有几个公共因子，因为这里的因子是公因子，潜在的存在与每一个变量中，需要从每一个变量中去分解，无法解释的部分是特殊因子。

5、spss因子分析过程对各变量间量纲和单位造成的影响，默认自动进行标准化处理，因此不必要在开始之前单独进行数据标准1后面0的裂变和叠加是无穷的化处理，因为，标准化与否结果一致。

6、spss因子分析重要结果：KMO值，此值是否进行计算与变量个数、样本个数有关，不一定会在每次执行中都显示，如没有此结果，可通过调整变量和样本的比例实现。

-

如何标准化正态分布的数据？

很多公司从“0到1”做的还不错，但一旦“从1到N”往往会失败，这是因为能力发生了错位。从“1到N”所需要的能力如下：

正态分布标准化的公式：Y=（X-μ）/σ～N（0，1）。

标准正态分布 是一个在数学、物理及工程等领域都非常重要的概率分布，在统计学的许多方面有着重大的影响力。期望值μ=0，即曲线图象对称轴为Y轴，标准σ=1条件下的正态分布，记为N(0，1)。

正态分布的定义

标准正态分布在核心产品，核心口味，自己的核心特色上深挖，让这些能成为自己创业的根基，从而有主有次的完成自己的产品布局。又称为u分布，是以0为均数、以1为标准的正态分布，记为N（0，1）。

标准正态分布曲线下面积分布规律是：在-1.96～+1.96范围内曲线下的面积等于0.9500，在-2.58～+2.58范围内曲线下面积为0.9900。统计学家还制定了一张统计用表（自由度为∞时），借助该表就可以估计出某些特殊u1和u2值范围内的曲线下面积。

使用min-max规范化怎么把数字弄到(0,1)区间

请参考这个文章， Box-Cox Transformation

使用min-max规范化怎么把数字弄到(0,1)例如：Wp＝500HZ，ws＝600HZ，换算成弧度为Wp＝2PI＊500／fs，ws＝2PI＊500／fs，然后将其放入buttord函数中，即buttord（Wp／PI，ws／PI，Rp，Rs）。区间如下

1、min-max标准化（Min-max normalization）min-max标准化也叫离标准化，是对原始数据的线性变换，使结果落到[0,1]区间，转换函数：

其中，max为样本数据的值，min为样本数据的小值。这种方法有一个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新计算定义。

2、log函数转换通过以10为底的log函数转换的方法同样可以实现归一化，具体

看了下网上很多介绍都是x= log10 (x)，其实是有问题的，这个结果并非一定落在[0,1]区间上，应该还要除以log10 (max)max为样本数据值，并且所有的数据都要大于等于1.3、atan函数转换用反正切函数也可以实现数据的归一化：

而并非所有数据标准化的结果都映射到[0,1]区间上，其中长久的标准化方法就是Z标准化，也是SPSS中为常用的标准化方法。

培训从0到1是什么意思

一般指从完全没Z = (X - μ) / σ有尝试过，到学会的过程，从有第二步，找产品。 既然知道要服务哪些人，那么，这些人的痛点是什么？他们的诉求又是什么？我要用什么产品去帮他解决问题？到无。培训就是培养+训练，通过培养加训练使受训者掌握某种技能的方式。为了达到统一的科学技术规范、标准化作业，通过目标规划设定、知识和信息传递、技能熟练演练、作业达成评测、结果交流公告等现代信息化的流程，让受训者通过一定的教育训练技术手段，达到预期的水平提高目标，提升战斗力，个人能力，工作能力的训练都称之为培训。

数据的标准化和正态化变换

01

数据挖掘过程中，不同变量数据单位不一，比如，我们想知道一个人身体健康状况，其身高是180cm,体重是80kg,视力是2.5,心跳是70/min,这些指标都是描述一个人身体状况的数据，这些单一不一的指标会对建模的准确度有一定影响。因此，在数据挖掘之前，我们要对数据做标准化处理。

另外，建模之后，我们产生了有价值的目标变量数据，但是这些数据都是标准化数据形式，跟实际业务问题的需求有一定偏。如此，需要对数据做一定的变换，比如使其接近正态分布，这样从数据形式上可以对业务问题有更好的解释。

数据标准化有很多形式，这里简单总结三种，如下：

假设我们有一个X向量，x(i,j),i = 1,..,m;j = 1,..,n。z_房产也好，债券也好，股票也好，基金也好，这些都是需要启动资金的。而且，如果不是金融专业人士，买的股票也好，基金也好，债券也好，大概率是守不住的。房地产更不用说，离普通人太远。score规范化如下：

这样处理之后，原数据就变成了均值为0，方为1，记作：

X' = [X - E(X)] / S(X) ,其中，E(X) = 0, S(X) = 1。

假设我们有一个X向量，x(i,j),i = 1,..,m;j = 1,..,n。中心化如下：

x(i,j)' = x(i,j) - E(j) ,E(j)是第j列的均值。

如此变化以后，均值为0，但是方矩阵不变。

假设我们有一个X向量，x(i,j),i = 1,..,m;j = 1,..,n。极标准化如下：

x(i,j) = [x(i,j) - E(j)]/ ( max(j) - min(j) .

这样变换后，均值为0，方为1.

小数定标规范化通过移动数据A的小数点位置进行规范化。小数点的移动位置依赖数据A的值。由下式计算：|max(A)|<1的小整数。假设A的取值为-986 ~ 917，A的为986，使用小数定标规范化，用1000除以每个值，这样-986标准化为-0.986，917则为0.917.

注意：极标准化和小数定标规范化都改变了原数据，如果想统一转换为原数据比较麻烦。所以可以尽量通过前两种方法来做规范化。

R语言中有现成的函数，比如scale,可以通过设置scale的参数来实现z_score和中心化的数据标准化，具体参考?scale.

当然，可以可以自己写一个规范化函数，如下:

数据正态化，目的是稳定方，直线化，使数据分布正态或者接近正态。

如果y = f(x) 是x的线性函数，不影响分析；但是如果是非线性函数，y和x的表现就完全不同，包括分布，方和数据间关系也会不同。

这个不做过多解释，请参考 这里

Box-Cox在1964年从实际数据出发提出了一个很有效的变换，如下：

y = ifelse(k = 0,log(y),[y^k-1]/k) ,此变换有如下特点：

实际应用中，Box-Cox还有个扩展式，如下：

1, Box-Cox Transform: An Overview

2, Box-Cox变换

熵权法标准化出现1和0怎么办

［b］＝黄油黄油（8［0．2－0．4］）＝（8，100／200／（1000／2）（1000／2）））

跳过不处理当做是0或所有的值都平移1到5之间的数，一般都是+1处理的，然后在取自然对数。

熵权法是脱胎于信息论基本原理的解释，信息是系统有序程度的一个度量，熵是系统无序程度的一个度量，如04果指标的信息熵越小，该指标提供的信息量越大，在综合评价中所起作用理当越大，权重就应该越高。

熵权法的用途是可利用信息熵这个工具，计算出各个指标的权重，为多指标综合评价提供依据。