非正态分布数据转换成正态分布

骑猪看日落 2022-04-15 07:09 305阅读 0赞

常用的变量变换方法有对数变换、平方根变换、倒数变换、平方根反正弦变换等，应根据资料性质选择适当的变量变换方法。

### **1. 对数变换** ###

即将原始数据X的对数值作为新的分布数据：  
X’=lgX  
当原始数据中有小值及零时，亦可取X’=lg（X+1）  
还可根据需要选用X’=lg（X+k）或X’=lg（k-X）

>   
> 对数变换常用于
> 
> （1）使服从对数正态分布的数据正态化。如环境中某些污染物的分布，人体中某些微量元素的分布等，可用对数正态分布改善其正态性。
> 
> （2）使数据达到方差齐性，特别是各样本的标准差与均数成比例或变异系数CV接近于一个常数时。

> 在numpy 中使用：
> 
> 转换成符合正态分布的数据，log(price+1), 反转使用：np.expm1()

### **2.平方根变换** ###

即将原始数据X的平方根作为新的分布数据。  
X’=sqrt（X）

>   
> 平方根变换常用于：
> 
> 1）使服从Poission分布的计数资料或轻度偏态资料正态化，可用平方根变换使其正态化。
> 
> 2）当各样本的方差与均数呈正相关时，可使资料达到方差齐性。

### **3.倒数变换** ###

即将原始数据X的倒数作为新的分析数据。  
X’=1/X

>   
> 常用于资料两端波动较大的资料，可使极端值的影响减小。

### **4.平方根反正弦变换** ###

即将原始数据X的平方根反正弦值做为新的分析数据。  
X’=sin-1sqrt（X）

>   
> 常用于服从二项分布的率或百分比的资料。一般认为等总体率较小如＜30%时或较大（如＞70%时），偏离正态较为明显，通过样本率的平方根反正弦变换，可使资料接近正态分布，达到方差齐性的要求。

*  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70][]

**发现没有，除了倒数转换，其他数据值都要求 y 值必须为正值，如果要使用负值呢？可以使用Box-Cox变换：**

### **5.Box-Cox变换：** ###

**![x=\\left\\\{\\begin\{matrix\}\\frac\{y^\\lambda-1\}\{\\lambda\}---\\lambda\\neq 0 \\\\ log(y)---\\lambda=0 \\end\{matrix\}\\right.][x_left_begin_matrix_frac_y_lambda-1_lambda_---_lambda_neq 0 _ log_y_---_lambda_0 _end_matrix_right.]**

**逆变换为：**

![y=\\left\\\{\\begin\{matrix\} (1+\\lambda y)^\{\\frac\{1\}\{\\lambda\}\}---\\lambda\\neq 0 \\\\ exp(x)---\\lambda=0 \\end\{matrix\}\\right.][y_left_begin_matrix_ _1_lambda y_frac_1_lambda_---_lambda_neq 0 _ exp_x_---_lambda_0 _end_matrix_right.]

**2.当y 可以小于 0 时：**

### **Box-Cox变换：** ###

**![x=\\left\\\{\\begin\{matrix\} \\frac\{(y+c)^\\lambda-1\}\{\\lambda g\}---\\lambda\\neq 0 \\\\ \\frac\{log(y+c)\}\{g\}---\\lambda=0 \\end\{matrix\}\\right.][x_left_begin_matrix_ _frac_y_c_lambda-1_lambda g_---_lambda_neq 0 _ _frac_log_y_c_g_---_lambda_0 _end_matrix_right.] g** **默认为 1**

**逆变换为：**

![y=\\left\\\{\\begin\{matrix\} (1+\\lambda y)^\{\\frac\{1\}\{\\lambda\}\}-c---\\lambda\\neq 0 \\\\ exp(x)-c---\\lambda=0 \\end\{matrix\}\\right.][y_left_begin_matrix_ _1_lambda y_frac_1_lambda_-c---_lambda_neq 0 _ exp_x_-c---_lambda_0 _end_matrix_right.]

--------------------

### 项目推荐： ###

**[2000多G的计算机各行业电子资源分享（持续更新）][2000_G]**

**[2020年微信小程序全栈项目之喵喵交友【附课件和源码】][2020]**

**[Spring Boot开发小而美的个人博客【附课件和源码】][Spring Boot]**

**[Java微服务实战296集大型视频-谷粒商城【附代码和课件】][Java_296_-]**

**[Java开发微服务畅购商城实战【全357集大项目】-附代码和课件][Java_357_-]**

**[最全最详细数据结构与算法视频-【附课件和源码】][-]**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70]: /images/20220415/8a8ed202b3a947eeb0a7e23655216f36.png
[x_left_begin_matrix_frac_y_lambda-1_lambda_---_lambda_neq 0 _ log_y_---_lambda_0 _end_matrix_right.]: https://private.codecogs.com/gif.latex?x%3D%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%5Cfrac%7By%5E%5Clambda-1%7D%7B%5Clambda%7D---%5Clambda%5Cneq%200%20%5C%5C%20log%28y%29---%5Clambda%3D0%20%5Cend%7Bmatrix%7D%5Cright.
[y_left_begin_matrix_ _1_lambda y_frac_1_lambda_---_lambda_neq 0 _ exp_x_---_lambda_0 _end_matrix_right.]: https://private.codecogs.com/gif.latex?y%3D%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20%281&plus;%5Clambda%20y%29%5E%7B%5Cfrac%7B1%7D%7B%5Clambda%7D%7D---%5Clambda%5Cneq%200%20%5C%5C%20exp%28x%29---%5Clambda%3D0%20%5Cend%7Bmatrix%7D%5Cright.
[x_left_begin_matrix_ _frac_y_c_lambda-1_lambda g_---_lambda_neq 0 _ _frac_log_y_c_g_---_lambda_0 _end_matrix_right.]: https://private.codecogs.com/gif.latex?x%3D%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20%5Cfrac%7B%28y&plus;c%29%5E%5Clambda-1%7D%7B%5Clambda%20g%7D---%5Clambda%5Cneq%200%20%5C%5C%20%5Cfrac%7Blog%28y&plus;c%29%7D%7Bg%7D---%5Clambda%3D0%20%5Cend%7Bmatrix%7D%5Cright.
[y_left_begin_matrix_ _1_lambda y_frac_1_lambda_-c---_lambda_neq 0 _ exp_x_-c---_lambda_0 _end_matrix_right.]: https://private.codecogs.com/gif.latex?y%3D%5Cleft%5C%7B%5Cbegin%7Bmatrix%7D%20%281&plus;%5Clambda%20y%29%5E%7B%5Cfrac%7B1%7D%7B%5Clambda%7D%7D-c---%5Clambda%5Cneq%200%20%5C%5C%20exp%28x%29-c---%5Clambda%3D0%20%5Cend%7Bmatrix%7D%5Cright.
[2000_G]: https://mp.weixin.qq.com/s/sP4JgGWkCzpgwKr9sAV2_Q
[2020]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487704&idx=1&sn=5f4b2127c4d49fd07ae072a0721424a2&chksm=e8036fc2df74e6d489c4aa9b06f917ef7cee6027f13e150fca53cf79d5d188d4ccc1af49e098&scene=21#wechat_redirect
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487798&idx=2&sn=ac0293b996521b872a9dba5fbb3e65e6&chksm=e8036e2cdf74e73aba104a9a994a5b2e31483e8dcbe0f1d9936f6d5173b887e1560f59d2819c&scene=21#wechat_redirect
[Java_296_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487674&idx=1&sn=7aff0bdf2bb727303f3d3618995aef21&chksm=e8036fa0df74e6b6d872c7e6ece179c524ed463a4a6b74c96875475c9a3d5ddb903427dd993b&scene=21#wechat_redirect
[Java_357_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247486376&idx=1&sn=d1fef270c463ea8ac663f6fbfedd70a0&chksm=e80374b2df74fda4d3bafba878a106a19e18c5fcda266008f4f37975847a21bc612ffcd5ff39&scene=21#wechat_redirect
[-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487750&idx=1&sn=747bccbb5f5ea6b58915198de40da777&chksm=e8036e1cdf74e70ae97a5e8e265b49d7236d904d291203309159d07ba1724033062c0e370843&scene=21#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]: /images/20220415/a52fbfbfb28f4e5797cb41f1ab4adb87.png