2019-03-01

7 分钟读完 (大约 1003 个字)

预处理_pandas数据预处理

数据预处理常用python方法

01 从数据中读取数据

import pandas as pd
import MySQLdb
mysql_cn= MySQLdb.connect(host='localhost', port=3306,user='myusername', passwd='mypassword', db='mydb')
df = pd.read_sql('select * from test;', con=mysql\_cn)   
mysql_cn.close()

02 从csv中读取数据

1 2	df = pd.read_csv(loggerfile, header=None, sep=',') header=None表示没有头部，sep=’,’表示字段之间的分隔符为逗号。

03 数据标准化(z-score)

计算方式是将特征值减去均值，除以标准差。
sklearn.preprocessing.scale(X)
一般会把train和test集放在一起做标准化，或者在train集上做标准化后，用同样的标准化器去标准化test集，此时可以用scaler

1
2
3

scaler = sklearn.preprocessing.StandardScaler().fit(train)
scaler.transform(train)
scaler.transform(test)

实际应用中，需要做特征标准化的常见情景：SVM

标题：【原】关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
地址：http://www.cnblogs.com/chaosimple/p/4153167.html

04 正则化

将每个样本缩放到单位范数（每个样本的范数为1），如果后面要使用如二次型（点积）或者其它核方法计算两个样本之间的相似性这个方法会很有用。Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是使得每个处理后样本的p-范数（l1-norm,l2-norm）等于1。

p-范数的计算公式：||X||p=(|x1|^p+|x2|^p+...+|xn|^p)^1/p

该方法主要应用于文本分类和聚类中。例如，对于两个TF-IDF向量的l2-norm进行点积，就可以得到这两个向量的余弦相似性。

1、可以使用preprocessing.normalize()函数对指定数据进行转换：
>>\> X = \[\[ 1., -1.,  2.\],
...      \[ 2.,  0.,  0.\],
...      \[ 0.,  1., -1.\]\]
>>\> X_normalized = preprocessing.normalize(X, norm='l2')
>>\> X_normalized
array(\[\[ 0.40..., -0.40...,  0.81...\],
       \[ 1.  ...,  0.  ...,  0.  ...\],
       \[ 0.  ...,  0.70..., -0.70...\]\])
2、可以使用processing.Normalizer()类实现对训练集和测试集的拟合和转换：
>>\> normalizer = preprocessing.Normalizer().fit(X)  # fit does nothing
>>\> normalizer
Normalizer(copy=True, norm='l2')
>>\> normalizer.transform(X) 
array(\[\[ 0.40..., -0.40...,  0.81...\],
       \[ 1.  ...,  0.  ...,  0.  ...\],
       \[ 0.  ...,  0.70..., -0.70...\]\])
>>\> normalizer.transform(\[\[-1.,  1., 0.\]\])            
array(\[\[-0.70...,  0.70...,  0.  ...\]\])

标题：python中常用的九种预处理方法分享
地址：http://www.jb51.net/article/92408.htm

05 归一化（Normalization）

规范化是将不同变化范围的值映射到相同的固定范围，常见的是[0,1]，此时也称为归一化。
将每个样本变换成unit norm。
X = [[ 1, -1, 2],[ 2, 0, 0], [ 0, 1, -1]]
sklearn.preprocessing.normalize(X, norm=’l2’)
得到：
array([[ 0.40, -0.40, 0.81], [ 1, 0, 0], [ 0, 0.70, -0.70]])
可以发现对于每一个样本都有，0.4^2+0.4^2+0.81^2=1,这就是L2 norm，变换后每个样本的各维特征的平方和为1。
类似地，L1 norm则是变换后每个样本的各维特征的绝对值和为1。
还有max norm，则是将每个样本的各维特征除以该样本各维特征的最大值。
在度量样本之间相似性时，如果使用的是二次型kernel，需要做Normalization

06 特征二值化（Binarization）

给定阈值，将特征转换为0/1

1 2	binarizer = sklearn.preprocessing.Binarizer(threshold=1.1) binarizer.transform(X)

07 标签二值化（Label binarization）

1	lb = sklearn.preprocessing.LabelBinarizer()

08 类别特征编码

有时候特征是类别型的，而一些算法的输入必须是数值型，此时需要对其编码。

1
2
3

enc = preprocessing.OneHotEncoder()
enc.fit(\[\[0, 0, 3\], \[1, 1, 0\], \[0, 2, 1\], \[1, 0, 2\]\])
enc.transform(\[\[0, 1, 3\]\]).toarray() #array(\[\[ 1., 0., 0., 1., 0., 0., 0., 0., 1.\]\])

上面这个例子，第一维特征有两种值0和1，用两位去编码。第二维用三位，第三维用四位。
另一种编码方式

1	newdf=pd.get\_dummies(df,columns=\["gender","title"\],dummy\_na=True)

09 标签编码（Label encoding）

le = sklearn.preprocessing.LabelEncoder()
le.fit(\[1, 2, 2, 6\])
le.transform(\[1, 1, 2, 6\]) #array(\[0, 0, 1, 2\])
#非数值型转化为数值型
le.fit(\["paris", "paris", "tokyo", "amsterdam"\])
le.transform(\["tokyo", "tokyo", "paris"\]) #array(\[2, 2, 1\])

10 特征中含异常值时

1	sklearn.preprocessing.robust_scale

11 生成多项式特征

这个其实涉及到特征工程了，多项式特征/交叉特征。

1 2	poly = sklearn.preprocessing.PolynomialFeatures(2) poly.fit_transform(X)

原始特征：

转化后：

本文标题：预处理_pandas数据预处理
本文作者：yuanjh
本文链接：https://hexo.yuanjh.cn/hexo/a7c7ee8b/
发布时间：2019-03-01
版权声明：本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明出处！

# 08领域技术/c机器学习/预处理