python 数据分析学习笔记(二)

基于pandas的数据清洗和数据操作

1.处理丢失数据

丢失数据类型：

• none
• np.nan(NaN)

type(None) ##对象类型不可以参与运算
type(np.nan)  #浮点型数据可以参与计算

在pandas中如果遇到None形式的空值,则pandas会自动转化成Nan形式

处理空值的方法

• isnull+any
• notnull+all

data=DataFrame(data=np.random.randint(1,100,size=(7,5)))
data.iloc[2,3]=None
data.iloc[3,4]=np.nan
data.iloc[5,2]=np.nan
data.iloc[6,1]=None

#isnull 结合any
#利用布尔索引，找到有空值的所有行
data.loc[data.isnull().any(axis=1)]
drop_index=data.loc[data.isnull().any(axis=1)].index
drop_index
#返回需要删除的行索引
Int64Index([2, 3, 5, 6], dtype='int64')
#删掉有空值的行
data.drop(labels=drop_index,axis=0)   
#notnull 结合all
data=data.loc[data.notnull().all(axis=1)] 

• dropna

data.dropna(axis=0)

• fullna

data.fillna(value=1)  #使用指定值填充空值 使用意义不大
#对空值进行赋值,使用ffill(从前一行或列)或者bfill(从后一行或列),axis确定行列
data.fillna(method='ffill',axis=1)  

2.级联

• pd.concat
• pd.append

import pandas as pd
import numpy as np
from pandas import DataFrame,Series

df1=DataFrame(data=np.random.randint(1,100,size=(5,3)),columns=['A','B','C'])
df2=DataFrame(data=np.random.randint(1,100,size=(5,3)),columns=['A','D','C'])
df=pd.concat((df1,df2),axis=0) #将df1与df2通过列进行连接
df=df1.append(df2)  # # 只能是列连接

返回:

3.合并

• concat
• merge (需要某一共同列进行合并) (重点)

df3=DataFrame({
    '成绩':['A','B','C'],'name':['张三','李四','王五']})
df4=DataFrame({
    '科目':['F','B','D'],'name':['张三','李四','王五']})
#根据姓名列进行两个表格的合并
#on不写的话,就使用两个表格中共有的列名进行合并(可以存在多个)
df=pd.merge(df3,df4,on='name')  #默认为内连接
df=pd.merge(df3,df4,on='name',how='left')  #左连接
#how的参数有outer(取并集),inner(取交集),left,right

当两个表格的列索引名称不同时,可以采用left_on=‘col1’,right_on='col2’来确定合并列

3.替换

** replace**
1.单值替换:
替换所有符合条件的元素,to_replace=‘替换前的值’,values=‘替换后的值’
按列指定单值替换:to_replace={col:‘替换前的值’},values=‘替换后的值’
2.多值替换:
列表替换:to_replace=[],values=[]
字典替换:to_replace={‘替换前的值1’:‘替换后的值1’,‘替换前的值2’,‘替换后的值2’}

4.映射操作

创建一个映射关系列表,把values元素和一个特定的标签或者字符串绑定(给一个元素提供不同的表现形式)

dic={
    'name':['张三','李四','王五'],
     'salary':[10000,20000,30000]}
data=DataFrame(data=dic)

dic={
    '张三':'tom',
    '李四':'join',
    '王五':'yangm'}
data['name2']=data['name'].map(dic)

map是Series的函数,只能由Series 调用

4.运算操作

• apply (apply 用作dataframe中的计算工具)
  将某种运算作用到df的每一行或者列中

###给df中的每列元素加上100
df=DataFrame(data=np.random.randint(1,100,size=(5,3)))
def add_(values):
    return values+100
df.apply(add_,axis=0)

• applymap (将某种运算作用到df的每一个元素中)

df.applymap(add_)#没有axis的概念

4.实现随机抽样

df=DataFrame(data=np.random.randint(1,100,size=(5,3)),columns=('A','B','C'))
#取确定的1,2,4行数据
df.take(indices=[1,2,4],axis=0)
#取前三行数据随机排序,再对前三列数据随机打乱
df.take(indices=np.random.permutation(3),axis=0).take(indices=np.random.permutation(3),axis=1)

5.数据的分组操作

• groupby
• groups

dic={
    '部门':['IT','人力','财务','IT','人力'],
    '姓名':['张三','李四','王五','陈六','丁一'],
    'salary':[30000,56000,7900,8000,9000]}
df=DataFrame(dic)

#根据部门分组
df.groupby(by='部门').groups
#分组聚合,sum(),mean()
df.groupby(by='部门').mean()  #会聚合所有能聚合的列,如果计算单一列,可做col限制
#agg用于将分组以后的结果做多种不同方式的聚合
df.groupby(by='部门')['salary'].agg(['min','max'])
#将计算的均值以新一列加入到原表中,可以使用映射
df['均值']=df['部门'].map(df.groupby(by='部门')['salary'].mean())

分组聚合的高级操作

def salary_new(s):
    return s*1.1
df['new_s']=df.groupby(by='姓名')['salary'].apply(salary_new)

使用apply或者transform作为自定义函数的运算工具.

6.读取数据库里的数据

从mysql数据库提取数据

import pymysql
conn=pymysql.connect(host='172......2',user='c.....o',passwd='l......c',db='t...t',charset='utf8')
sql=pd.read_sql('select * from test.group_detail_wq',conn)

7.pandas实现透视表和交叉表

透视表:pivot_table:主要参数为index,values,columns,aggfunc

#对老师和群状态做'群总发言量','群成员人数','群活跃人数'的数据汇总,计算求和
sql.pivot_table(index=['老师','群状态'],values=['群总发言量','群成员人数','群活跃人数'],aggfunc=sum)
#交叉表,计算每个老师在每个群状态下的群活跃人数的和,没有的补0
sql.pivot_table(index=['群状态'],values=['群活跃人数'],columns=['老师'],aggfunc=sum,fill_value=0)

交叉表:crosstab(index,columns)
pd.crosstab(index=sql[‘群状态’],columns=sql[‘老师’])

8.pandas实现DataFrame 分列

使用匿名函数lambda

#将col2列根据"-"分列,取第一列
df['col1']=df['col2'].map(lambda x:x.split("-")[0])