技术标签: python pandas常用函数
一、安装pandas
创建虚拟环境:
#创建虚拟环境
mkvirtualenv -p python3 pandas_env
#进入虚拟环境
workon pandas_env
安装pandas
# 1、安装包
$ pip install pandas
测试
# 2、进入python的交互式界面
$ python -i
# 3、使用Pandas
>>> import pandas as pd
>>> df = pd.DataFrame()
>>> print(df)
# 4、输出结果
Empty DataFrame
Columns: []
Index: []
安装处理excel的xlrd
pip install xlrd
使用pandas读取excel并打印
from pandas import pandas as pd
df = pd.read_excel("C:/Users/zixuan/Desktop/test.xlsx")
print(df)
输出:
name age class sex
0 wzx 25 c g
1 lzq 24 c m
2 jjj 5 c m
excel内容如下:
二、数据结构
pandas的数据结构分为两种: Series(一维数据)与 DataFrame(二维数据)。
维数
名称
描述
1
Series
带标签的一维同构数组
2
DataFrame
带标签的,大小可变的,二维异构表格
Pandas 数据结构就像是低维数据的容器。比如,DataFrame 是 Series 的容器,Series 则是标量的容器。使用这种方式,可以在容器中以字典的形式插入或删除对象。
1.DataFrame
在DataFrame中,index是行,columns是列。如上面的例子中,pandas会将第一行的数据当作表头,即列名。从第二行开始,以0为起始,作为DF的行。
DataFrame 的每一列都是一个Series。如:
for col in df.columns:
series = df[col]
print(series)
输出:
0 wzx
1 lzq
2 jjj
Name: name, dtype: object
0 25
1 24
2 5
Name: age, dtype: int64
0 c
1 c
2 c
Name: class, dtype: object
0 g
1 m
2 m
Name: sex, dtype: object
Pandas 所有数据结构的值都是可变的,但数据结构的大小并非都是可变的,比如,Series 的长度不可改变,但 DataFrame 里就可以插入列。
Pandas 里,绝大多数方法都不改变原始的输入数据,而是复制数据,生成新的对象。 一般来说,原始输入数据不变更稳妥。
三、DF的操作
一、属性
1.将df转换成数组
df.values
输出:
[['wzx' 25 'c' 'g']
['lzq' 24 'c' 'm']
['jjj' 5 'c' 'm']]
2.查看所有列名
for col in df.columns:
print(col)
输出:
name
age
class
sex
3.查看所有索引
for index in df.index:
print(index)
输出:
0
1
2
4.查看df的形状
df.shape
输出:
(3, 4)
#三行四列,在excel中是四行四列,但第一行在pandas中被视为表头
5.查看df的大小
df.size
输出:
12
#即一共有12个单元格
6.查看每列的数据类型
df.dtypes
输出:
name object
age int64
class object
sex object
dtype: object
二、行列操作和切片
1.指定某一列作为索引
#将第一列name设置为索引
df.set_index('name',inplace=True)
print(df.index)
输出:
Index(['wzx', 'lzq', 'jjj'], dtype='object', name='name')
2.取指定列的数据
#查看age列
df['age']
#或
df.age
输出:
name
wzx 25
lzq 24
jjj 5
Name: age, dtype: int64
3.取指定行数据(使用loc)
#取索引为wzx的行
df.loc['wzx']
输出:
age 25
class c
sex g
Name: wzx, dtype: object
#取多行数据(索引为wzx lzq),可将多个索引以列表方式传入
df.loc[['wzx','lzq']]
输出:
age class sex
name
wzx 25 c g
lzq 24 c m
4.取指定行的指定列的数据(即某单元格的数据)
#取索引为wzx的age
df.loc['wzx','age']
输出:
25
#取索引为wzx lzq的age class
df.loc[['wzx','lzq'],['age','class']]
输出:
age class
name
wzx 25 c
lzq 24 c
注意:loc可传入两个参数,第一个参数作为索引,第二个参数作为列名。如果不传第二个参数,则默认取所有列。
如:
取某个索引的某个列的例子中,字符串'wzx'作为第一个参数,字符串'age'作为第二个参数。
取多个索引的多个列的例子中,数组['wzx','lzq']作为第一个参数,数组['age','class']作为第二个参数。
5.行切片
#取wzx开始到jjj结束的所有行
df.loc['wzx':'jjj']
输出:
age class sex
name
wzx 25 c g
lzq 24 c m
jjj 5 c m
6.列切片
#取age开始到sex结束的所有列
for col in df['age':'sex']:
series = df[col]
print(series)
print(col)
输出:
name
wzx 25
lzq 24
jjj 5
Name: age, dtype: int64
age
name
wzx c
lzq c
jjj c
Name: class, dtype: object
class
name
wzx g
lzq m
jjj m
Name: sex, dtype: object
sex
7.按行号取行
#取第0行和第2行数据
df.iloc[[0,2]]
输出:
age class sex
name
wzx 25 c g
jjj 5 c m
#从第0行起,取3行数据
df.iloc[0:3]
输出:
age class sex
name
wzx 25 c g
lzq 24 c m
jjj 5 c m
#取从第0行起,取3行数据的第1、2列
df.iloc[0:3,[1,2]]
输出:
class sex
name
wzx c g
lzq c m
jjj c m
8.转换成数组后取数据
#转换成数组,取数组中第0行第0列数据
df.values[0,0]
输出:
25
9.运算取索引
#取符合条件的索引(age=24的索引)
df.age==24
输出;
name
wzx False
lzq True
jjj False
Name: age, dtype: bool
#取符合条件的索引的所有数据
df[df.age==24]
输出:
age class sex
name
lzq 24 c m
10.对某列判空
#判断某列是否全为空
df['age'].isnull().all()
#判断某列是否含有空值
df['age'].isnull().any()
三、数据修改
1.修改某单元格的值
#将索引为wzx行的age修改为18
df.loc["wzx","age"] = 18
print(df.loc["wzx"])
输出:
age 18
class c
sex g
Name: wzx, dtype: object
2.添加一列
#1.创建Series,传入一个列表表示这列的值,还可以指定索引,列表的长度需要等于索引个数
s1 = pd.Series([1, 2, 3],index=df.index)
print(s1)
输出:
name
wzx 1
lzq 2
jjj 3
dtype: int64
#2.插入df,即指定df的某列为这个Series,如这个Series为df的id列
df["id"]=s1
print(df)
输出:
age class sex id
name
wzx 25 c g 1
lzq 24 c m 2
jjj 5 c m 3
3.添加一行
方法一:插入Series
#1.创建Series,传入一个列表表示这列的值,还可以指定索引,列表的长度需要等于索引个数
#创建Series可使用name参数指定Series的索引,如果不指定,也可以在插入df时指定
s1 = pd.Series([1, "c","m"],df.columns)
print(s1)
输出:
age 1
class c
sex m
dtype: object
#2.插入df,此时指定索引为xiaoxiao
df.loc["xiaoxiao"] = s1
print(df)
输出:
age class sex id
name
wzx 25 c g 1
lzq 24 c m 2
jjj 5 c m 3
方法二:使用append方法插入
#1.创建Series,传入一个列表表示这列的值,还可以指定索引,列表的长度需要等于索引个数
#创建Series使用name参数指定索引,如果指定了name,则在调用append方法时,则不能忽略索引,即ignore_index=False
s1 = pd.Series([1, "c","m"],index=["age","class","sex"],name="xiaoxiao")
df = df.append(s1,ignore_index=False)
print(df)
输出:
age class sex
name
wzx 25 c g
lzq 24 c m
jjj 5 c m
xiaoxiao 1 c m
四、合并
1.concat垂直合并两个df
类似sql中的union all,但是两个df的结构(字段数量)可以不一致。如:
#1.创建两个相同的df
df1 = pd.read_excel(fileName , sheet_name=sheetName)
df2 = pd.read_excel(fileName , sheet_name=sheetName)
df1.set_index('name',inplace=True)
df2.set_index('name',inplace=True)
两个df内容相同:
age class sex
name
wzx 25 c g
lzq 24 c m
jjj 5 c m
#给df1添加一列
s1 = pd.Series([1, 2, 3],index=df.index)
df1["id"]=s1
#合并df1和df2
df = pd.concat([df1,df2])
print(df)
输出:
age class sex id
name
wzx 25 c g 1.0
lzq 24 c m 2.0
jjj 5 c m 3.0
wzx 25 c g NaN
lzq 24 c m NaN
jjj 5 c m NaN
2.concat水平合并两个df
水平合并只需要在调用concat时指定axis=1即可。相当于sql的join,会将索引一致的数据合并在一起。
如df2中没有索引为xiaoxiao的数据,则合并后,索引xiaoxiao的那行数据只有df1的值。
同样创建两个内容相同的df:
age class sex
name
wzx 25 c g
lzq 24 c m
jjj 5 c m
#给df1添加一行
s1 = pd.Series([1, "c","m"],index=["age","class","sex"],name="xiaoxiao")
df1 = df1.append(s1,ignore_index=False)
输出:
age class sex
name
wzx 25 c g
lzq 24 c m
jjj 5 c m
xiaoxiao 1 c m
#水平合并
df = pd.concat([df1,df2],axis=1)
print(df)
输出:
age class sex age class sex
wzx 25 c g 25.0 c g
lzq 24 c m 24.0 c m
jjj 5 c m 5.0 c m
xiaoxiao 1 c m NaN NaN NaN
3.使用merge合并
merge合并时,也类似于sql的join。并且可以指定join方式,要睡觉不写了。。。具体参考官网:df的merge
本文地址:https://blog.csdn.net/x950913/article/details/108716122
如您对本文有疑问或者有任何想说的,请点击进行留言回复,万千网友为您解惑!
文章浏览阅读645次。这个肯定是末尾的IDAT了,因为IDAT必须要满了才会开始一下个IDAT,这个明显就是末尾的IDAT了。,对应下面的create_head()代码。,对应下面的create_tail()代码。不要考虑爆破,我已经试了一下,太多情况了。题目来源:UNCTF。_攻防世界困难模式攻略图文
文章浏览阅读2.9k次,点赞3次,收藏10次。偶尔会用到,记录、分享。1. 数据库导出1.1 切换到dmdba用户su - dmdba1.2 进入达梦数据库安装路径的bin目录,执行导库操作 导出语句:./dexp cwy_init/[email protected]:5236 file=cwy_init.dmp log=cwy_init_exp.log 注释: cwy_init/init_123..._达梦数据库导入导出
文章浏览阅读1.9k次。1. 在官网上下载KindEditor文件,可以删掉不需要要到的jsp,asp,asp.net和php文件夹。接着把文件夹放到项目文件目录下。2. 修改html文件,在页面引入js文件:<script type="text/javascript" src="./kindeditor/kindeditor-all.js"></script><script type="text/javascript" src="./kindeditor/lang/zh-CN.js"_kindeditor.js
文章浏览阅读2.3k次,点赞6次,收藏14次。SPI的详情简介不必赘述。假设我们通过SPI发送0xAA,我们的数据线就会变为10101010,通过修改不同的内容,即可修改SPI中0和1的持续时间。比如0xF0即为前半周期为高电平,后半周期为低电平的状态。在SPI的通信模式中,CPHA配置会影响该实验,下图展示了不同采样位置的SPI时序图[1]。CPOL = 0,CPHA = 1:CLK空闲状态 = 低电平,数据在下降沿采样,并在上升沿移出CPOL = 0,CPHA = 0:CLK空闲状态 = 低电平,数据在上升沿采样,并在下降沿移出。_stm32g431cbu6
文章浏览阅读1.2k次,点赞2次,收藏8次。数据链路层习题自测问题1.数据链路(即逻辑链路)与链路(即物理链路)有何区别?“电路接通了”与”数据链路接通了”的区别何在?2.数据链路层中的链路控制包括哪些功能?试讨论数据链路层做成可靠的链路层有哪些优点和缺点。3.网络适配器的作用是什么?网络适配器工作在哪一层?4.数据链路层的三个基本问题(帧定界、透明传输和差错检测)为什么都必须加以解决?5.如果在数据链路层不进行帧定界,会发生什么问题?6.PPP协议的主要特点是什么?为什么PPP不使用帧的编号?PPP适用于什么情况?为什么PPP协议不_接收方收到链路层数据后,使用crc检验后,余数为0,说明链路层的传输时可靠传输
文章浏览阅读587次。软件测试工程师移民加拿大 无证移民,未受过软件工程师的教育(第1部分) (Undocumented Immigrant With No Education to Software Engineer(Part 1))Before I start, I want you to please bear with me on the way I write, I have very little gen...
文章浏览阅读304次。Thinkpad X250笔记本电脑,装的是FreeBSD,进入BIOS修改虚拟化配置(其后可能是误设置了安全开机),保存退出后系统无法启动,显示:secure boot failed ,把自己惊出一身冷汗,因为这台笔记本刚好还没开始做备份.....根据错误提示,到bios里面去找相关配置,在Security里面找到了Secure Boot选项,发现果然被设置为Enabled,将其修改为Disabled ,再开机,终于正常启动了。_安装完系统提示secureboot failure
文章浏览阅读10w+次,点赞93次,收藏352次。1、用strtok函数进行字符串分割原型: char *strtok(char *str, const char *delim);功能:分解字符串为一组字符串。参数说明:str为要分解的字符串,delim为分隔符字符串。返回值:从str开头开始的一个个被分割的串。当没有被分割的串时则返回NULL。其它:strtok函数线程不安全,可以使用strtok_r替代。示例://借助strtok实现split#include <string.h>#include <stdio.h&_c++ 字符串分割
文章浏览阅读2.3k次。1 .高斯日记 大数学家高斯有个好习惯:无论如何都要记日记。他的日记有个与众不同的地方,他从不注明年月日,而是用一个整数代替,比如:4210后来人们知道,那个整数就是日期,它表示那一天是高斯出生后的第几天。这或许也是个好习惯,它时时刻刻提醒着主人:日子又过去一天,还有多少时光可以用于浪费呢?高斯出生于:1777年4月30日。在高斯发现的一个重要定理的日记_2013年第四届c a组蓝桥杯省赛真题解答
文章浏览阅读851次,点赞17次,收藏22次。摘要:本文利用供需算法对核极限学习机(KELM)进行优化,并用于分类。
文章浏览阅读1.1k次。一、系统弱密码登录1、在kali上执行命令行telnet 192.168.26.1292、Login和password都输入msfadmin3、登录成功,进入系统4、测试如下:二、MySQL弱密码登录:1、在kali上执行mysql –h 192.168.26.129 –u root2、登录成功,进入MySQL系统3、测试效果:三、PostgreSQL弱密码登录1、在Kali上执行psql -h 192.168.26.129 –U post..._metasploitable2怎么进入
文章浏览阅读257次。本文将为初学者提供Python学习的详细指南,从Python的历史、基础语法和数据类型到面向对象编程、模块和库的使用。通过本文,您将能够掌握Python编程的核心概念,为今后的编程学习和实践打下坚实基础。_python人工智能开发从入门到精通pdf