第一章 准备工作

1.3 重要的python数据库

Numpy：是python科学计算的基础包，本书大部分内容都基于numpy以及构建于其上的库功能如下：

-快速高效的多维数组对象ndarray。

-用于对数组执行元素级计算以及直接对数组执行数学运算的函数

-用于读写硬盘上基于数组的数据集的工具

-线性代数运算、傅立叶变换、以及随机数的生成

-成熟的c API，用于python插件和原生的c c++ fortran代码访问numpy的数据结构和计算工具

pandas：提供了快速便捷处理结构化数据的大量数据结构和函数。本书使用最多的pandas对象时dataframe，它是一个面向列（column-oriented）的一个二维表结构，另一个是series，一个一维的标签化数组对象，pandas兼具numpy高性能的数组计算功能以及电子表格和关系型数据库（如sql）灵活的数据处理功能。它提供了复杂精细的索引功能，以便于更为便捷的的完成重塑、切片和切换，聚合以及选取数据子集的操作，因为数据操作、准备、清洗是数据分析最重要的技能。pandas是本书的重点。

-功能：为一款适用于金融和商业分析的工具

-有标签化的数据结构，支持自动或清晰的数据对齐，这可以防止由于数据不对齐和处理来源不同的索引，不同的数据造成的错误。

-集成时间序列功能

-相同的数据结构用于处理时间序列数据和非时间序列数据

-保存元数据的算数运算和压缩

-灵活处理缺失的数据

-合并和其他流行的数据库（例如基于sql的数据库）的关系操作

matplotlib：是最流行的用于绘制图表和其他二维数据的可视化python库。非常适合用于创建出版物上用的图表。

-Scipy：是一组专门解决科学计算中各种标准问题域的包的集合，包括下列包：

-Scipy.integrate:数值积分例程和微分方程求解器。

-Scipy.linalg:扩展了由numpy.linalg提供的线性代数例程和矩阵分解功能。

-Scipy.optimize:函数优化器（最小化器）以及根查找算法

-Scipy.signal:信号处理工具

-Scipy.sparse:稀疏矩阵和稀疏线性系统求解器。

-Scipy.stats:标准连续和离散概率分布（如密度分布、采样器、连续分布函数等）、各种统计检验方法以及更好的描述性统计法

-numpy和scipy结合使用，便形成了一盒相当完备和成熟的计算平台，可以处理所中传统的科学计算的问题

scikit-learn：是python通用的机器学习工具包。子模块包括：

-分类：svm，近邻，随机森林，逻辑回归等等

-回归：lasso，岭回归等等

-聚类：k-均值，谱聚类等等

-降维：pca、特征选择，矩阵分解等等

-选型：网格搜索，交叉验证、度量。

-预处理：特征提取，标准化。

stats models：是一个统计分析包，包含经典统计学和计量经济学的算法，有以下子模块：

-回归模型：线性回归，广义线性模型，健壮线性模型，线性混合效应模型等等。

-方差分析anova

-时间序列分析：ar arma arima var 和其他模型

-非参数方法：核密度估计，核回归。

-统计模型结果可视化。

第二章 python语法基础，ipython，jupyter

自省：在变量的前后使用？，可显示对象的信息：

b = [1,2,3]

b?

-使用？？会显示函数的源码

-？还有一个用途，就是搜索Ipython的命名空间。字符和通配符结合，可以匹配所有的名字。

%run命令：可以用来运行所有的python程序，假设有一个python文件：shili.py，可以如下运行：

%run shili.py

-这段脚本运行在空的命名空间，因此结果和普通的运行方式python script.py相同，文件中所有定义的变量（import，函数和全局变量，除非报错了）都可以在ipython命令中随后访问。

*笔记：如果向让一个脚本访问ipython中已经定义过的变量，可以使用%run -i，在jupyter中，你也可以使用%load，它将脚本倒入到一个代码格子中：

-中断运行中代码：按ctrl-c

从剪切板执行程序：

%paste#%paste可以直接运行剪切板中的代码

%cpaste#%cpaste有类似的功能，但是会给出一条提示

键盘快捷键

魔术命令：ipython中特殊的命令，被称作魔术命令，这些命令可以使普通的任务更快捷，更容易控制ipython系统，魔术命令难过是在指令之前添加%的前缀。例如，可以用%timeit会测量任何python语句的执行时间，魔术命令可以看作是ipython中运行的命令行，许多魔术命令有命令行选项，可以通过？查看。魔术函数默认可以不使用%前缀，但是不能有变量和函数名称相同，这个特点被称为自动魔术，可以使用%automatic打开和关闭。一些魔术函数和python函数很像，他的结果可以直接赋值给一个变量。

一些常用的ipython魔术命令：

集成matplotlib：ipython在分析极端领域能够流行的原因之一是它非常好的集成了数据可视化和其他用户界面，比如matplotlib

-在IPython shell中，运行%matplotlib可以进行设置，可以创建多个绘图窗口，而不会干扰控制台session：

%matplotlib

Using matplotlib backend: Qt4Agg

-在jupyter中命令有所不同：

%matplotlib inline

import matplotlib，pyplot as plt

plt.plot(np.random.randn(50).cumsum())

可变对象与不可变对象：python中的大多数对象都是可变的，比如列表，字典，numpy数组，和用户定义的类型（类）都是可变的，其他的，例如字符串和元组，是不可变的。

字节和unicode：假定知道字符编码，可以将其转换为unicode，例如：

val = “dhfhfff”

val

-可以用encode将这个unicode字符串编码为utf-8：

val_utf8 = val.encode("utf8’)

-如果你知道一个字节对象的unicode编码，用decode方法可以解码：

val_utf8.decode("utf8’)

-工作中碰到的文件很多都是字节对象，盲目的将所有数据编码为unicode是不可取的。虽然用的不多，但是你可以在字节文本的前面加上一个b：

a = b"this is shuju’

b"this is shuju’

decoded = a.decode(’utf8’)

"this is shuju’

日期和时间：python内建函数的datetime模块提供了datetime，date和time类型。datetime类型结合了date和time，是最常用的：

from date time import date time, date,time

dt = datetime(20,11,10,29,20,30,21)

print(day)

print(minute)

-根据datetime实例，你可以用date和time提取各自的对象：

print(dt.data)#输出dt.date()为（20，11，10，29）

print(dt.time)#输出dt.time为（20，30，21）

#strftime方法可以将detetime格式化为字符串

#strptime可以将字符串转换为datetime对象

-当你聚类活着对时间序列进行分组，替换datetime的time字段有时候会很有用，例如，用0替换分和秒：

dt.replace(minute=0,second=0)

print(datatime.datatime)#输出datetime.datetime为（2011，10，29，20，0）

-因为datetime是不可变类型上面的方法会产生一个新的对象。两个datetime对象的差会产生一个datetime类型，结果（17，7179）指明了将17天7179秒的编码方式。

第三章 python的数据结构、函数和文件

排序：sort（）

-可以用sort将一个列表进行原地排序（不创建新的对象）

-sort有一些可选参数，例如sort（key=len）可以按照字符串的长度对字符串进行排序

-sorted函数———稍后学习

二分搜索和维护已排序的列表：bisect（）

-bisect模块支持二分查询，和向已经排序的列表中插入值。bisect.bisect可以找到插入值后先不插入，而是返回可以插入的位置下标。保持排序的位置。bisect.insort是向可以插入的这个位置插入值：

*注意：bisect模块不会检查列表是否已经排了序，因此，对没有排序的列表进行操作，不会报错，但是结果不一定正确

切片：列表名称（开始位置下标：结束位置下标）例如：list（1：5）

-切片还可以被序列赋值：

list = 【1，2，3，4，5，6】

list[3:4]= [6,3]#会将列表list中位置下标为3的元素换成列表[6,3]也就是说，序列赋值之后的list比原来的列表多了一个元素。

-开始位置的下标和结束位置的下表都可以省略，此时，默认开头和结尾———负数表明从后向前切片

-还可以设置切片的步长：list【1：2：2】的意思是，切下来list列表中下标为1到2的内容，切片方法为隔一个取一个。当第三个参数为-1的话，可以将原来的列表颠倒过来。