# 整体结构为《python数据分析与挖掘实战》第三章内容，在其代码内容及演示上有所修改及补充。

        # 具体问题具体分析，请结合实际情况食用

前言

        在收集到初步的样本数据之后，接下来该考虑的问题有：

        （1）样本数据集的数量和质量是否满足模型构建的要求。

        （2）是否出现从未设想过的数据状态。

        （3）是否有明显的规律和趋势。

        （4）各因素之间有什么样的关联性。

        解决方案：检验数据集的数据质量、绘制图表、计算某些特征量等，对样本数据集的结构和规律进行分析。

        从数据质量分析和数据特征分析两个角度出发。

3.1 数据质量分析

        数据质量分析师数据预处理的前提，是数据挖掘分析结论有效性和准确性的基础。

        主要任务是检查数据中是否存在脏数据，包括以下内容：

        （1）缺失值

        （2）异常值

        （3）不一致的值

        （4）重复数据及含有特殊符号（#、￥、*等）的数据

 3.1.1 缺失值分析

        产生原因：（1）信息无法获取；（2）信息被遗漏；（3）属性值不存在（如未婚者的配偶姓名）。

        影响：（1）丢失有用信息；（2）模型不确定性更加显著；（3）建模混乱，输出不可靠。

        分析：含有缺失值属性的个数，每个属性的未缺失数、缺失数与缺失率等。

        处理：删除、对可能值进行插补或不处理（4.1.1节）

3.1.2 异常值（离群点）分析

（1）简单统计量分析

        最大值、最小值。

（2）3σ原则

         如果数据服从正态分布：异常值被定义为一组测定值中与平均值的偏差超过3倍标准差的值。

        正态分布假设下，距离平均值3σ之外的值出现的概率为P(|x-μ|>3σ)≤0.003，属于极个别的小概率事件。

        如果数据不服从正态分布，也可以用远离平均值的多少倍标准差来描述。

（3）箱型图分析

        箱型图识别异常值的结果比较客观，在识别异常值方面有一定优越性。

                

import pandas as pd

# 读取餐饮数据
file_path = r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_sale.xls'
data = pd.read_excel(file_path, index_col=u'日期')  # 指定日期作为索引列
data_describe = data.describe()
print(data_describe)

                销量
count   200.000000
mean   2755.214700
std     751.029772
min      22.000000
25%    2451.975000
50%    2655.850000
75%    3026.125000
max    9106.440000

        其中count是非空值数，len(data)得出的数据条是201，因此缺失值为1。

import pandas as pd
import matplotlib.pyplot as plt

# 读取餐饮数据
file_path = r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_sale.xls'
data = pd.read_excel(file_path, index_col=u'日期')  # 指定日期作为索引列
data_describe = data.describe()
print(data_describe)

# ----------------------------------------------------------------------
# 制作箱型图
plt.rcParams['font.sans-serif'] = ['SimHei']  # 正常显示中文
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号

plt.figure()    # 建立图像
p = data.boxplot(return_type='dict')  # DataFrame的方法画箱型图，返回字典格式
x = p['fliers'][0].get_xdata()  # 'fliers' 为异常值标签
y = p['fliers'][0].get_ydata()
y.sort()    # 从小到大排序

# 用annotate添加注释
for i in range(len(x)):
    if i > 0:
        plt.annotate(y[i], xy=(x[i], y[i]),
                     xytext=(x[i]+0.05-0.8/(y[i]-y[i-1]), y[i]))
    else:
        plt.annotate(y[i], xy=(x[i], y[i]),
                     xytext=(x[i]+0.08, y[i]))
plt.show()

        结合业务，将4065.2、4060.3、865.0归为正常值，其他五点归为异常值。

        最后确定过滤规则：日销量在400以下5000以上则属于异常数据，编写过滤程序（写个判断就行），进行后续处理。

3.1.3 一致性分析

        主要发生在数据集成的过程中，可能是重复存放的数据未能进行一致性更新造成的。

3.2 数据特征分析

3.2.1 分布特征

        对于定量数据：频率分布表、频率分布直方图、茎叶图。

        对于定性分类数据：饼图、条形图。

1.定量数据的分布分析

        步骤：1）求极差；2）决定组距与组数；3）决定分点；4）列出频率分布表；5）绘制频率分布直方图。

        遵循原则：1）各组之间必须互相排斥；2）各组必须将所有的数据包含在内；3）各组的组宽最好相等。

        依旧以3.1.2的数据源为实例（下载的配套数据集没找到书上的数据）：

        # 注：书上这部分没有列代码，因此实现过程可能略有不同

"""
数据集为定量数据
通过以下步骤进行分布分析
1）求极差
2）决定组距与组数
3）决定分点
4）列出频率分布表
5）绘制频率分布直方图
"""
import pandas as pd
import math
import matplotlib.pyplot as plt

# 调整df列宽
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)

file_path = r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_sale.xls'
data = pd.read_excel(file_path, index_col=u'日期')
# 过滤
data = data[(data[u'销量'] > 400) & (data[u'销量'] < 5000)]
statistics = data.describe()  # 保存基本统计量
# 1)求极差
statistics.loc['range'] = statistics.loc['max'] - statistics.loc['min']  # 极差=3200.200000

print(statistics)

# 2)分组
# 根据业务，取组距为500
# 组数=(极差/组距)+1，这里书上有误
group_num = math.ceil((3200.2 / 500) + 1)
print(f'组数为：', group_num)  # 8
# 3)决定分点
# 分布区间
start, end = 0, 500
for i in range(group_num):
    if i in range(group_num)[:-2]:
        print(f'[{start}, {end})', end=',')
    else:
        print(f'[{start}, {end})')
    start += 500
    end += 500
'''
[0, 500),[500, 1000),[1000, 1500),[1500, 2000),[2000, 2500),
[2500, 3000),[3000, 3500),[3500, 4000)
'''
# 绘制频率分布表
start, end = 0, 500
fre_table = pd.DataFrame(data=None, columns=['组段', '组中值', '频数', '频率'])
for i in range(group_num + 1):
    group_segment = f'[{start}, {end})'  # 组段
    median = sum([start, end]) // 2  # 中间值
    f1 = len(data[(data[u'销量'] >= start) & (data[u'销量'] < end)])  # 频数
    f2 = f1 / len(data)
    f2 = '{:.2f}%'.format(f2 * 100)  # 频率
    fre_table.loc[i + 1] = [group_segment, median, f1, f2]
    start += 500
    end += 500
print(fre_table)
'''
           组段  组中值  频数    频率
1      [0, 500)     250     0   0.00%
2   [500, 1000)     750     1   0.51%
3  [1000, 1500)    1250     0   0.00%
4  [1500, 2000)    1750     1   0.51%
5  [2000, 2500)    2250    53  27.18%
6  [2500, 3000)    2750    87  44.62%
7  [3000, 3500)    3250    44  22.56%
8  [3500, 4000)    3750     7   3.59%
9  [4000, 4500)    4250     2   1.03%
'''

# ----------------------------------------------------------------------
# 4）制作箱频率分布直方图
plt.rcParams['font.sans-serif'] = ['SimHei']  # 正常显示中文
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号
plt.figure(figsize=(10, 6))
x = fre_table['组段'].tolist()
y = fre_table['频数'].tolist()
plt.bar(x, y)
plt.title('销售额频率分布直方图')
plt.show()

        # 为了方便这里绘制的是频数分布直方图

2.定性数据的分布特征

        采用饼图、条形图描述定性变量的分布

import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_excel(r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_sale_all.xls')
data = data.dropna()    # 去除缺失值
labels = data.columns[1:]
sizes = []
for dish in data.columns[1:]:
    size = sum(data[dish].tolist())
    sizes.append(size)
print(sizes)
plt.rcParams['font.sans-serif'] = ['SimHei']  # 正常显示中文
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号
plt.pie(
    x=sizes,
    labels=labels,
    autopct="%.0f%%",
)
plt.title('菜品销售分布（饼图）')
plt.show()
# -------------------------------------------------------------
# 条形图
plt.title('菜品销售分布（条形图））')
plt.bar(
    x=labels,
    height=sizes
)
plt.show()

3.2.2 对比分析

        适用于指标间的横纵向比较、时间序列的比较分析。

        主要有两种形式：（1）绝对数比较；（2）相对数比较

        一般为组合折线图。

3.2.3 统计量分析

1.集中趋势度量

        均值、中位数、众数。

2.离中趋势度量

        极差、标准差、变异系数、四分位数间距

# -*- coding: utf-8 -*-

import pandas as pd

catering_sale = r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_sale.xls'
data = pd.read_excel(catering_sale, index_col=u'日期')
data = data[(data[u'销量'] > 400) & (data[u'销量'] < 5000)]
statistics = data.describe()
# 极差、变异系数、四分位数间距
statistics.loc['range'] = statistics.loc['max'] - statistics.loc['min']
statistics.loc['var'] = statistics.loc['std'] / statistics.loc['mean']
statistics.loc['dis'] = statistics.loc['75%'] - statistics.loc['25%']

print(statistics)

count   195.000000
mean   2744.595385
std     424.739407
min     865.000000
25%    2460.600000
50%    2655.900000
75%    3023.200000
max    4065.200000
range  3200.200000
var       0.154755
dis     562.600000

3.2.4 周期性分析

        一般为时间序列数据，表示为折线图。

        pass

3.2.5 贡献度分析

        贡献度分析原理是帕累托法则，又称20/80定律。

        对于餐饮企业来讲，应用贡献度分析可以重点改善某菜系盈利最高的前80%的菜品，或重点发展综合影响最高的80%的部门。

# -*- coding: utf-8 -*-
import pandas as pd
import matplotlib.pyplot as plt

# 初始化plt参数
plt.rcParams['font.sans-serif'] = ['SimHei']  # 正常显示中文
plt.rcParams['axes.unicode_minus'] = False  # 正常显示负号
# -----------------------------------------------------------------------
# 准备数据源
data = pd.read_excel(
    r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_dish_profit.xls',
    index_col='菜品名')
data = data['盈利'].copy()
# 降序排序
data.sort_values(ascending=False)
print(data)
# -----------------------------------------------------------------------
# 绘制图像
plt.figure(figsize=(10, 8))
data.plot(kind='bar')
plt.xlabel('菜品名')
plt.ylabel('盈利（元）')
# 求盈利比例=累计销售额/总销售额
p = data.cumsum() / data.sum()
p.plot(color='r', secondary_y=True, style='-o', linewidth=2)
# 增加注释
plt.annotate(
    text=format(p[6], '.4%'),   # 注释文本内容
    xy=(6, p[6]),   # 被注释的坐标点
    xytext=(6*0.9, p[6]*0.9),   # 注释文字的坐标位置
    arrowprops=dict(arrowstyle='->', connectionstyle='arc3, rad=.2')    # 箭头参数,参数类型为字典dict
)
plt.ylabel('盈利（比例）')
plt.show()

        由上图可知，菜品A1-A7占菜品种类数的70%，总盈利额占该月盈利额的85.0033%。根据帕累托法则，应该增加对菜品A1~A7的成本投入，减少A8~A10的投入以获得更高的盈利额。

        # 书上的代码写的奇奇怪怪的，计算盈利比例的时候前面还乘了个1.0，不知道是为了转换成浮点数还是啥。

        # 书上的plt.annotate那段既有位置参数又有关键字参数，看的怪怪的，这里把关键字加上去了（顺便写了下注释）。

3.2.6 相关性分析

1.直接绘制散点图

2.绘制散点图矩阵

3.计算相关系数

# -*- coding: utf-8 -*-

import pandas as pd


# 调整df列宽
pd.set_option('display.unicode.ambiguous_as_wide', True)
pd.set_option('display.unicode.east_asian_width', True)

data = pd.read_excel(r'D:\pyproject\data_analysis_mining\01-数据和代码\chapter3\demo\data\catering_sale_all.xls')
# 相关系数矩阵
print(data.corr(), end='\n')
'''
                    日期  百合酱蒸凤爪  ...  香煎罗卜糕  原汁原味菜心
日期            1.000000     -0.400896  ...   -0.259884     -0.398426
百合酱蒸凤爪   -0.400896      1.000000  ...   -0.090276      0.428316
翡翠蒸香茜饺   -0.292033      0.009206  ...    0.270276      0.020462
金银蒜汁蒸排骨 -0.272744      0.016799  ...    0.077808      0.029074
乐膳真味鸡     -0.052438      0.455638  ...   -0.030222      0.421878
蜜汁焗餐包     -0.232917      0.098085  ...    0.171005      0.527844
生炒菜心        0.121191      0.308496  ...    0.049898      0.122988
铁板酸菜豆腐   -0.404750      0.204898  ...    0.157958      0.567332
香煎韭菜饺     -0.024573      0.127448  ...    0.178336      0.049689
香煎罗卜糕     -0.259884     -0.090276  ...    1.000000      0.088980
原汁原味菜心   -0.398426      0.428316  ...    0.088980      1.000000

'''
# 只显示“百合酱蒸凤爪”与其他菜品的相关关系
print(data.corr()['百合酱蒸凤爪'], end='\n')
'''
[11 rows x 11 columns]
日期             -0.400896
百合酱蒸凤爪      1.000000
翡翠蒸香茜饺      0.009206
金银蒜汁蒸排骨    0.016799
乐膳真味鸡        0.455638
蜜汁焗餐包        0.098085
生炒菜心          0.308496
铁板酸菜豆腐      0.204898
香煎韭菜饺        0.127448
香煎罗卜糕       -0.090276
原汁原味菜心      0.428316
Name: 百合酱蒸凤爪, dtype: float64
'''
# 计算“百合酱蒸凤爪”与“翡翠蒸香茜饺”的相关关系
print(data['百合酱蒸凤爪'].corr(data['翡翠蒸香茜饺']))
'''
0.009205803051836475
'''

        从结果得，如果顾客点了百合酱蒸凤爪，则和点乐膳真味鸡、生炒菜心、原汁原味菜心的相关性比较高，和点其他的相关性较低。

        补充下不同程度线性相关的说明：

        |r|<=0.3不存在线性相关

        0.3<|r|<=0.5为低度线性相关

        0.5<|r|<=0.8为显著线性相关

        |r|>0.8为高度线性相关

        （r>0为正相关，r<0为负相关）