技术标签: 性能测试
引言
综合来讲,这是一本介绍方法论的书,作者通过概念、模型、观测、实验手段来进行问题的剖析。另外本书的涉及范围之广,从内存、CPU、文件系统、存储硬件、网络等各个方面。并且本书通常以一个实例入手,深入的介绍系统原理,特别是在一些重点细节上,往往有超出一般的认识和方法。
本书函盖范围太广,更适合作为工具书时常翻阅,所以在阅读过程中也关注自己当前需要的方面。
系统性能是对整个系统的研究,包括了所有的硬件组件和整个软件栈。所有数据路径上和软硬件上所发生的事情都包括在内,因为这些都有可能影响性能。
性能领域包括了以下的事情:
设置性能目标和建立性能模型
基于软件或硬件原型进行性能特征归纳
对开发代码进行性能分析(软件整合之前)
执行软件非回归性测试(软件发布前或发布后)
针对软件发布版本的基准测试
目标环境中的概念验证测试
生产环境部署的配置优化
监控生产环境中运行的软件
特定问题的性能分析
术语容量规划 ( capacity planning
) 指的是一系列事前行动。在设计阶段,包括通过研究开发软件的资源占用情况,来得知原有设计在多大程度上能满足目标需求。在部署后,包括监控资源的使用情况,这样问题在出现之前就能被预测。 !
资源分析指标:IOPS,吞吐量,使用率,饱和度
工作负载指标:吞吐量和延时。
性能分析必须量化问题的重要程度,有一个指标非常合适,就是延时(latency)。
动态跟踪技术把所有的软件变得可以监控,而且能用在真实的生产环境中。这项技术利用内存中的 CPU 指令并在这些指令之上动态构建检测数据。这样能从任何运行的软件中都可以获得定制话的性能统计数据,从而提供了远超系统的自带统计所能给予的观测性。
DTrace 对用户态和内核态的软件都提供了静态跟踪和动态跟踪,并且数据是实时产生的
扰动(perturbation)是会影响结果的,扰动包括定时执行的系统活动、系统的其他用户以及其他的工作负载。现代环境的另一个困难是系统很可能由若干个网络化的组件组成,都用于处理输入工作负载,包括负载平衡、Web 服务器、数据库服务器、应用程序服务器,以及存储系统。
在取得数据之前就把事情理论化是一个严重的错误。不理智的人扭曲事实来适应理论,而不是改变理论来适应事实。
面对一个性能不佳且复杂的系统环境时,首先需要知道的挑战就是从什么地方开始分析、收集什么样的数据,以及如何分析这些数据。
通用的性能分析方法
性能观测工具可以按照系统级别和进程级别来分类,多数的工具要么基于计数器要么基于跟踪:
进程级别:
一般来说,上述这些工具是从 /proc
文件系统里读取统计信息的
跟踪收集每一个事件的数据以供分析。跟踪框架一般默认是不启用的,因为跟踪捕获数据会有 CPU 开销,另外还需要不小的存储空间来存放数据。
系统级别:
进程级别:
性能调整离工作所执行的地方越近越好:最好在应用程序里,包括 Web 服务器、应用服务器、负载均衡器、文件服务器,等等。
设立性能目标能为你的性能分析工作指明方向,并帮助你选择要做的事情。没有清晰的目标,性能分析容易沦为随机的『钓鱼探险』。 常见目标:
应用程序性能技术:选择 I/O 尺寸、缓存、缓冲区、轮训(epoll)、并发和并行、非阻塞 I/O、处理器绑定
编程语言相关:编译语言使用编译器优化、解释语言一般不是首选、虚拟机、垃圾回收
街灯讹方法(奇葩的命名)
在熟悉的工具或流程中试错,比较盲目
Ad Hoc核对清单法
保证所有人知道如何检查最糟糕的问题,覆盖全面,但必须保持清单及时更新
诊断循环
假设--仪器检验--数据--假设
USE方法
本书重点方法,对于所有资源,查看它的使用率、饱和度、错误
了解操作系统和它的内核对于系统性能分析是至关重要的。你会经常需要进行针对系统行为的开发和测试,如系统调用是如何执行的、CPU 是如何调度线程的、有限大小的内存是如何影响性能的,或者是文件系统是如何处理 I/O 的。
这部分的内容本书主要介绍了基本的概念,最好还是结合《深入理解计算机系统》来弄懂,不然真的很容易一知半解,列举如下:
内核:内核执行、时钟、内核态
栈:用户栈和内核栈
中断和中断线程
中断优先级
进程:进程创建、进程生命周期、进程环境
系统调用
虚拟内存
内存管理
调度器
文件系统:VFS、I/O 栈
缓存(括号内为例子):应用程序缓存、服务器缓存(Apache 缓存)、缓存服务器(Redis)、数据库缓存(MySQL 缓冲区高速缓存)、目录缓存(DNLC)、文件元数据缓存(inode 缓存)、操作系统缓冲区高速缓存(segvn)、文件系统主缓存(ZFS ARC)、文件系统次缓存(ZFS L2ARC)、设备缓存(ZFS vdev)、块缓存(缓冲区高速缓存)、磁盘控制器缓存(RAID 卡缓存)、存储阵列缓存、磁盘内置缓存
网络
设备驱动
多处理器:CPU 交叉调用
抢占
资源管理
观测性
内核维护了各种统计数据,称为计数器,用于对事件计数。通常计数器实现为无符号的整型数,发生事件时递增。
系统级别的计数器有:
vmstat: 虚拟内存和物理内存的统计,系统级别
mpstat: 每个 CPU 的使用情况
iostat: 每个磁盘 I/O 的使用情况,由块设备接口报告
netstat: 网络接口的统计,TCP/IP 栈的统计,以及每个连接的一些统计信息
sar: 各种各样的统计,能归档历史数据
ps: 进程状态,显示进程的各种统计信息,包括内存和 CPU 的使用
top: 按一个统计数据排序,显示排名高的进程
pmap: 将进程的内存段和使用统计一起列出
tcpdump: 网络包跟踪(libpcap lib)
blktrace: 块 I/O 跟踪
DTrace: 跟踪内核的内部活动和所有资源的使用情况,支持静态和动态的跟踪
SystemTap: 同上
perf: Linux 性能事件,跟踪静态和动态的指针
strace: 系统调用跟踪
gbd: 源码级别的调试器
延时
吞吐量
资源使用率
多少CPU可用?是核吗?是硬件线程?
CPU 架构是单还是多处理器?
CPU 缓存大小是多少?共享?
CPU 时钟频率是多少?是动态?甚于BIOS?
CPU 有其它特性?
CPU 勘误表上有硬件上的bug?
BIOS 版本有bug?
CPU 使用软件限制?
主存有多少?
配置允许应用程序使用的内存大小?
使用哪个分配器?
主存速度?
系统架构?NUMA? UMA?
NUMA 共享存储器物理上是分布在所有处理机的本地存储器上 UMA 均匀存储器存取
内存总线大小?
是否配置使用了大页面?
是否支持和配置过度提交?
使用了哪些内存可调参数?
软件强制内存限制?
当前挂载并使用的文件系统数量?
文件系统记录大小?
启用了访问时间戳?
是否有其它参数(压缩?加密?)
缓存大小?二级缓存?
存储设备数量?何配置?RAID?
哪种文件系统?版本?
启用I/O控制?
盘数量?类型?
磁盘固件版本?
多少个磁盘控制器?版本?接口类型?
是否为调速插槽?
配置了RAID?
是否启用多路径?
磁盘设备驱动?
启用I/O控制?
网络通信是由一组协议栈组成的,其中的每一层实现一个特定的目标:
一些网络通信和网络性能相关概念:网络和路由、协议、封装、包长度、延时(主机名解析延时、ping 延时、连接延时、首字节延时、往返时间、连接生命周期)、缓冲、连接积压队列、接口协商、使用率、本地连接。
对于日常监测来说,最常用的还是各种工具,如:
netstat -s: 查找高流量的重新传输和乱序数据包
netstat -i: 检查接口的错误计数器
ifconfig: 检查『错误』『丢弃』和『超限』
ip(8): 检查传输和接收的字节率
tcpdump/snoop: 尽管需要大量的 CPU 开销,短期使用可能就足以发现谁在使用网络并且定位可以消除的不必要操作
dtrace/stap/perf: 用来检查包括内核状态在内的应用程序与线路间选中的数据
这两章主要介绍相关底层概念,很多时候只是作为选择云服务提供商的依据(毕竟不能自己开发),省略。
方法
IOPS: 每秒发生的输入/输出操作的次数,是数据传输的一个度量方法。对于磁盘的读写,IOPS 指的是每秒读和写的次数
吞吐量: 评价工作执行的速率,尤其是在数据传输方面,这个术语用于描述数据传输速度。在某些情况下(如数据库),吞吐量指的是操作的速度(每秒操作数或每秒业务数)
响应事件: 一次操作完成的事件。包括用于等待和服务的事件,也包括用来返回结果的时间
延时: 描述操作里用来等待服务的事件。在某些情况下,它可以指的是整个操作时间,等同于响应时间
使用率: 对于服务所请求的资源,使用率描述在所给定的时间区间内资源的繁忙成都。对于存储资源来说,使用率指的就是所消耗的存储容量(例如,内存使用率)
饱和度: 指的是某一资源无法满足服务的排队工作量
瓶颈: 在系统性能力,瓶颈指的是限制系统性能的那个资源。分辨和移除系统瓶颈是系统性能的一项重要工作
工作负载: 系统的输入或者是对系统所施加的负载叫做工作负载。对于数据库来说,工作负载就是客户端发出的数据库请求和命令
缓存: 用于复制或者缓冲一定量数据的高速存储区域,目的是为了避免对较慢的存储层级的直接访问,从而提高性能。
操作系统
操作系统: 这里指的是安装在系统上的软件和文件,使得系统可以启动和运行程序。操作系统包括内核、管理工具,以及系统库
内核: 内核是管理系统的程序,包括设备(硬件)、内存和 CPU 调度。它运行在 CPU 的特权模式,允许直接访问硬件,称为内核态
进程: 是一个操作系统的抽象概念,是用来执行程序的环境。程序通常运行在用户模式,通过系统调用或陷阱来进入内核模式
线程: 可被调度的运行在 CPU 上的可执行上下文。内核有多个线程,一个进程有一个或多个线程
任务: 一个 Linux 的可运行实体,可以指一个进程(含有单个线程),或一个多线程的进程里的一个线程,或者内核线程
内核空间: 内核的内存地址空间
用户空间: 进程的内存地址空间
上下文切换: 内核程序切换 CPU 让其在不同的地址空间上做操作
系统调用: 一套定义明确的协议,为用户程序请求内核执行特权操作,包括设备 I/O
陷阱: 信号发送到内核,请求执行一段系统程序(特权操作)。陷阱类型包括系统调用、处理器异常以及中断
中断: 由物理设备发送给内核的信号,通常是请求 I/O 服务
软件资源
本书作者是著名的性能大师,他有一篇60秒分析性能的文章,其中有一个著名的性能checklist如下:
文章浏览阅读3.4k次,点赞8次,收藏42次。一、什么是内部类?or 内部类的概念内部类是定义在另一个类中的类;下面类TestB是类TestA的内部类。即内部类对象引用了实例化该内部对象的外围类对象。public class TestA{ class TestB {}}二、 为什么需要内部类?or 内部类有什么作用?1、 内部类方法可以访问该类定义所在的作用域中的数据,包括私有数据。2、内部类可以对同一个包中的其他类隐藏起来。3、 当想要定义一个回调函数且不想编写大量代码时,使用匿名内部类比较便捷。三、 内部类的分类成员内部_成员内部类和局部内部类的区别
文章浏览阅读118次。分布式系统要求拆分分布式思想的实质搭配要求分布式系统要求按照某些特定的规则将项目进行拆分。如果将一个项目的所有模板功能都写到一起,当某个模块出现问题时将直接导致整个服务器出现问题。拆分按照业务拆分为不同的服务器,有效的降低系统架构的耦合性在业务拆分的基础上可按照代码层级进行拆分(view、controller、service、pojo)分布式思想的实质分布式思想的实质是为了系统的..._分布式系统运维工具
文章浏览阅读174次。1.数据源准备2.数据处理step1:数据表处理应用函数:①VLOOKUP函数; ② CONCATENATE函数终表:step2:数据透视表统计分析(1) 透视表汇总不同渠道用户数, 金额(2)透视表汇总不同日期购买用户数,金额(3)透视表汇总不同用户购买订单数,金额step3:讲第二步结果可视化, 比如, 柱形图(1)不同渠道用户数, 金额(2)不同日期..._exce l趋势分析数据量
文章浏览阅读3.3k次。堡垒机可以为企业实现服务器、网络设备、数据库、安全设备等的集中管控和安全可靠运行,帮助IT运维人员提高工作效率。通俗来说,就是用来控制哪些人可以登录哪些资产(事先防范和事中控制),以及录像记录登录资产后做了什么事情(事后溯源)。由于堡垒机内部保存着企业所有的设备资产和权限关系,是企业内部信息安全的重要一环。但目前出现的以下问题产生了很大安全隐患:密码设置过于简单,容易被暴力破解;为方便记忆,设置统一的密码,一旦单点被破,极易引发全面危机。在单一的静态密码验证机制下,登录密码是堡垒机安全的唯一_horizon宁盾双因素配置
文章浏览阅读7.7k次,点赞4次,收藏16次。Chrome作为一款挺不错的浏览器,其有着诸多的优良特性,并且支持跨平台。其支持(Windows、Linux、Mac OS X、BSD、Android),在绝大多数情况下,其的安装都很简单,但有时会由于网络原因,无法安装,所以在这里总结下Chrome的安装。Windows下的安装:在线安装:离线安装:Linux下的安装:在线安装:离线安装:..._chrome linux debian离线安装依赖
文章浏览阅读153次。中国发达城市榜单每天都在刷新,但无非是北上广轮流坐庄。北京拥有最顶尖的文化资源,上海是“摩登”的国际化大都市,广州是活力四射的千年商都。GDP和发展潜力是衡量城市的数字指...
文章浏览阅读3.3k次。前言spark在java使用比较少,多是scala的用法,我这里介绍一下我在项目中使用的代码配置详细算法的使用请点击我主页列表查看版本jar版本说明spark3.0.1scala2.12这个版本注意和spark版本对应,只是为了引jar包springboot版本2.3.2.RELEASEmaven<!-- spark --> <dependency> <gro_使用java调用spark注册进去的程序
文章浏览阅读4.8k次。汽车零部件开发工具巨头V公司全套bootloader中UDS协议栈源代码,自己完成底层外设驱动开发后,集成即可使用,代码精简高效,大厂出品有量产保证。:139800617636213023darcy169_uds协议栈 源代码
文章浏览阅读4.6k次,点赞20次,收藏148次。AUTOSAR基础篇之OS(下)前言首先,请问大家几个小小的问题,你清楚:你知道多核OS在什么场景下使用吗?多核系统OS又是如何协同启动或者关闭的呢?AUTOSAR OS存在哪些功能安全等方面的要求呢?多核OS之间的启动关闭与单核相比又存在哪些异同呢?。。。。。。今天,我们来一起探索并回答这些问题。为了便于大家理解,以下是本文的主题大纲:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JCXrdI0k-1636287756923)(https://gite_autosar 定义了 5 种多核支持类型
文章浏览阅读2.2k次,点赞6次,收藏14次。原因:自己写的头文件没有被加入到方案的包含目录中去,无法被检索到,也就无法打开。将自己写的头文件都放入header files。然后在VS界面上,右键方案名,点击属性。将自己头文件夹的目录添加进去。_vs2013打不开自己定义的头文件
文章浏览阅读3.3w次,点赞80次,收藏342次。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。此时,可以将系统中所有用户的 Session 数据全部保存到 Redis 中,用户在提交新的请求后,系统先从Redis 中查找相应的Session 数据,如果存在,则再进行相关操作,否则跳转到登录页面。当数据量很大时,count 的数量的指定可能会不起作用,Redis 会自动调整每次的遍历数目。_redis命令
文章浏览阅读449次,点赞3次,收藏3次。URP的设计目标是在保持高性能的同时,提供更多的渲染功能和自定义选项。与普通项目相比,会多出Presets文件夹,里面包含着一些设置,包括本色,声音,法线,贴图等设置。全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,主光源和附加光源在一次Pass中可以一起着色。URP:全局只有主光源和附加光源,主光源只支持平行光,附加光源数量有限制,一次Pass可以计算多个光源。可编程渲染管线:渲染策略是可以供程序员定制的,可以定制的有:光照计算和光源,深度测试,摄像机光照烘焙,后期处理策略等等。_urp渲染管线