数据分析（DA）和数据开发/数据仓库工程师（DE）究竟有什么区别，工作职责和工作内容上的差异是什么？
一般都知道，数开偏开发，主要是技术层面的工作，负责ETL、数仓、分布式计算、大数据运维等。数分偏业务，通过分析数据、建模、搭建指标体系，找出规律，给业务赋能。
数开通常负责一个业务整个数据体系的构建，也就是传说中的“数据仓库”。这个仓库中既有最底层的明细数据表，也有一层一层做过计算和组合的聚合数据表。
数据分析师在日常工作中，经常会使用各种聚合表做一些简单的可视化或更复杂的分析，来监控业务的核心指标或者获取一些结论来支持决策。而这些日常被使用的数据表其实都是由数仓工程师建设好的，它们是非常规整的行列数据，在相应的可视化工具中，使用者只需要通过简单的拖、拉、拽就可以实现快速地分析。
但这些被使用的数据表就像海平面露出的冰山一角一样，分析师通常情况下只需要关注海面之上的部分，在海平面之下是冰山的基础，就是我们所说的数仓体系，这一部分由数据开发同学帮忙构建并维护。
这个时候有同学会问，为什么需要这么一套数仓体系呢，我直接拿最底层的明细数据难道算不出我想要的指标吗？理论上来说，是可以的。但实际上，这不是最优解。且不说现在每天几百亿的数据你自己跑个sql能拖垮公司的数据资源，很多情况下明细数据中很多信息你是不需要的，在实际工作中，我们只获取自己关注的数据即可，不需要每一次都拿最明细的数据，这样分析效率极低。
就拿短视频app的数据分析举例，如果你想监控每天用户的点赞行为，从最底层的数据表中，获取到全部的“某人在某个时间对某个视频做了某个动作”这样的记录肯定可以实现你的目的，但是更合理的做法是：
（1）数据开发工程师会先从底层数据（底层数据通常是由服务器记录的非结构性数据）同步出一个最明细表，包括谁在什么时间对哪个视频以何种方式进行了点赞
（2）再进一步直接聚合出一张新的表，记录谁在哪一天点赞了多少次
（3）最后抽象出一张指标表，某一天总共有多少点赞次数
到这里，把最后一张表交付给数据分析师，分析师去做后续的分析。你发现没有，这个时候你已经不需要自己算什么了，直接可视化走起，一张每日点赞数监控就出来了。
当然实际工作中肯定没有这么简单，如果只是做每日点赞数的可视化，那其实完全不需要数据分析师，数仓同学做完这些表自己也能操作可视化软件画图并直接交付，没必要中间过一道分析师。
所以实际上，分析师和数仓的合作模式是，分析师会根据自己指标监控或者专题分析的需求，构思自己需要的数据或指标，这些数据或指标肯定不只是简单的点赞数，可能会是不同画像的用户对不同类型视频的点赞行为，这种行为可能反映出不同种类的用户对不同种类视频的偏好；
随后，分析师将自己想要获取的数据或指标提需求给数仓同学，数仓同学负责后续的数据收集、整理、清洗、聚合这一整个过程。很多情况下，在拥有非常完整的数据仓库后，分析师想要的数据基本上由数仓同学从仓库中随时抽取、组合在一起，就能快速支持相应的分析。因此这样看下来，数据分析师和数据仓库工程师非常像是相爱相杀的产品经理和研发。前者负责提需求，后者负责承接需求并送上一个白眼 ️。
总结下：
数据开发(包括数仓开发)建立采集、存储、计算、应用的系统，根据数据分析师的需求为业务构建一套完整的数据支撑体系。需要各类大数据组件的开发、调优，ETL脚本的编写、数仓搭建的知识。
而数据分析更注重对数据的使用，依据数据开发构建的数据集市，结合实际业务，获取一些可落地的结论。需要数理统计和业务方面的知识。
二者一起合力成为一个业务的驱动轮——数据驱动。
文章浏览阅读130次。下载的js：/*** @param target_URL 下载地址* @param onload 服务器返回结果的回调函数* @param fileName 文件名 不传则从服务端获取 Content-disposition filename=** @param save_URL 保存路径 先不写了*/function downLoadFile(target_url,onloadFunction,..._jquery前端上传下载excel文件,后端java
文章浏览阅读7.9w次，点赞158次，收藏1.2k次。IntelliJ IDEA 2022.1 保姆级安装教程_idea2022.1
文章浏览阅读7.8k次。vue中是推荐使用axios来发送请求的。而且在vue2.0之后也是使用axios来实现发送ajax请求的。1. 安装axios有好几种引用的方式，其中主要包括如下：使用 cdn:使用npm$ npm install axios使用 bower:$ bower install axios使用1.get请求mounted: function() {axios.get('http://www.myca..._vue中ajax请求方式
文章浏览阅读961次。摘要：本文通过研究闭环调速系统的调节系统设计，来减小超调量的方法，用调节器的选型来进行优化处理，并且讨论了实现设计的不同情况的实验结果，着重介绍了第一种方案。同时在考虑不同驱动电路下的设计情况，分别构成的电路系统的主要特点以及实用性，也结合实际的生产设计情况选择最优的设计方案，联系国内外的研究现状结合自己的设计给出合理的设计，通过工程设计进行实验仿真，通过对不同选型下的参数整定来实现超调的合理范围..._用matlab画出双闭环控制的串级调速系统
文章浏览阅读955次。网上看到好多博客，方法繁琐难懂，为了力求简洁，本文主要给出具体的方法与命令，而不会一步步演示。本文所述方法已经在自己的Vmware虚拟机中验证可行。关闭防火墙 与Centos之前的版本不同的是，7.0关闭防火墙的命令如下（root用户输入）： systemctl stop firewalld.service #停止firewall systemctl disable firewal_防火墙虚拟机命令修改名字
文章浏览阅读6.1k次，点赞3次，收藏3次。摘要mongo aggregation是mongo 的一个轻量级的map-reduce框架，可以实现一些count,sum,groupby的聚合。本身的意义就在于减少查询次数，将原本需要客户端的多次查询能够整合到db端的基于pipeline的查询。这样带来的好处就是减少请求数据库次数，坏处就是这个查询占用的数据库内存大，时间查，有可能拖垮其他查询。这个在本篇文章不讨论。概述常用的阶_spingdata mongo aggregate count
文章浏览阅读1.1w次。默认情况下只有我们在按下“.”的时候才会有代码提示，使用visual studio时看到这个IDE是按下所有的键都会自动提示，以前还很羡慕visual studio的强大，有一天才发现，原来eclipse也有这个功能，但是默认没有开启。开启方法如下：windows-->Preferences-->Java-->Editor-->Content Assist在Auto activation _sts输入助手
文章浏览阅读311次。Python - Sublime Text 3 控制台不能输出中文的解决方法_sublime控制台输出不了中文
文章浏览阅读391次。IPC攻击流程：建立ipc$连接 --> copy命令上传后门文件 --> at命令计划任务执行后门文件，上线WMI&SMB攻击流程：抓取账号密码(需提权) --> 将后门放到web根目录下 -->套件或工具进行横向移动，执行命令下载web下的后门文件然后执行，上线CME工具：进行密码喷射，利用smb服务进行批量验证账密，执行命令下载后门然后执行，上线。_横向移动cme
文章浏览阅读229次。本文详细梳理了多任务单目深度估计的论文！_深度估计图像任务
文章浏览阅读9.2k次，点赞9次，收藏90次。下载Centos7镜像下载地址Index of /pub/Linux/CentOS-vault/7.5.1804/isos/x86_64 (jaist.ac.jp)http://ftp.jaist.ac.jp/pub/Linux/CentOS-vault/7.5.1804/isos/x86_64/下载镜像包CentOS-7-x86_64-DVD-1804.iso设置虚拟机新建虚拟机弹出新建虚拟机向导，点击下一步选择稍后安装操作系统，点击下一步..._centos-7-x86_64-dvd-1804.iso
文章浏览阅读3.4k次。最近发现unity在ios平台使用UnityWebRequest会偶尔出现无响应的情况，明明发送了webRequest请求但一直卡住在请求的协程或者开异步进程的请求中，不会继续执行下去。而且这个问题只会在ios出现，在android或者pc平台是复现不了，一开始以为是自己代码的原因，但把请求从头到尾都debug输出过一遍后，发现代码是没错的，但web请求偶尔还是会卡住，即使设置了超时时间也一样。而且只要一出现这种情况，之后的webrequest请求都会卡在同一个地方。附上代码：public asy_unitywebrequestmodule ios无效