900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > 深入浅出数据分析读书笔记(head first into data analysis)

深入浅出数据分析读书笔记(head first into data analysis)

时间:2024-04-05 00:24:15

相关推荐

深入浅出数据分析读书笔记(head first into data analysis)

第一章

我要研究的对象是什么,分析的重点是什么,我要解决什么?

第二步:将主要的大问题分解为无数的小问题,当小问题解决了,大问题自然迎刃而解。 第三步:评估,将得到的数据拆分 对比 得出有用的结论。 第四步:从分析评估中给出决策。 注意:分析与评估是基于正确的信息基础的,如果是从错误的信息中得出的结论,那么又得从头开始分析。

第二章:实验

通过数据的走势异常判断可能得原因,越多的比较越能发现潜藏深处的问题

有时候我们确定了一对因果关系,我们需要将因果关系倒过来推一下比较好

作为分析师需要不断的考虑混杂因素的影响

做实验的时候常常需要有控制组和实验组,但是即使是这样也不免有混杂因素的影响

可比性? 一个大区域中的若干小区域

随机能够将混杂因素均匀的分散至若干个小区域,最终达到化解混杂因素的目的

控制组是原始对照的作用,实验组才是用于观察效果

在统计的课程中学习到:实验的两组间必须有相关变量,还有独立变量,如果出了独立变量其他的变量都一样,那么实验的结果与独立变量的相关性就越高。在一个疫苗试验中,控制组注射同样剂量的其他试剂,而不是什么都不用做,因为这样才有可比性,这样可以排除一些心理的影响对实验结果造成的误差。

第三章:最优化问题

当你希望尽量多的获得某种东西,而为了实现这个目的需要改变其他一些量的值,就是一个最优化问题。

一切模型都是错误的,但其中一些是有用的 by george box

我们无法规定全部的假设条件,但是只要确实一个重要的假设条件,分析结果就可能毁掉。

第四章 图形让你更精明

要是手头数据庞杂,而且对于如何处理这些数据没有把握,这时只要记住你的分析目标就行了:记住目标,目光停留在和目标有关的数据上,无视其他。

着眼于问题,只要数据的分析能够解决客户的问题,不管是平凡还是精美都没关系。

数据图形化的根本在于正确比较

一个优秀的图形所具备的优点: -展示了数据 -做了高明的比较 -展示了多个变量

用散点图探索因果关系

数据图形化的大师:Edward tufte

我们能从数据的图形趋势推论出一个结果,但是其中的因果关系更值得深思。

第五章 假设检验

观察数据变量有个好方法 看变量间是正相关还是负相关,将各个变量利用正负相关性绘制一个模型图。

因为现实中的各种原因呈网络关系,并非线性关系。

作为一个分析师,需要在因果的网络中看出门道,需要开阔的视野,

假设检验的核心是证伪 无需选出最合理的假设,只需剔除无法证实的假设

到了最后如果还是不能排除一些其他的选项,那么需要借助诊断性证据排出优先级。 诊断性证据是指那些有区分度的证据,对各个选项的贡献度不一样。

第六章 贝叶斯统计

不能忽视条件概率,需要考虑基础概率来计算我们的生活

有时候将概率转换为整数可以有效的避免失误 记住一个公式:

P(A∩B)=P(A)*P(B|A)=P(B)*P(A|B)

第七章 信念数字化将可能 大有可能 有机会 肯定等模糊的概率词汇换成精确的百分比。

始终记住 确认问题才是第一位的

stdev()用来计算一组数的标准偏差,表示数据基于平均值的离散程度

当既定的分析已定,出现新的关键信息,需要在基础概率上做操作,用到贝叶斯统计

第八章 启发法

启发法是从直觉走向最优化的桥梁

直觉往往是靠不住的,看到的是片面,但是启发法可以看到多个选项。

以一个点出发向结果延伸,如果不令人信服,结果之前还需要添加点路径?

第九章 数字的形状

R语言的一些基本操作: source(“”)用于下载一个表 save.image 用于保存表 直接输入表的名字,用于打开一个表 hist(表名字$自变量,breakes=)breakes用于分组的个数 sd(表名字$自变量) 用于计算标准差 summary(表名字$自变量) 返回总体的汇总统计值 help(函数名)弹出帮助网页

标准偏差:用于计算样本中的值相对于平均值的分散程度 总体标准偏差σ=Sqrt[(∑(xi-μ)^2) /N],公式中∑代表总和,μ代表总体x的均值,^2代表二次方,Sqrt代表平方根。

数据分析就是发现条件选择对于结果的影响,所以我们往往需要做到发现图中的一些细节。

第十章 回归

算法 为了完成某个计算而执行的任何过程。

预测是数据分析的重头戏,有些人认为把假设检验和预测加起来就等于数据分析

尽量多使用散点图,只要数据涉及两种变量,应该首先考虑使用散点图。 head(文件名,n=x)读取前X行的内容 plot(employees$requested[employees$negotiated == TRUE],employees$received[employees$negotiated == TRUE]) 作出散点图,分别为X,Y轴变量。 cor(employees$requested[employees$negotiated == TRUE],employees$received[employees$negotiated == TRUE]) 用于计算两个变量之间的相关系数越大越好 最大为1

为了根据这些基本数据算出一条可以预测的曲线,用到了线性模型模块 mylm <- lm(received[negotiated == TRUE] ~ requested[negotiated == TRUE],data=employees) mylm$coefficients

y=intercept+k*x

R如何计算斜率?

第11章:误差低劣的预测比不预测更糟

观察模型的时候一定要想一想假设有何道理,不合适的假设会使模型完全失效,最坏的结果是极具欺骗性的模型。

我们的分析基于现有的数据只能作用于现有的自变量范围(内插法)

实际结果与预测结果的偏差叫机会误差 在统计学中机会误差叫残差,对残差的分析是优秀的统计模型的核心

误差固然可恨,但是我们可以控制误差,预测的时候给出范围比给出具体的数值更加有效

误差的分布在不同的区域会呈现出不同的现象,我们可以通过分割来管理误差,将数据分拆为几个组。

我们将整体分为多个部分能够更好的管理误差,诠释现象

> mylmbig <- lm(received[negotiated == TRUE & requested > 10] ~ requested[negotiated == TRUE & requested > 10],data=employees) > mylmsmall <- lm(received[negotiated == TRUE & requested < 10] ~ requested[negotiated == TRUE & requested < 10],data=employees) > summary(mylmbig) summary(mylmsmall)$sigma

通过将模型拆分进行更加细致的分析从而说服客户

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。