从百草味到三只松鼠

统计

登录

最新文章

浅谈数据模型

浅谈数据模型

第1章大数据领域建模综1.1 为什么需要数据建模有结构地分类组织和存储是我们面临的一个挑战。数据模型强调从业务、数据存取和使用角度合理存储数据。数据模型方法，以便在性能、成本、效率之间取得最佳平衡成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能极大地改善用户使用数据的体验，提高使用数据的效率。质量：良好的数据模型能改善数据统计口径的不一致性，减少数据计算错误的可能性。1.2 关系数据库系统和数据仓库1.3 从 OLTP 和 OLAP 系统的区别看模型方法论的选择OLTP 系统通常面向的主要数据操作是随机读写，主要采用满足 3NF 的实体关系模型存储数据，从而在事务处理中解决数据的冗余和一致性问题：OLAP 系统面向的主要数据操作是批量读写，事务处理中的一致性不是OLAP 所关注的，其主要关注数据的整合，以及在一次性的复杂大数据查询和处理中的性能，因此它需要采用一些不同的数据建模方法。1.4 典型的数据仓库建模方法论1.4.1 ER 模型采用 ER模型建设数据仓库模型的出发点是整合数据，将各...

dongyl

2022-11-22

读书散谈,随记

2022年11月22日

0 阅读

0 评论

MySql 小记

MySql 小记

Mysql梳理1 索引简介数据都是存放在 /usr/local/mysql 文件夹中的Innodb 索引和数据是存放再一个文件内的MyISAM 是存放在2个文件中的 MYI 索引 MYD 数据2 索引分类主键自带索引。创建普通索引： create index idx_name on tableA(name) 唯一索引：唯一列，列中的数据是唯一的，比普通索引性能好create unique index idx_name on tableA(name) 联合索引：一次性为表中的多个字段创建索引（最好不要超过5个字段)create unique index idx_name_age on tableA(name,age) 最左前缀法则：全文索引; MyISAM 支持。线性表线性顺序表：2个相邻的数据物理位置相邻线性链式表：相邻2个数据有先后的逻辑关系，和物理没有关系\>链式单向链表：结点的结构 ===>> 数据内容，下一个数据的指针双向链表：通过当前节点找到上一个或下一个节点的位置。结构：上一个数据的指针+ 数据内容 +下一个数据的指针顺序表和链式表的...

dongyl

2022-08-21

大数据,MySql

2022年08月21日

0 阅读

0 评论

Oracle SP 使用

Oracle SP 使用

一 .创建存储过程语法create or replace procedure 存储过程名 as begin ---------------------------- end; 注：在存储过程(PROCEDURE)和函数(FUNCTION)中没有区别；在视图(VIEW)中只能用AS不能用IS；在游标(CURSOR)中只能用IS不能用AS。二.输出案例create or replace procedure myDemo01 as begin dbms_output.put_line('hello word, my name is stored procedure'); end; as：关键字。 begin：关键字。 dbms_output.put_line(‘hello word, my name is stored procedure’); 输出内容。 end;关键字。三.调用存储过程3.1 声明declare关键字declare begin myDemo01; end;3.2不声明declare关键字begin myDemo01; --在...

dongyl

2022-05-29

大数据,Oracle

2022年05月29日

0 阅读

0 评论

Python 分析利器 —— pandas 的简单使用

Python 分析利器 —— pandas 的简单使用

人生苦短，我选 Python。导入数据pd.read_csv(filename)：从CSV文件导入数据pd.read_table(filename)：从限定分隔符的文本文件导入数据pd.read_excel(filename)：从Excel文件导入数据pd.read_excel(io, sheetname=0,header=0,skiprows=None,index_col=None,names=None, arse_cols=None,date_parser=None,na_values=None,thousands=None, convert_float=True,has_index_names=None,converters=None,dtype=None, true_values=None,false_values=None,engine=None,squeeze=False,**kwds)解释几个比较重要的参数： io : execel 文件路径 (相对路径/绝对路径都...

dongyl

2022-03-14

2022年03月14日

42 阅读

0 评论

python 初学

python 初学

Python 笔记Python 笔记1. 类型转换任何非0 值转换都为 true , 0或者是空字符串为false (" "= true)bool(-1) ,bool(-1), bool(0.000001) => true bool(0) , bool(0.0) => false1 + int("1") =2 字符串转 int int(9.9) =9 丢失小数位四舍五入 round(9.9) =10 4/2 =2.0 默认为float , 5//2=2 取整2. 取模10%4 =2 ； 8%4 =0 ；3%4=3 （0<a<b.a/b=a）a||b <0 时，a%b= a-(a // b )*b3.赋值比较运算拼接字符串： "apple"*2 = appleapple ，"积分"+str(80) ok4.逻辑运算java && => and ; || => orn=8 #对a 赋值时使用or a=n or 2 print(a) # 8 n...

dongyl

2022-02-20

2022年02月20日

57 阅读

0 评论

1
2
3

繁

苏ICP备2021053031号-1