只想知道 发表于 2015-1-16 14:07:10

万万级数据量数据库计划计划

恢复到之前的某个状态,是需要数据的。这数据可以是a)回滚步骤或者b)操作之前的数据状态原文。本文搜集于CSDN,仅作为年夜数据量时数据库计划的一个倡议。也当是做个纪录,以供人人进修参考之用!

成绩:叨教,怎样计划数据量很年夜的数据库,我估计每月会有1-3万万的数据量,叨教如许的数据量改怎样来计划数据库,感谢

回覆一:
1.依照月来分,每月让体系主动建一张表,然后把这个月的数据放在这个内外面

2.就是用一个备份的数据服务器,把每月的数据都导出到谁人备份服务器上往,在备份服务器下面数据的存储不按月来分,依照年来分,每一年建一张新表,做报表的时分,就到备份服务器下面操纵

3.就是对这几张表用工具数据库,来存储一个月的数据,这数据是在内存的,操纵起来,比操纵干系数据库快,前段工夫的数据仍是放在干系数据库内里,如许就能够不必数据备份服务器了

4.准时清算数据,能够思索用触发器大概带存储历程的功课来完成;

5.是思索数据的转换与提取,按期用程序或用事件复制导进原始/汇总数据,把数据复制到一台专门做统计的服务器上,专门做查询所用;查询的时分做响应的优化,比方索引,视图等如许查询的时分压力就会小良多;同时思索负载均衡,在清闲时使用其cpu和内存

6.各营业体系和内部数据源传送的数据为维系挽留体系输出,这些数据分离经由数据格局反省;源数据洗濯抽取转换、装载数据到搜集层;对搜集层中数据抽取、转换、装载到数据堆栈;数据堆栈中数据举行抽取、转换并分离模子算法库中的算法天生维系了局集以供输入;同时经由过程数据堆栈接口,可将数据供应给使用体系的当地化查询利用。

回覆二:
1,表分区。
2,两头表。
3,集群

回覆三:
想分明甚么才必要从数据库中往运算。好比腾讯它是卖力供应立即通信服务的,可是假如你以为动静是保留到数据库中然后对方再往数据库读取纪录,那末腾讯就该开张了。数据库只是做备份、背景(乃至良多Slave呆板上)统计各类报表。

回覆四:
利用分区表。提供TCP/IP、ODBC和JDBC等多种数据库连接路径。

分手快乐 发表于 2015-1-18 12:09:56

相信各位对数据库和怎么样学习数据库都有一些经验和看法,也会有人走了一些弯路总结出自己的经验来,希望大家能把各自的看法和经验拿出来分享,给别人一份帮助,给自己一份快乐

小女巫 发表于 2015-1-25 22:09:03

如安全管理、备份恢复、性能监控和调优等,SQL只要熟悉基本操作就可以,只要程序设计部分只要稍加了解即可(如存储过程、触发器等)。

第二个灵魂 发表于 2015-2-4 08:53:57

多走走一此相关论坛,多看一些实例开发,多交流0经验,没什么的,我也是刚学没多久!加油

飘飘悠悠 发表于 2015-2-9 20:56:53

可能有的朋友会抱怨集成的orderby,其实如果使用ranking函数,Orderby是少不了的。如果担心Orderby会影响效率,可以为orderby的字段建立聚集索引,查询计划会忽略orderby操作(因为本来就是排序的嘛)。

乐观 发表于 2015-2-27 21:37:10

代替了原来VB式的错误判断。比Oracle高级不少。

透明 发表于 2015-3-9 15:11:49

两个月啃那本sqlserver2005技术内部-存储引擎,花了几个月啃四本书

兰色精灵 发表于 2015-3-17 00:25:16

同样会为索引视图等应用带来麻烦。看看行级和事务级的快照数据放在tempdb中,就能感觉到目前架构的尴尬。

灵魂腐蚀 发表于 2015-3-23 11:16:18

需要注意的一点,也是我使用过程中发现的一个问题。在建立function->schema->table后,如果在现有的分区表上建立没有显式声明的聚集索引时,分区表会自动变为非分区表。这一点很让我纳闷。
页: [1]
查看完整版本: 万万级数据量数据库计划计划