以下内容转载自徐汉彬大牛的博客?亿级Web系统搭建——单机到分布式集群?
当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制.在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决.
Web负载均衡?
Web负载均衡（Load Balancing）,简单地说就是给我们的服务器集群分配"工作任务",而采用恰当的分配方式,对于保护处于后端的Web服务器来说,非常重要.
负载均衡的策略有很多,我们从简单的讲起哈.
①?HTTP重定向
这个重定向非常容易实现,并且可以自定义各种策略.但是,它在大规模访问量下,性能不佳.而且,给用户的体验也不好,实际请求发生重定向,增加了网络延时.
反向代理服务的核心工作主要是转发HTTP请求,扮演了浏览器端和后台Web服务器中转的角色.因为它工作在HTTP层（应用层）,也就是网络七层结构中的第七层,所以呢也被称为"七层负载均衡".可以做反向代理的软件很多,比较常见的一种是Nginx.
Nginx是一种非常灵活的反向代理软件,可以自由定制化转发策略,分配服务器流量的权重等.反向代理中,常见的一个问题,就是Web服务器存储的session数据,因为一般负载均衡的策略都是随机分配请求的.同一个登录用户的请求,无法保证一定分配到相同的Web机器上,会导致无法找到session的问题.
解决方案主要有两种：
①?配置反向代理的转发规则,让同一个用户的请求一定落到同一台机器上（通过分析cookie）,复杂的转发规则将会消耗更多的CPU,也增加了代理服务器的负担.
反向代理服务,也是可以开启缓存的,如果开启了,会增加反向代理的负担,需要谨慎使用.这种负载均衡策略实现和部署非常简单,而且性能表现也比较好.但是,它有"单点故障"的问题,如果挂了,会带来很多的麻烦.而且,到了后期Web服务器继续增加,它本身可能成为系统的瓶颈.
IP负载均衡服务是工作在网络层（修改IP）和传输层（修改端口,第四层）,比起工作在应用层（第七层）性能要高出非常多.原理是,他是对IP层的数据包的IP地址和端口信息进行修改,达到负载均衡的目的.这种方式,也被称为"四层负载均衡".常见的负载均衡方式,是LVS（Linux Virtual Server,Linux虚拟服务）,通过IPVS（IP Virtual Server,IP虚拟服务）来实现.
上述的方式叫LVS-NAT,除此之外,还有LVS-RD（直接路由）,LVS-TUN（IP隧道）,三者之间都属于LVS的方式,但是有一定的区别,篇幅问题,不赘叙.
IP负载均衡的性能要高出Nginx的反向代理很多,它只处理到传输层为止的数据包,并不做进一步的组包,然后直接转发给实际服务器.不过,它的配置和搭建比较复杂.
DNS（Domain Name System）负责域名解析的服务,域名url实际上是服务器的别名,实际映射是一个IP地址,解析过程,就是DNS完成域名到IP的映射.而一个域名是可以配置成对应多个IP的.所以呢,DNS也就可以作为负载均衡服务.
这种负载均衡策略,配置简单,性能极佳.但是,不能自由定义规则,而且,变更被映射的IP或者机器故障时很麻烦,还存在DNS生效延迟的问题.?
我们常用的CDN（Content Delivery Network,内容分发网络）实现方式,其实就是在同一个域名映射为多IP的基础上更进一步,通过GSLB（Global Server Load Balance,全局负载均衡）按照指定规则映射域名的IP.一般情况下都是按照地理位置,将离用户近的IP返回给用户,减少网络传输中的路由节点之间的跳跃消耗.
"向上寻找",实际过程是LDNS（Local DNS）先向根域名服务（Root Name Server）获取到顶级根的Name Server（例如.com的）,然后得到指定域名的授权DNS,然后再获得实际服务器IP.
这种方式,和前面的DNS负载均衡一样,不仅性能极佳,而且支持配置多种策略.但是,搭建和维护成本非常高.互联网一线公司,会自建CDN服务,中小型公司一般使用第三方提供的CDN.
Web系统的缓存机制的建立和优化
刚刚我们讲完了Web系统的外部网络环境,现在我们开始关注我们Web系统自身的性能问题.我们的Web站点随着访问量的上升,会遇到很多的挑战,解决这些问题不仅仅是扩容机器这么简单,建立和使用合适的缓存机制才是根本.
最开始,我们的Web系统架构可能是这样的,每个环节,都可能只有1台机器.
我们从最根本的数据存储开始看哈.
第一段： MySQL数据库内部缓存使用
MySQL的缓存机制,就从先从MySQL内部开始,下面的内容将以最常见的InnoDB存储引擎为主.
① 建立恰当的索引
最简单的是建立索引,索引在表数据比较大的时候,起到快速检索数据的作用,但是成本也是有的.首先,占用了一定的磁盘空间,其中组合索引最突出,使用需要谨慎,它产生的索引甚至会比源数据更大.其次,建立索引之后的数据insert/update/delete等操作,因为需要更新原来的索引,耗时会增加.当然,实际上我们的系统从总体来说,是以select查询操作居多,所以呢,索引的使用仍然对系统性能有大幅提升的作用.
如果,每一个数据库操作请求都需要创建和销毁连接的话,对数据库来说,无疑也是一种巨大的开销.为了减少这类型的开销,可以在MySQL中配置thread_cache_size来表示保留多少线程用于复用.线程不够的时候,再创建,空闲过多的时候,则销毁.
其实,还有更为激进一点的做法,使用pconnect（数据库长连接）,线程一旦创建在很长时间内都保持着.但是,在访问量比较大,机器比较多的情况下,这种用法很可能会导致"数据库连接数耗尽",因为建立连接并不回收,最终达到数据库的max_connections（最大连接数）.所以呢,长连接的用法通常需要在CGI和MySQL之间实现一个"连接池"服务,控制CGI机器"盲目"创建连接数.
建立数据库连接池服务,有很多实现的方式,PHP的话,我推荐使用swoole（PHP的一个网络通讯拓展）来实现.
MySQL数据库表一般承受数据量在百万级别,再往上增长,各项性能将会出现大幅度下降,所以呢,当我们预见数据量会超过这个量级的时候,建议进行分库/分表/分区等操作.最好的做法,是服务在搭建之初就设计为分库分表的存储模式,从根本上杜绝中后期的风险.不过,会牺牲一些便利性,例如列表式的查询,同时,也增加了维护的复杂度.不过,到了数据量千万级别或者以上的时候,我们会发现,它们都是值得的.?
第二段： MySQL数据库多台服务搭建
①.台MySQL机器,实际上是高风险的单点,因为如果它挂了,我们Web服务就不可用了.而且,随着Web系统访问量继续增加,终于有一天,我们发现1台MySQL服务器无法支撑下去,我们开始需要使用更多的MySQL机器.当引入多台MySQL机器的时候,很多新的问题又将产生.
① 建立MySQL主从,从库作为备份
这种做法纯粹为了解决"单点故障"的问题,在主库出故障的时候,切换到从库.不过,这种做法实际上有点浪费资源,因为从库实际上被闲着了.
两台数据库做读写分离,主库负责写入类的操作,从库负责读的操作.并且,如果主库发生故障,仍然不影响读的操作,同时也可以将全部读写都临时切换到从库中（需要注意流量,可能会因为流量过大,把从库也拖垮）.
两台MySQL之间互为彼此的从库,同时又是主库.这种方案,既做到了访问量的压力分流,同时也解决了"单点故障"问题.任何一台故障,都还有另外一套可供使用的服务.
不过,这种方案,只能用在两台机器的场景.如果业务拓展还是很快的话,可以选择将业务分离,建立多个主主互备.
第三段： MySQL数据库机器之间的数据同步
每当我们解决一个问题,新的问题必然诞生在旧的解决方案上.当我们有多台MySQL,在业务高峰期,很可能出现两个库之间的数据有延迟的场景.并且,网络和机器负载等,也会影响数据同步的延迟.我们曾经遇到过,在日访问量接近1亿的特殊场景下,出现,从库数据需要很多天才能同步追上主库的数据.这种场景下,从库基本失去效用了.
于是,解决同步问题,就是我们下一步需要关注的点.
① MySQL自带多线程同步
以数据库的表为单位,解析binlog多张表同时做数据同步.这样做的话,的确能够加快数据同步的效率,但是,如果表和表之间存在结构关系或者数据依赖的话,则同样存在写入顺序的问题.这种方式,可用于一些比较稳定并且相对独立的数据表.
国内一线互联网公司,大部分都是通过这种方式,来加快数据同步效率.还有更为激进的做法,是直接解析binlog,忽略以表为单位,直接写入.但是这种做法,实现复杂,使用范围就更受到限制,只能用于一些场景特殊的数据库中（没有表结构变更,表和表之间没有数据依赖等特殊表）.?
第四段： 在Web服务器和数据库之间建立缓存
① 页面静态化
用户访问网站的某个页面,页面上的大部分内容在很长一段时间内,可能都是没有变化的.例如一篇新闻报道,一旦发布几乎是不会修改内容的.这样的话,通过CGI生成的静态html页面缓存到Web服务器的磁盘本地.除了第一次,是通过动态CGI查询数据库获取之外,之后都直接将本地磁盘文件返回给用户.
在Web系统规模比较小的时候,这种做法看似完美.但是,一旦Web系统规模变大,例如当我有100台的Web服务器的时候.那样这些磁盘文件,将会有100份,这个是资源浪费,也不好维护.这个时候有人会想,可以集中一台服务器存起来,呵呵,不如看看下面一种缓存方式吧,它就是这样做的.
通过页面静态化的例子中,我们可以知道将"缓存"搭建在Web机器本机是不好维护的,会带来更多问题（实际上,通过PHP的apc拓展,可通过Key/value操作Web服务器的本机内存）.所以呢,我们选择搭建的内存缓存服务,也必须是一个独立的服务.
内存缓存的选择,主要有redis/memcache.从性能上说,两者差别不大,从功能丰富程度上说,Redis更胜一筹.
当我们搭建单台内存缓存完毕,我们又会面临单点故障的问题,所以呢,我们必须将它变成一个集群.简单的做法,是给他增加一个slave作为备份机器.但是,如果请求量真的很多,我们发现cache命中率不高,需要更多的机器内存呢?所以呢,我们更建议将它配置成一个集群.例如,类似redis cluster.
内存缓存服务在切换的时候,是有一定风险的.从A集群切换到B集群的过程中,必须保证B集群提前做好"预热"（B集群的内存中的热点数据,应该尽量与A集群相同,否则,切换的一瞬间大量请求内容,在B集群的内存缓存中查找不到,流量直接冲击后端的数据库服务,很可能导致数据库宕机）.
上面的机制,都实现减少数据库的"读"的操作,但是,写的操作也是一个大的压力.写的操作,虽然无法减少,但是可以通过合并请求,来起到减轻压力的效果.这个时候,我们就需要在内存缓存集群和数据库集群之间,建立一个修改同步机制.
先将修改请求生效在cache中,让外界查询显示正常,然后将这些sql修改放入到一个队列中存储起来,队列满或者每隔一段时间,合并为一个请求到数据库中更新数据库.
除了上述通过改变系统架构的方式提升写的性能外,MySQL本身也可以通过配置参数innodb_flush_log_at_trx_commit来调整写入磁盘的策略.如果机器成本允许,从硬件层面解决问题,可以选择老一点的RAID（Redundant Arrays of independent Disks,磁盘列阵）或者比较新的SSD（Solid State Drives,固态硬盘）.
不管数据库的读还是写,当流量再进一步上涨,终会达到"人力有穷时"的场景.继续加机器的成本比较高,并且不一定可以真正解决问题的时候.这个时候,部分核心数据,就可以考虑使用NoSQL的数据库.NoSQL存储,大部分都是采用key-value的方式,这里比较推荐使用上面介绍过Redis,Redis本身是一个内存cache,同时也可以当做一个存储来使用,让它直接将数据落地到磁盘.
这样的话,我们就将数据库中某些被频繁读写的数据,分离出来,放在我们新搭建的Redis存储集群中,又进一步减轻原来MySQL数据库的压力,同时因为Redis本身是个内存级别的Cache,读写的性能都会大幅度提升.
当我们搭建完前面所说的全部服务,认为Web系统已经很强的时候.我们还是那句话,新的问题还是会来的.空节点查询,是指那些数据库中根本不存在的数据请求.例如,我请求查询一个不存在人员信息,系统会从各级缓存逐级查找,最后查到到数据库本身,然后才得出查找不到的结论,返回给前端.因为各级cache对它无效,这个请求是非常消耗系统资源的,而如果大量的空节点查询,是可以冲击到系统服务的.
在我曾经的工作经历中,曾深受其害.所以呢,为了维护Web系统的稳定性,设计适当的空节点过滤机制,非常有必要.
我们当时采用的方式,就是设计一张简单的记录映射表.将存在的记录存储起来,放入到一台内存cache中,这样的话,如果还有空节点查询,则在缓存这一层就被阻挡了.
异地部署（地理分布式）
完成了上述架构建设之后,我们的系统是否就已经足够强大了呢?答案当然是否定的哈,优化是无极限的.Web系统虽然表面上看,似乎比较强大了,但是给予用户的体验却不一定是最好的.因为东北的同学,访问深圳的一个网站服务,他还是会感到一些网络距离上的慢.这个时候,我们就需要做异地部署,让Web系统离用户更近.
第一段： 核心集中与节点分散
有玩过大型网游的同学都会知道,网游是有很多个区的,一般都是按照地域来分,例如广东专区,北京专区.如果一个在广东的粉丝,去北京专区玩,那么他会感觉明显比在广东专区卡.实际上,这些大区的名称就已经说明了,它的服务器所在地,所以,广东的粉丝去连接地处北京的服务器,网络当然会比较慢.
当一个系统和服务足够大的时候,就必须开始考虑异地部署的问题了.让你的服务,尽可能离用户更近.我们前面已经提到了Web的静态资源,可以存放在CDN上,然后通过DNS/GSLB的方式,让静态资源的分散"全国各地".但是,CDN只解决的静态资源的问题,没有解决后端庞大的系统服务还只集中在某个固定城市的问题.
这个时候,异地部署就开始了.异地部署一般遵循：核心集中,节点分散.
-?核心集中：实际部署过程中,总有一部分的数据和服务存在不可部署多套,或者部署多套成本巨大.而对于这些服务和数据,就仍然维持一套,而部署地点选择一个地域比较中心的地方,通过网络内部专线来和各个节点通讯.
-?节点分散：将一些服务部署为多套,分布在各个城市节点,让用户请求尽可能选择近的节点访问服务.
例如,我们选择在上海部署为核心节点,北京,深圳,武汉,上海为分散节点（上海自己本身也是一个分散节点）.我们的服务架构如图：
需要补充一下的是,上图中上海节点和核心节点是同处于一个机房的,其他分散节点各自独立机房.?
国内有很多大型网游,都是大致遵循上述架构.它们会把数据量不大的用户核心账号等放在核心节点,而大部分的网游数据,例如装备、任务等数据和服务放在地区节点里.当然,核心节点和地域节点之间,也有缓存机制.?
第二段： 节点容灾和过载保护
节点容灾是指,某个节点如果发生故障时,我们需要建立一个机制去保证服务仍然可用.毫无疑问,这里比较常见的容灾方式,是切换到附近城市节点.假如系统的天津节点发生故障,那么我们就将网络流量切换到附近的北京节点上.考虑到负载均衡,可能需要同时将流量切换到附近的几个地域节点.另一方面,核心节点自身也是需要自己做好容灾和备份的,核心节点一旦故障,就会影响全国服务.
过载保护,指的是一个节点已经达到最大容量,无法继续接接受更多请求了,系统必须有一个保护的机制.一个服务已经满负载,还继续接受新的请求,结果很可能就是宕机,影响整个节点的服务,为了至少保障大部分用户的正常使用,过载保护是必要的.
-?拒绝服务,检测到满负载之后,就不再接受新的连接请求.例如网游登入中的排队.
-?分流到其他节点.这种的话,系统实现更为复杂,又涉及到负载均衡的问题.
小结
Web系统会随着访问规模的增长,渐渐地从1台服务器可以满足需求,一直成长为"庞然大物"的大集群.而这个Web系统变大的过程,实际上就是我们解决问题的过程.在不同的阶段,解决不同的问题,而新的问题又诞生在旧的解决方案之上.
系统的优化是没有极限的,软件和系统架构也一直在快速发展,新的方案解决了老的问题,同时也带来新的挑战.
query_cache_size/query_cache_type (global)
Query cache 作用于整个 MySQL Instance,主要用来缓存 MySQL 中的 ResultSet,也就是一条SQL语句执行的结果集,所以仅仅只能针对select语句.当我们打开了 Query Cache 功能,MySQL在接受到一条select语句的请求后,如果该语句满足Query Cache的要求(未显式说明不允许使用Query Cache,或者已经显式申明需要使用Query Cache),MySQL 会直接根据预先设定好的HASH算法将接受到的select语句以字符串方式进行hash,然后到Query Cache 中直接查找是否已经缓存.也就是说,如果已经在缓存中,该select请求就会直接将数据返回,从而省略了后面所有的步骤(如 SQL语句的解析,优化器优化以及向存储引擎请求数据等),极大的提高性能.
当然,Query Cache 也有一个致命的缺陷,那就是当某个表的数据有任何任何变化,都会导致所有引用了该表的select语句在Query Cache 中的缓存数据失效.所以,当我们的数据变化非常频繁的情况下,使用Query Cache 可能会得不偿失.
binlog_cache_size (global)
Binlog Cache 用于在打开了二进制日志(binlog)记录功能的环境,是 MySQL 用来提高binlog的记录效率而设计的一个用于短时间内临时缓存binlog数据的内存区域.
key_buffer_size (global)
Key Buffer 可能是大家最为熟悉的一个 MySQL 缓存参数了,尤其是在 MySQL 没有更换默认存储引擎的时候,很多朋友可能会发现,默认的 MySQL 配置文件中设置最大的一个内存参数就是这个参数了.key_buffer_size 参数用来设置用于缓存 MyISAM存储引擎中索引文件的内存区域大小.如果我们有足够的内存,这个缓存区域最好是能够存放下我们所有的 MyISAM 引擎表的所有索引,以尽可能提高性能.
此外,当我们在使用MyISAM 存储的时候有一个及其重要的点需要注意,由于 MyISAM 引擎的特性限制了他仅仅只会缓存索引块到内存中,而不会缓存表数据库块.所以,我们的 SQL 一定要尽可能让过滤条件都在索引中,以便让缓存帮助我们提高查询效率.
bulk_insert_buffer_size (thread)
和key_buffer_size一样,这个参数同样也仅作用于使用 MyISAM存储引擎,用来缓存批量插入数据的时候临时缓存写入数据.当我们使用如下几种数据写入语句的时候,会使用这个内存区域来缓存批量结构的数据以帮助批量写入数据文件：
insert ... select ...
insert ... values (...) ,(...),(...)...
load data infile... into... (非空表)
innodb_buffer_pool_size(global)
当我们使用InnoDB存储引擎的时候,innodb_buffer_pool_size 参数可能是影响我们性能的最为关键的一个参数了,他用来设置用于缓存 InnoDB 索引及数据块的内存区域大小,类似于 MyISAM 存储引擎的 key_buffer_size 参数,当然,可能更像是 Oracle 的 db_cache_size.简单来说,当我们操作一个 InnoDB 表的时候,返回的所有数据或者去数据过程中用到的任何一个索引块,都会在这个内存区域中走一遭.
和key_buffer_size 对于 MyISAM 引擎一样,innodb_buffer_pool_size 设置了 InnoDB 存储引擎需求最大的一块内存区域的大小,直接关系到 InnoDB存储引擎的性能,所以如果我们有足够的内存,尽可将该参数设置到足够打,将尽可能多的 InnoDB 的索引及数据都放入到该缓存区域中,直至全部.
我们可以通过 (Innodb_buffer_pool_read_requests – Innodb_buffer_pool_reads) / Innodb_buffer_pool_read_requests * 100% 计算缓存命中率,并根据命中率来调整 innodb_buffer_pool_size 参数大小进行优化.
innodb_additional_mem_pool_size(global)
这个参数我们平时调整的可能不是太多,很多人都使用了默认值,可能很多人都不是太熟悉这个参数的作用.innodb_additional_mem_pool_size 设置了InnoDB存储引擎用来存放数据字典信息以及一些内部数据结构的内存空间大小,所以当我们一个MySQL Instance中的数据库对象非常多的时候,是需要适当调整该参数的大小以确保所有数据都能存放在内存中提高访问效率的.
这个参数大小是否足够还是比较容易知道的,因为当过小的时候,MySQL 会记录 Warning 信息到数据库的 error log 中,这时候你就知道该调整这个参数大小了.
innodb_log_buffer_size (global)
这是 InnoDB 存储引擎的事务日志所使用的缓冲区.类似于 Binlog Buffer,InnoDB 在写事务日志的时候,为了提高性能,也是先将信息写入 Innofb Log Buffer 中,当满足 innodb_flush_log_trx_commit 参数所设置的相应条件(或者日志缓冲区写满)之后,才会将日志写到文件(或者同步到磁盘)中.可以通过 innodb_log_buffer_size 参数设置其可以使用的最大内存空间.
0：log buffer中的数据将以每秒一次的频率写入到log file中,且同时会进行文件系统到磁盘的同步操作,但是每个事务的commit并不会触发任何log buffer 到log file的刷新或者文件系统到磁盘的刷新操作;
①.：在每次事务提交的时候将log buffer 中的数据都会写入到log file,同时也会触发文件系统到磁盘的同步;
此外,MySQL文档中还提到,这几种设置中的每秒同步一次的机制,可能并不会完全确保非常准确的每秒就一定会发生同步,还取决于进程调度的问题.实际上,InnoDB 能否真正满足此参数所设置值代表的意义正常 Recovery 还是受到了不同 OS 下文件系统以及磁盘本身的限制,可能有些时候在并没有真正完成磁盘同步的情况下也会告诉 mysqld 已经完成了磁盘同步.
innodb_max_dirty_pages_pct (global)
这个参数和上面的各个参数不同,他不是用来设置用于缓存某种数据的内存大小的一个参数,而是用来控制在 InnoDB Buffer Pool 中可以不用写入数据文件中的Dirty Page 的比例(已经被修但还没有从内存中写入到数据文件的脏数据).这个比例值越大,从内存到磁盘的写入操作就会相对减少,所以能够一定程度下减少写入操作的磁盘IO.
但是,如果这个比例值过大,当数据库 Crash 之后重启的时间可能就会很长,因为会有大量的事务数据需要从日志文件恢复出来写入数据文件中.同时,过大的比例值同时可能也会造成在达到比例设定上限后的 flush 操作"过猛"而导致性能波动很大.
上面这几个参数是 MySQL 中为了减少磁盘物理IO而设计的主要参数,对 MySQL 的性能起到了至关重要的作用.
数据库设计方法、规范与技巧
第一段：数据库设计过程
数据库技术是信息资源管理最有效的手段.数据库设计是指对于一个给定的应用环境,构造最优的数据库模式,建立数据库及其应用系统,有效存储数据,满足用户信息要求和处理要求.
数据库设计中需求分析阶段综合各个用户的应用需求（现实世界的需求）,在概念设计阶段形成独立于机器特点、独立于各个DBMS产品的概念模式（信息世界模型）,用E-R图来描述.在逻辑设计阶段将E-R图转换成具体的数据库产品支持的数据模型如关系模型,形成数据库逻辑模式.然后根据用户处理的要求,安全性的考虑,在基本表的基础上再建立必要的视图（VIEW）形成数据的外模式.在物理设计阶段根据DBMS特点和处理的需要,进行物理存储安排,设计索引,形成数据库内模式.
① 需求分析阶段
需求收集和分析,结果得到数据字典描述的数据需求（和数据流图描述的处理需求）.
需求分析的重点是调查、收集与分析用户在数据管理中的信息要求、处理要求、安全性与完整性要求.
需求分析的方法：调查组织机构情况、调查各部门的业务活动情况、协助用户明确对新系统的各种要求、确定新系统的边界.
常用的调查方法有： 跟班作业、开调查会、请专人介绍、询问、设计调查表请用户填写、查阅记录.
分析和表达用户需求的方法主要包括自顶向下和自底向上两类方法.自顶向下的结构化分析方法（Structured Analysis,简称SA方法）从最上层的系统组织机构入手,采用逐层分解的方式分析系统,并把每一层用数据流图和数据字典描述.
数据流图表达了数据和处理过程的关系.系统中的数据则借助数据字典（Data Dictionary,简称DD）来描述.
数据字典是各类数据描述的集合,它是关于数据库中数据的描述,即元数据,而不是数据本身.数据字典通常包括数据项、数据结构、数据流、数据存储和处理过程五个部分(至少应该包含每个字段的数据类型和在每个表内的主外键).
数据项描述=｛数据项名,数据项含义说明,别名,数据类型,长度,
取值范围,取值含义,与其他数据项的逻辑关系｝
数据结构描述=｛数据结构名,含义说明,组成:｛数据项或数据结构｝｝
组成:｛数据结构｝,平均流量,高峰期流量｝
数据存储描述=｛数据存储名,说明,编号,流入的数据流,流出的数据流,
组成:｛数据结构｝,数据量,存取方式｝
处理过程描述=｛处理过程名,说明,输入:｛数据流｝,输出:｛数据流｝,
处理:｛简要说明｝｝
通过对用户需求进行综合、归纳与抽象,形成一个独立于具体DBMS的概念模型,可以用E-R图表示.
概念模型用于信息世界的建模.概念模型不依赖于某一个DBMS支持的数据模型.概念模型可以转换为计算机上某一DBMS支持的特定数据模型.
概念模型特点：
(1) 具有较强的语义表达能力,能够方便、直接地表达应用中的各种语义知识.
概念模型设计的一种常用方法为IDEF1X方法,它就是把实体-联系方法应用到语义数据模型中的一种语义模型化技术,用于建立系统信息模型.
使用IDEF1X方法创建E-R模型的步骤如下所示:
这个阶段的任务是从目的描述和范围描述开始,确定建模目标,开发建模计划,组织建模队伍,收集源材料,制定约束和规范.收集源材料是这阶段的重点.通过调查和观察结果,业务流程,原有系统的输入输出,各种报表,收集原始数据,形成了基本数据资料表.
实体集成员都有一个共同的特征和属性集,可以从收集的源材料——基本数据资料表中直接或间接标识出大部分实体.根据源材料名字表中表示物的术语以及具有"代码"结尾的术语,如客户代码、代理商代码、产品代码等将其名词部分代表的实体标识出来,从而初步找出潜在的实体,形成初步实体表.
IDEF1X模型中只允许二元联系,n元联系必须定义为n个二元联系.根据实际的业务需求和规则,使用实体联系矩阵来标识实体间的二元关系,然后根据实际情况确定出连接关系的势、关系名和说明,确定关系类型,是标识关系、非标识关系（强制的或可选的）还是非确定关系、分类关系.如果子实体的每个实例都需要通过和父实体的关系来标识,则为标识关系,否则为非标识关系.非标识关系中,如果每个子实体的实例都与而且只与一个父实体关联,则为强制的,否则为非强制的.如果父实体与子实体代表的是同一现实对象,那么它们为分类关系.
通过引入交叉实体除去上一阶段产生的非确定关系,然后从非交叉实体和独立实体开始标识侯选码属性,以便唯一识别每个实体的实例,再从侯选码中确定主码.为了确定主码和关系的有效性,通过非空规则和非多值规则来保证,即一个实体实例的一个属性不能是空值,也不能在同一个时刻有一个以上的值.找出误认的确定关系,将实体进一步分解,最后构造出IDEF1X模型的键基视图（KB图）.
从源数据表中抽取说明性的名词开发出属性表,确定属性的所有者.定义非主码属性,检查属性的非空及非多值规则.此外,还要检查完全依赖函数规则和非传递依赖规则,保证一个非主码属性必须依赖于主码、整个主码、仅仅是主码.以此得到了至少符合关系理论第三范式的改进的IDEF1X模型的全属性视图.
定义属性的数据类型、长度、精度、非空、缺省值、约束规则等.定义触发器、存储过程、视图、角色、同义词、序列等对象信息.
将概念结构转换为某个DBMS所支持的数据模型（例如关系模型）,并对其进行优化.设计逻辑结构应该选择最适于描述与表达相应概念结构的数据模型,然后选择最合适的DBMS.
将E-R图转换为关系模型实际上就是要将实体、实体的属性和实体之间的联系转化为关系模式,这种转换一般遵循如下原则：
①.）一个实体型转换为一个关系模式.实体的属性就是关系的属性.实体的码就是关系的码.
表内的每一个值都只能被表达一次.
表内的每一行都应该被唯一的标识（有唯一键）.
表内不应该存储依赖于其他键的非键信息.
为逻辑数据模型选取一个最适合应用环境的物理结构（包括存储结构和存取方法）.根据DBMS特点和处理的需要,进行物理存储安排,设计索引,形成数据库内模式.
数据库应用系统经过试运行后即可投入正式运行.在数据库系统运行过程中必须不断地对其进行评价、调整与修改.包括：数据库的转储和恢复、数据库的安全性、完整性控制、数据库性能的监督、分析和改进、数据库的重组织和重构造.
建模工具的使用
为加快数据库设计速度,目前有很多数据库辅助工具（CASE工具）,如Rational公司的Rational Rose,CA公司的Erwin和Bpwin,Sybase公司的PowerDesigner以及Oracle公司的Oracle Designer等.
ERwin主要用来建立数据库的概念模型和物理模型.它能用图形化的方式,描述出实体、联系及实体的属性.ERwin支持IDEF1X方法.通过使用ERwin建模工具自动生成、更改和分析IDEF1X模型,不仅能得到优秀的业务功能和数据需求模型,而且可以实现从IDEF1X模型到数据库物理设计的转变.ERwin工具绘制的模型对应于逻辑模型和物理模型两种.在逻辑模型中,IDEF1X工具箱可以方便地用图形化的方式构建和绘制实体联系及实体的属性.在物理模型中,ERwin可以定义对应的表、列,并可针对各种数据库管理系统自动转换为适当的类型.
设计人员可根据需要选用相应的数据库设计建模工具.例如需求分析完成之后,设计人员可以使用Erwin画ER图,将ER图转换为关系数据模型,生成数据库结构；画数据流图,生成应用程序.
第二段：数据库设计技巧
① 设计数据库之前（需求分析阶段）
①.) 理解客户需求,询问用户如何看待未来需求变化.让客户解释其需求,而且随着开发的继续,还要经常询问客户保证其需求仍然在开发的目的之中.
在定义数据库表和字段需求（输入）时,首先应检查现有的或者已经设计出的报表、查询和视图（输出）以决定为了支持这些输出哪些是必要的表和字段.
举例：假如客户需要一个报表按照邮政编码排序、分段和求和,你要保证其中包括了单独的邮政编码字段而不要把邮政编码糅进地址字段里.
ER 图表和数据字典可以让任何了解数据库的人都明确如何从数据库中获得数据.ER图对表明表之间关系很有用,而数据字典则说明了每个字段的用途以及任何可能存在的别名.对SQL 表达式的文档化来说这是完全必要的.
数据库各种对象的命名必须规范.
表设计原则
①.) 标准化和规范化
事实上,为了效率的缘故,对表不进行标准化有时也是必要的.
采用数据驱动而非硬编码的方式,许多策略变更和维护都会方便得多,大大增强系统的灵活性和扩展性.
举例,假如用户界面要访问外部数据源（文件、XML 文档、其他数据库等）,不妨把相应的连接和路径信息存储在用户界面支持表里.还有,如果用户界面执行工作流之类的任务（发送邮件、打印信笺、修改记录状态等）,那么产生工作流的数据也可以存放在数据库里.角色权限管理也可以通过数据驱动来完成.事实上,如果过程是数据驱动的,你就可以把相当大的责任推给用户,由用户来维护自己的工作流过程.
在设计数据库的时候考虑到哪些数据字段将来可能会发生变更. 举例,姓氏就是如此（注意是西方人的姓氏,比如女性结婚后从夫姓等）.所以,在建立系统存储客户信息时,在单独的一个数据表里存储姓氏字段,而且还附加起始日和终止日等字段,这样就可以跟踪这一数据条目的变化.
字段设计原则
dRecordCreationDate,在VB 下默认是Now(),而在SQL Server 下默认为GETDATE()
sRecordCreator,在SQL Server 下默认为NOT NULL DEFAULT USER
nRecordVersion,记录的版本标记；有助于准确说明记录中出现null 数据或者丢失数据的原因
在需要对属于特定类别或者具有特定角色的事物做定义时,可以用角色实体来创建特定的时间关联关系,从而可以实现自我文档化.
举例：用PERSON 实体和PERSON_TYPE 实体来描述人员.比方说,当John Smith, Engineer 提升为John Smith, Director 乃至最后爬到John Smith, CIO 的高位,而所有你要做的不过是改变两个表PERSON 和PERSON_TYPE 之间关系的键值,同时增加一个日期/时间字段来知道变化是何时发生的.这样,你的PERSON_TYPE 表就包含了所有PERSON 的可能类型,比如Associate、Engineer、Director、CIO 或者CEO 等.还有个替代办法就是改变PERSON 记录来反映新头衔的变化,不过这样一来在时间上无法跟踪个人所处位置的具体时间.
在表中包含一个"删除标记"字段,这样就可以把行标记为删除.在关系数据库里不要单独删除某一行；最好采用清除数据程序而且要仔细维护索引整体性.
键选择原则：
为关联字段创建外键.
所有的键都必须唯一.
避免使用复合键.
外键总是关联唯一的键字段.
设计数据库的时候采用系统生成的键作为主键,那么实际控制了数据库的索引完整性.这样,数据库和非人工机制就有效地控制了对存储数据中每一行的访问.采用系统生成键作为主键还有一个优点：当拥有一致的键结构时,找到逻辑缺陷很容易.
把可选键进一步用做主键,可以拥有建立强大索引的能力.
索引使用原则：
①.) 逻辑主键使用唯一的成组索引,对系统键（作为存储过程）采用唯一的非成组索引,对任何外键列采用非成组索引.考虑数据库的空间有多大,表如何进行访问,还有这些访问是否主要用作读写.
不要为小型数据表设置任何键,假如它们经常有插入和删除操作就更别这样作了.对这些插入和删除操作的索引维护可能比扫描表空间消耗更多的时间.
①.) 完整性实现机制：
实体完整性：主键
参照完整性：
父表中删除数据：级联删除；受限删除；置空值
父表中插入数据：受限插入；递归插入
父表中更新数据：级联更新；受限更新；置空值
DBMS对参照完整性可以有两种方法实现：外键实现机制（约束规则）和触发器实现机制
用户定义完整性：
NOT NULL；CHECK；触发器
采用数据库系统实现数据的完整性.这不但包括通过标准化实现的完整性而且还包括数据的功能性.在写数据的时候还可以增加触发器来保证数据的正确性.不要依赖于商务层保证数据完整性；它不能保证表之间（外键）的完整性所以不能强加于其他完整性规则之上.
在有害数据进入数据库之前将其剔除.激活数据库系统的指示完整性特性.这样可以保持数据的清洁而能迫使开发人员投入更多的时间处理错误条件.
控制数据完整性的最佳方式就是限制用户的选择.只要有可能都应该提供给用户一个清晰的价值列表供其选择.这样将减少键入代码的错误和误解同时提供数据的一致性.某些公共数据特别适合查找：国家代码、状态代码等.
为了在数据库和应用程序代码之间提供另一层抽象,可以为应用程序建立专门的视图而不必非要应用程序直接访问数据表.这样做还等于在处理数据库变更时给你提供了更多的自由.
①.) 避免使用触发器
触发器的功能通常可以用其他方式实现.在调试程序时触发器可能成为干扰.假如你确实需要采用触发器,你最好集中对它文档化.
在创建下拉菜单、列表、报表时最好按照英语名排序.假如需要编码,可以在编码旁附上用户知道的英语.
让一个表专门存放一般数据库信息非常有用.在这个表里存放数据库当前版本、最近检查/修复（对Access）、关联设计文档的名称、客户等信息.这样可以实现一种简单机制跟踪数据库,当客户抱怨他们的数据库没有达到希望的要求而与你联系时,这样做对非客户机/服务器环境特别有用.
在数据库中引入版本控制机制来确定使用中的数据库的版本.时间一长,用户的需求总是会改变的.最终可能会要求修改数据库结构.把版本信息直接存放到数据库中更为方便.
对所有的快捷方式、命名规范、限制和函数都要编制文档.
采用给表、列、触发器等加注释的数据库工具.对开发、支持和跟踪修改非常有用.
建立或者修订数据库之后,必须用用户新输入的数据测试数据字段.最重要的是,让用户进行测试并且同用户一道保证选择的数据类型满足商业要求.测试需要在把新数据库投入实际服务之前完成.
在开发期间检查数据库设计的常用技术是通过其所支持的应用程序原型检查数据库.换句话说,针对每一种最终表达数据的原型应用,保证你检查了数据模型并且查看如何取出数据.
第三段：数据库命名规范
① 实体（表）的命名
对工作用表来说,表名可以加上前缀WORK_ 后面附上采用该表的应用程序的名字.在命名过程当中,根据语义拼凑缩写即可.注意,由于ORCLE会将字段名称统一成大写或者小写中的一种,所以要求加上下划线.
举例：
定义的缩写 Sales: Sal 销售；
Order: Ord 订单；
Detail: Dtl 明细；
则销售订单明细表命名为：Sal_Ord_Dtl;
定义的缩写 Material Ma 物品；
物品表名为：Material, 而不是 Ma.
但是字段物品编码则是：Ma_ID;而不是Material_ID
目的是将这些值列表类排序在数据库最后.
冗余类是为了提高数据库效率,非规范化数据库的时候加入的字段或者表
关联表用于保存多对多关系.
如果被关联的表名大于10个字母,必须将原来的表名的进行缩写.如果没有其他原因,建议都使用缩写.
举例：表Object与自身存在多对多的关系,则保存多对多关系的表命名为：R_Object；
表 Depart和Employee;存在多对多的关系；则关联表命名为R_Dept_Emp
①.) 采用有意义的列名,表内的列要针对键采用一整套设计规则.每一个表都将有一个自动ID作为主健,逻辑上的主健作为第一组候选主健来定义,如果是数据库自动生成的编码,统一命名为：ID;如果是自定义的逻辑上的编码则用缩写加"ID"的方法命名.如果键是数字类型,你可以用_NO 作为后缀；如果是字符类型则可以采用_CODE 后缀.对列名应该采用标准的前缀和后缀.
举例：销售订单的编号字段命名：Sal_Ord_ID；如果还存在一个数据库生成的自动编号,则命名为：ID.
注: 数据类型是文本的字段,类型后缀TX可以不写.有些类型比较明显的字段,可以不写类型后缀.
给每个表的列名都采用统一的前缀,那么在编写SQL表达式的时候会得到大大的简化.这样做也确实有缺点,比如破坏了自动表连接工具的作用,后者把公共列名同某些数据库联系起来.
①.) 视图以V作为前缀,其他命名规则和表的命名类似；
触发器以TR作为前缀,触发器名为相应的表名加上后缀,Insert触发器加'_I',Delete触发器加'_D',Update触发器加'_U',如：TR_Customer_I,TR_Customer_D,TR_Customer_U.
存储过程应以'UP_'开头,和系统的存储过程区分,后续部分主要以动宾形式构成,并用下划线分割各个组成部分.如增加代理商的帐户的存储过程为'UP_Ins_Agent_Account'.