内容简介：使用使用SQL语句去掉重复的记录【两种方法】语句去掉重复的记录【两种方法】主要介绍了用SQL语句去掉重复的记录的两种方式，两种方式都可以使用临时表操作，具体实现方法大家跟随脚本之家小编一起通过本文学习吧海量数据（百万以上），其中有些全部字段都相同，有些部分字段相同，怎样高效去除重复？如果要删除手机(mobilePhone)，电话(officePhone)，邮件(email)同时都相同的数据，以前一直使用这条语句进行去重：delete

———————————基本概念————————————————————

数据库分为两类：实例数据库和系统数据库，我们只能创建实例数据库，

Model数据库(创建所有用户数据库和tempdb数据库的模板文件),
msdb数据库(存储计划信息以及与备份、还原相关的信息)，
tempdb数据库(作为临时存储空间来使用的)。

SQL Server采用"提前写"方式的事务，即对数据库中的数据进行修改时，

先写入事务日志，再更新数据。

on()是数据文件的描述 log on()事务日志文件的描述
filename 数据库文件要保持的路径及文件名
size 初始数据库文件的大小
maxsize 数据库文件的最大值
filegrowth 自动增长率 可以是百分比 也可以是具体值

14.如何对数据库进行优化
(2)采用参数化Sql代替字符串的拼接
(3)调优的基本原理 "二八原理"即 20%的代码资源消耗占用80%的总资源消耗，把精力放在20%最消耗系统资源的Sql语句中，不要想把所有的都进行调优
(4)索引是一切优化手段的"内功",所有的优化手法都是索引衍化出来的招式而已。
一个表只能有一个聚集索引，表中的物理顺序只能有一个。非聚集索引可以创建多个。
★★★一张表中经常检索的字段创建索引。索引采用的是B树结构存储的，过一段时间的增删该操作后，会出现“存储碎片”的问题，所以要重建索引。
(5)系统访问数据库中的数据，一般为全表扫描和索引查找。

1)在经常要进行检索的字段上创建必要的索引
2)尽量使用参数化Sql，这样不仅可以避免注入攻击，还可以执行预编译
3)调整where子句中的连接顺序，表连接最好写在其他条件之前。
4)避免使用*，因为在解析的过程中，会把*转成所有的列名，这意味着将耗费更多的时间。
5)尽量写成一条Sql语句，不要分开来写。
7)尽量使用表的别名，在多个表中
9)尽量使用表连接而不是Existe
10)避免在索引列上进行计算
11)避免进行隐式转换，否则的话会进行全表扫描
12)防止检索范围过宽，如果检索范围过宽，放弃索引，会进行全表扫描
①使用 IS NOT NULL 或者不等于判断，会造成优化器假设匹配的记录太多
②使用like运算符的时候， "a%"将会使用索引，而"a%c","%c"则会使用全表扫描。

15.如何对数据库进行定时备份
展开实例--管理--维护计划
右键"维护计划"--新建维护计划--输入维护计划名称--这样会出现创建维护计划的窗口然后, 在左边的工具箱中(没有的话, 按Ctrl+Alt+X), 将"备份数据库任务"拖到中间的黄色区域
双击拖出来的这个任务, 会出现设计属性的窗口
在数据库中, 选择你要备份的数据库,然后设置备份到那里, 并且设置备份的文件名
设计好后, 单击"确定", 你也可以单击"T-SQL", 看看sql大致会用什么样的语句来处理你的需求.
单击"计划"后面的"..."按钮, 设置执行的时间计划.
把sql agent服务设置为自动启动

16.建立独立的数据库登录用户
(1)对sa用户进行启用和密码设置 ★★★★★强烈建议不这样进行使用
①在总的节点下——右键属性——安全性——服务器身份验证选中SQL server和Windows身份验证模式——修改完成后重新启动下。
②总的安全性——登录名——sa——右键属性——状态——登录启用
③常规——SQL身份验证——密码——下面两个强制都勾选。

(2)开启独立的身份进行数据的登录
①在总的节点下——右键属性——安全性——服务器身份验证选中SQL server和Windows身份验证模式——修改完成后重新启动下
②在总的安全性下建立一个登录名，和密码
③在进行设置的数据库下建立一个 在安全性那建立的登录名和密码

———————————————存储过程与事物与触发器—————————
17.存储过程(Stored Procedure)是一组为了完成特定功能的T-SQL语句集合，经编译后存储在服务器端数据库中，利用存储过程可以急速SQL语句的执行。

存储过程分为系统存储过程和自定义存储过程，优点具体如下：
1.提高应用程序的通用性和可移植性(可以被应用程序多次进行使用，进行修改时只要修改存储过程而不需要修改应用程序源代码)

2.可以更有效的管理用户操作数据库的权限(避免非授权用户对数据库的访问，保证数据的安全)

3.可以提高T-SQL的速度(存储过程是被编译过的，比单条SQL语句执行的速度要快的多)

4.减轻服务器的负担，为了减轻网络上大量的sql语句。

将SQL语句组成一个事务，其目的是保证这一组SQL语句能给得到可靠的执行，保证语句要么全部成功运行，要么都不运行。
(1)原子性：要么全部运行，否则的话回到初始状态

(2)一致性：如果事务执行成功，所有数据都处于一个新的状态；如果失败，所有数据仍然处于事务开始前的状态。

(3)隔离性：事务所做的修改必须与其他同时并发的事务所做的修改隔离。

(4)持久性：事务提交以后，对数据库做的修改就永远的保持下来了，即使发生系统故障也不例外。

在SQL Server中，锁是防止事务访问指定资源，实现并发控制的主要手段，

锁可以防止脏读，不可重复读和幻像读。

锁定资源的方式共有两种：一种是读操作要求的共享锁，另一种是写操作要

求的排它锁，两种锁不能共存。
共享锁：允许并发事务读取同一种资源，事务不能修改访问的资源数据，一

般使用Select语句访问资源,系统自动对所访问的资源使用共享锁。

排它锁：修改数据的事务，例如使用insert、delete、update语句,系统会

一、创建一个简单的触发器
触发器是一种特殊的存储过程，类似于事件函数，SQL Server? 允许为 INSERT、UPDATE、DELETE 创建触发器，即当在表中插入、更新、删除记录时，触发一个或一系列 T-SQL语句。
触发器可以在查询分析器里创建，也可以在表名上点右键->“所有任务”->“管理触发器”来创建，不过都是要写 T-SQL 语句的，只是在查询分析器里要先确定当前操作的数据库。

我们看到许多注册系统在注册后都不能更改用户名，但这多半是由应用程序决定的， 如果直接打开数据库表进行更改，同样可以更改其用户名，在触发器中利用回滚就可以巧妙地实现无法更改用户名。
关键在最后两句，其解释为：如果更新了 userName 列，就回滚事务。
如果有多个触发器，则各个触发器名称之间用英文逗号隔开。
如果把“触发器名称”换成“ALL”，则表示禁用或启用该表的全部触发器。

————————————————系统视图的操做————————————
20.如何查找出指定数据库中的所有表

(6)DATENAME()函数，这个函数可以返回一个日期的特定部分，并且尽量用名称来表述这个特定部分
DATENAME(datepart,date)其中参数date为待计算日期，date 参数也可以是日期格式的字符串；参数datepart指定要返回的日期部分的参数

(2)sql语句的执行步骤：
1）语法分析，分析语句的语法是否符合规范，衡量语句中各表达式的意义。
2） 语义分析，检查语句中涉及的所有数据库对象是否存在，且用户有相应的权限。
3）视图转换，将涉及视图的查询语句转换为相应的对基表查询语句。
4）表达式转换， 将复杂的 SQL 表达式转换为较简单的等效连接表达式。
5）选择优化器，不同的优化器一般产生不同的“执行计划”
6）选择连接方式，有三种连接方式，对多表连接可选择适当的连接方式。
7）选择连接顺序， 对多表连接选择哪一对表先连接，选择这两表中哪个表做为源数据表。
8）选择数据的搜索路径，根据以上条件选择合适的数据搜索路径，如是选用全表搜索还是利用索引或是其他的方式。

(1)ABS()函数用来返回一个数值的绝对值

(6)SIGN()函数用来返回一个数值的符号，如果数值大于 0 则返回 1，如果数值等于 0 则返回 0，如果数值小于 0 则返回-1

28.字符串函数的使用
LENGTH()函数用来计算一个字符串的长度。该函数接受一个参数，此参数为待计算的 字符串表达式，在 MYSQLServer 中这个函数名称为 LEN()

(2)字符串转换为小写
LOWER()函数用来将一个字符串转换为小写。该函数接受一个参数，此参数为待转换的字符串表达式

(3)字符串转换为大写
UPPER ()函数用来将一个字符串转换为大写。该函数接受一个参数，此参数为待转换的字符串表达式

(4)截去字符串左侧空格
LTRIM()函数用来将一个字符串左侧的空格去掉。该函数接受一个参数，此参数为待处理的字符串表达式

(5)截去字符串右侧空格
RTRIM ()函数用来将一个字符串左侧的空格去掉。该函数接受一个参数，此参数为待处理的字符串表达式

(6)截去字符串两侧的空格
TRIM ()函数用来将一个字符串两侧的空格去掉。该函数接受一个参数，此参数为待处理的字符串表达式

(7)计算子字符串在主字符串中位置的函数
计算子字符串在主字符串中位置的函数，这个函数可以检测制定的子字符串是否存在于主字符串中，如果存在则还可以返回所在的位置
其中参数 string 为主字符串，参数 substring 为待查询的子字符串。如果 string 中存在 substring 子字符串，则返回子字符串第一个字符在主字符串中出现的位置；如果 string 中不 存在 substring 子字符串，则返回 0。

★★int自增字段的优点：占用空间小，无需开发人员干预，易读
缺点：效率低，数据导入导出非常麻烦
★★Guid 效率高，数据导入导出简单
缺点：占用空间大，不易读
默认值可以设置为：newid()

DISTINCT是对整个结果集进行数据重复处理的，而不是针对每一个列

MAX（最大值）、MIN（最小值）、AVG （平均值）、SUM （和）、COUNT（数量）

32.主键/外键对数据插入/更新的影响
(1)主键在插入时的影响
主键是在同一张表中必须是唯一的，如果在进行数据插入的时候指定的主键与表中已有 的数据重复的话则会导致违反主键约束的异常。T_Debt 表中 FNumber 字段是主键，如果我 们执行下面 SQL：

(2)外键在插入时的影响
外键是指向另一个表中已有数据的约束，因此外键值必须是在目标表中存在的。如果插 入的数据在目标表中不存在的话则会导致违反外键约束异常。

———————————————————索引的操作———————————
索引想像成汉语字典的的按笔画查找的目录。汉语字典中的汉字是按拼音的顺序 排列在书页中的，如果要查询笔画数为 18 的汉字的话就必须挨个查找每个汉字来比较每个 汉字的笔画数，这种速度是让人无法忍受的。而如果我们创建一个按笔画查找的目录：将笔 画为 5 的汉字列出来，将笔画为 6 的汉字列出来……，这样当我们要查询笔画数为 18 的汉 字的话只要来查找这个目录就可以非常快速的查找到需要的数据了。

索引减慢了数据插入和删除的速度。因为每次插入和删除的时候都需要更新索引，一个
表拥有的索引越多，则写操作的平均性能下降就越大

在表指定的列中单击右键进行添加一个新的索引，一般应为非聚集的。

——————————————————视图的操作————————————

全国计算机等级考试二级Visual FoxPro笔试练习题

第一章数据库基础 4分

1.数据库(DB)、数据库系统(DBS)和数据库管理系统(DBMS)三者之间的关系是

A．数据库系统 B．数据库管理系统 C．数据库 D．数据库应用系统3.Visual FoxPro是一种关系型数据库管理系统，这里关系通常是指

A）数据库文件(dbc文件) B）一个数据库中两个表之间有一定的关系

C）表文件(dbf文件） D）一个表文件中两条记录之间有一定的关系4．以下关于关系的说法正确的是

A)列的次序非常重要B)行的次序非常重要

C)列的次序无关紧要D)关键字必须指定为第一列

5.在Visual FoxPro中，关系数据库管理系统的关系是

A)一个DBF文件 B)若干个二维表

6．在关系模型中，每个关系模式中的关键字

A．可由多个任意属性组成 B．最多由一个属性组成

C．可由一个或多个其值能唯一标识关系中任何元组的属性组成

7．在教师表中，如果要找出职称为“教授”的教师，所采用的关系运算是A．选择 B．投影 C．联接 D．自然联接

8．从表中选择字段形成新关系的操作是

A）选择 B）连接 C）投影 D）并

9.操作对象只能是一个表的关系运算是

A．联接和选择 B．联接和投影 C．选择和投影 D．自然连接和选择10. 在Visual Foxpro中,通常以窗口形式出现，用以创建和修改表、表单、数据库等应用程序组件的可视化工具称为 ( B )

（注意：用以组织和处理表、表单、数据库等的可视化工具称为( D ) A．向导 B．设计器 C．生成器 D．项目管理器

11.“项目管理器”的“运行”按钮用于执行选定的文件，这些文件可以是

A）查询、视图或表单 B）表单、报表和标签

C）查询、表单或程序D）以上文件都可以

12.在“项目管理器”下为项目建立一个新报表，应该使用的选项卡是（B ）。注意：建立一个新菜单，应该使用的选项卡是（C ）

建立一个命令文件（程序）应该使用的选项卡是（D）

A．数据 B．文档 C．其他 D．代码

5.项目管理器的数据选项卡可以创建数据库、查询、视图和___自由表_____

第二章阶数据与数据处理 8分

1.想要将日期型数据中的年份用4位数字显示，应当使用设置命令

2.说明数组后，数组元素的初值是

A）整数0 B）不定值 C）逻辑真 D）逻辑假

3.从内存中清除内存变量的命令是

4.假设职员表已在当前工作区打开，其当前记录的“姓名”字段值为“张三”（字符型，宽度为6）。在命令窗口输入并执行如下命令：

A）张三 B）张三您好C）张三您好 D）出错

6.在下面的Visual FoxPro表达式中，运算结果为逻辑真的是

A．字符串 B．数值 C．命令D．以上三种都可能

11.计算机结果不是字符串“Teacher”的语句是 ( )

13.设a=”计算机等级考试”，结果为”考试”的表达式是

1.执行命令A=之后，内存变量A的数据类型是____数值_______型。

第三章数据库及操作 12分

1.打开数据库abc的正确命令是

A．关系也被称作表单 B．数据库文件不存储用户数据

C．表文件的扩展名是.DBC D．多个表存储在一个物理文件中

3.在VisualFoxPro中，使用LOCATE FOR命令按条件查找记录，当查找到满足条件的第一条记录后，如果还需要查找下一条满足条件的记录，应使用

4.当前打开的图书表中有字符型字段“图书号”，要求将图书号以字母A开头的图书记录全部打上删除标记，通常可以使用命令

5.有关ZAP命令的描述，正确的是

A．ZAP命令只能删除当前表的当前记录

B．ZAP命令只能删除当前表的带有删除标记的记录

C．ZAP命令能删除当前表的全部记录

D．ZAP命令能删除表的结构和全部记录

A．空值等同于空字符串B．空值表示字段还没有确定值

C．不支持字段值为空值D．空值等同于数值0

A．当数据库表建立索引以后,表中的记录的物理顺序将被改变

B．索引的数据将与表的数据存储在一个物理文件中

C．建立索引是创建一个索引文件,该文件包含有指向表记录的指针

D．使用索引可以加快对表的更新操作

8.在指定字段或表达式中不允许出现重复值的索引是

A)惟一索引 B)惟一索引和候选索引

C)惟一索引和主索引 D)主索引和候选索引

9.允许出现重复字段值的索引是

A）侯选索引和主索引 B）普通索引和惟一索引

C）侯选索引和惟一索引 D）普通索引和侯选索引

10.在创建数据库表结构时，给该表指定了主索引，这属于数据完整性中的

A)参照完整性 B)实体完整性C)域完整性 D)用户定义完整性