如何利用NineData SQL窗口完成Redis开发和利用？

来源：蜘蛛抓取(WebSpider) 时间：2023-10-10 10:45 标签： 开发和利用
数据是企业核心资产，如何更安全高效管理数据是企业基础工作，否则随时都可能出现机密数据泄露，甚至是员工删库跑路。几乎每家企业都会经历数据安全问题，以下是几个典型案例：某上市公司员工与高管发生纠纷，远程恶意删除数据库和备份数据，导致公司业务中断至少1个月，市值暴跌；“95后”员工愤然删库，因为工作内容变动及领导的不满，企业数据丢失，起诉员工，员工被判刑9个月；某公司员工离职后带走数据库账号和密码，远程登录数据库盗取敏感信息并兜售给竞争对手，CTO、运维总监、DBA、安全主管被追责；某互联网公司员工因为数据操作疏忽，误删除上千万会员数据，公司业务瘫痪1周，员工被开除；某制造业公司使用财务软件，因为数据库账号密码管理混乱，财务软件技术人员登录数据库误把生产系统当成测试系统操作，删除生产数据，导致业务系统数据丢失；很多企业数据库账号和密码给到技术人员，在员工与公司发生冲突，或者是公司数据有商业价值，数据泄露和被删库风险就非常大，对公司是致命性灾难。有些企业把堡垒机当成是数据库安全管理平台，在上面安装navicat、pgAdmin等工具，把数据库账号和密码也配置在堡垒机上，这会非常危险，因为堡垒机主要是应用于主机访问安全，并不是面向数据库安全平台，很难控制数据库里各个数据项的权限管控以及敏感数据识别，审计也非常复杂。面对数据安全挑战，玖章算术公司研发了新一代云原生数据管理平台NineData，系统采用最新的云原生+AIGC技术，支持对内部员工和外部ISV伙伴做细粒度的数据库权限配置和操作审计，提供灵活的生产数据库操作自动化审批流程，内置了数百个数据库安全操作规范和敏感数据保护能力，可以帮助企业规避低级误操作，降低数据泄露和删库跑路的隐患。NineData在电信、地产、汽车等行业多家世界500强企业完成大规模应用实践，并且与华为云、阿里云、移动云、百度云等云平台展开了深入合作，帮助客户更安全高效地管理数据。NineData的数据库安全管理平台功能强大，开箱即用，通过5个步骤即可以配置完成：1. 注册账号进入NineData官网 www.ninedata.cloud ，注册一个账号，并登录系统2. 创建组织点击右上角的账号，从下拉菜单中选择创建一个组织，通过邮箱邀请公司同事加入到组织，角色可以设置为开发环境管理员。3. 添加数据源进入数据源管理模块，新增数据库。如果你暂时没有准备好数据库，可以在NineData里免费创建1个demo数据源先体验。入口在数据源管理的工具栏，点击【申请数据库】如果你已经准备好了自己数据源，可以直接创建数据源，NineData支持有公网IP的数据源，也可以连接阿里、华为等云平台的RDS，还可以通过网关模式连接本地/VPC内网的数据源。具体方式你可以到NineData的官网文档里查看数据源使用说明。备注：免费数据库大概需要30秒的数据准备时间4. 验证数据查询进入【SQL窗口】模块，查询数据库数据，检查数据是否正确5. 公司同事登录NineData查询数据请公司同事点开收到的邮箱，点击接受邀请，会提示补充个人的注册信息。你可以在【账号管理-用户管理】模块里继续邀请或删除公司同事信息。邀请的同事补充完注册信息后，登录NineData，进入【SQL窗口】模块，就可以查询分配的数据库数据。注意：登录后要进入到所在的注册组织下操作。通过以上5步，就轻松完成了企业数据库安全管理的基本配置，管理员可以在权限管理模块灵活分配每个用户的数据操作权限，后续只需把更多数据源和员工配置进来即可。以下是NineData在数据库安全管理方面更详细的介绍：NineData支持MySQL、PostgreSQL、MongoDB、Redis、Oracle、SQLServer、ClickHouse、Doris等数十种数据源，与阿里、华为、百度、移动云、AWS等云计算平台无缝集成，通过了等保三级、ISO27001等数据安全评测认证，可以在线免费试用，并提供商业支持，在目前市场上功能与技术架构领先，是企业替换Navicat、PgAdmin、DBeaver、Yearning、堡垒机等产品的最佳方案。NineData支持SaaS模式和企业专属集群模式，详情请看https://www.ninedata.cloud
在上篇「Redis高效、安全的不停机数据迁移方案」的文章中，介绍了NineData在Redis迁移场景下的性能和优势。因为数据在主备、多云和多区域环境之间的迁移流动，难免会产生数据一致性的问题，而结构与数据不一致往往是导致故障的原因之一。所以，如何快速准确地完成 Redis 数据对比成为了一个重要的问题。现在，NineData 在支持业务不中断的前提下，实现了配置简单、高效和安全的数据对比服务，很好地保障了各场景下因数据迁移导致数据不一致的问题。经实测，NineData可在 1 分钟内完成 800 万个key（ 2GB，涉及所有类型）的数据对比，平均对比速率为 13万/秒，并且找出不一致的key，生成详细的对比报告，帮助您快速定位和修复不一致的数据。目前，数据对比主要的方式有：通过解析遍历RDB二进制文件、SCAN遍历实例以及一些开源工具进行数据对比，对于这些方式的对比，会存在一些问题：兼容性差，不同版本的Redis，RDB文件格式发生变化，对于解析RDB文件方式的对比，需要开发适配。可用性差，对比完成之后，无法自动生成修复操作。
可靠性差，对于开源工具，对比异常后，无法断点。
运维性差，不能进行进度查看、暂停、告警等操作。
NineData 在提供了「数据复制」和「可视化管理」的同时，又进一步拓展了Redis对比的能力，很好地满足了Redis对于数据一致性的要求。相较于传统对比，NineData 的Redis数据对比能力有如下优势：简单易用：一分钟即可完成任务配置，并全自动化完成对比任务。
强劲性能：通过多线程、队列优化、流式内存管理等核心技术，对比性能达到 13万/秒，有效保障对比效率。
完善的功能：支持Redis数据的一致性对比，同时提供了一次性对比、周期性对比、快速对比等适合多种使用场景的对比功能，并且也提供了不一致数据修复的能力。
可视化界面：拥有简洁直观的用户界面，无需复杂的设置即可进行数据对比，并且以直观的图表和报告呈现对比结果，使您轻松理解数据差异。
安全可靠：NineData 平台通过国家公安部三级网络安全等级保护认证，为企业的信息安全提供高等级的防护。
通过上述优势，保证了 NineData 在Redis对比场景下的领先性。另外，NineData 还提供了对比功能，包含全量、快速和不一致复检的对比方式，并且也支持不同的对比频率。在迁移或复制结束后，通过对比，有效地保障数据的质量。
配置任务名称，选择要对比的源数据源和目标数据源。
对比频率，可选择一次性对比或按照需要定期对比。
对比方式，可选择全量数据对比或自定义抽样比例对比。
选择对比对象：可选择不同DB进行对比。配置映射：可以把源实例的多个数据库映射到目标实例指定的1个或多个数据库。通过完善的检查项，保证了对比任务的稳定性。到此，我们就完成了一个快速、高效的Redis对比任务的配置，当完成配置并启动任务后，NineData就实现全自动化的数据对比。同时，为了提供更好的对比体验，NineData针对对比过程提供了完善的观测、干预能力。其不但提供对象对比的详细状态、进展、详情，还通过监控和日志透露后台线程的内部执行情况，帮助用户全方位追踪对比进展。同时，还针对运行过程中可能出现的异常情况，提供告警和对比暂停能力，让用户能够自主快速地诊断并修复异常，保障对比的稳定性。对比期间的信息：在监控中可以看到对比的RPS，实时了解对比的性能。除了监控外，如果遇到数据不一致的情况，在操作列中则会出现「查看详情」按钮。进去可以看到具体key的不一致信息：最后，在操作列中可以看到「SQL」按钮，会显示提供修复不一致数据的操作：NineData 数据对比是一款云原生数据对比产品，具备每秒处理100万笔记录的高效能力。它提供了一站式支持，适用于IDC自建、云主机自建以及云数据库。并支持多种数据库，除了Redis之外，还包括MySQL、SQL Server、PostgreSQL、MongoDB、ClickHouse、Doris等，可进行数据库间的结构对比和数据对比。此外，NineData还支持同构和异构数据源之间的数据一致性校验。用户可以选择结构对比、全量对比、抽样对比、周期性对比等多种对比方式。NineData能够动态监测数据库负载，自适应调整对比速度，确保数据库的稳定性。丰富的数据源支持使得NineData能够满足不同客户的需求。此外，NineData在结构对比方面拥有业界领先的覆盖度，对象类型及属性覆盖度业界 NO.1。

我要回帖

更多关于 开发和利用 的文章

 

随机推荐