GreatSQL统计信息相关知识点

相关知识点:

INNODB_STATS_PERSIST=ON或用STATS_PERSIST=1定义单个表时,优化器统计信息将持久化到磁盘。默认情况下,innodb_stats_persistent是启用的。

持久统计信息存储在mysql.innodb_table_statsmysql.innodb_index_stats表中。

默认情况下启用的innodb_stats_auto_recalc变量控制当表中超过10%的行发生更改时是否自动计算统计信息。可以通过在创建或更改表时指定STATS_AUTO_RECALC子句来为单个表配置自动统计数据重新计算。

由于在后台进行的自动统计数据重新计算的异步性质,即使启用了innodb_stats_auto_recalc,在运行影响表10%以上的DML操作后,也不会立即重新计算统计数据。在某些情况下,统计数据的重新计算可能会延迟几秒钟。如果立即需要最新的统计数据,运行ANALYZE TABLE以启动统计数据的同步(前台)重新计算。

如果禁用innodb_stats_auto_recalc则可以通过在对索引列进行大量更改后执行ANALYZE TABLE语句来确保优化器统计信息的准确性。

INNODB_STATS_PERSIST=OFF或使用STATS_PERSIST=0创建或更改单个表时,优化器统计信息不会持久化到磁盘。相反,统计信息存储在内存中,当服务器关闭时会丢失。统计数据也会通过某些操作和在某些条件下定期更新。

当向现有表中添加索引时,或者当添加或删除列时,无论innodb_stats_auto_recalc的值如何,都会计算索引统计信息并将其添加到innodb_index_stats表中。

影响统计信息的五个参数

  • innodb_stats_persistent:指定InnoDB索引统计信息是否持久化到磁盘,默认打开。

  • innodb_stats_persistent_sample_pages:估计索引列的基数和其他统计信息(如由分析表计算的统计信息)时要采样的索引页数。增加该值可以提高索引统计信息的准确性,但为innodb_stats_persistent_sample_pages设置较高的值可能会导致分析表执行时间过长。

  • innodb_stats_auto_recalc:使InnoDB在表中的数据发生重大变化后自动重新计算持久统计信息。阈值为表中行数的10%,默认打开。

  • innodb_stats_include_delete_marked:计算持久优化器统计信息时InnoDB是否包括已标记删除的记录,默认关闭。

  • innodb_stats_transient_sample_pages:估计索引列的基数和其他统计信息(如由分析表计算的统计信息)时要采样的索引页数。默认值为8。增加该值可以提高索引统计信息的准确性,从而改进查询执行计划,但代价是在打开InnoDB表或重新计算统计信息时会增加I/O。该参数仅适用于为表禁用innodb_stats_persistent的情况,如果启用了INNODB_STATS_PERSIST则应用INNODB_STATS_PERSIST_SAMPLE_PAGES代替innodb_stats_sample_pages

总结:

1、非持久化统计信息在以下情况会被自动更新:

  1. 执行ANALYZE TABLE
  2. innodb_stats_on_metadata=ON情况下,执SHOW TABLE STATUS, SHOW INDEX, 查询INFORMATION_SCHEMA下的TABLES, STATISTICS
  3. 启用--auto-rehash功能情况下,使用mysql client登录
  4. 表第一次被打开
  5. 距上一次更新统计信息,表1/16的数据被修改

非持久化统计信息的缺点显而易见,数据库重启后如果大量表开始更新统计信息,会对实例造成很大影响,所以目前都会使用持久化统计信息。

2、持久化统计信息在以下情况会被自动更新:

  1. INNODB_STATS_AUTO_RECALC=ON的情况下,表中10%的数据被修改

  2. 增加新的索引

3、统计信息不准确的处理

我们查看执行计划,发现未使用正确的索引,如果是innodb_index_stats中统计信息差别较大引起,可通过以下方式处理:

  1. 手动更新统计信息,注意执行过程中会加读锁:

ANALYZETABLE TABLE_NAME;

  1. 如果更新后统计信息仍不准确,可考虑增加表采样的数据页,两种方式可以修改:

​ a. 全局变量INNODB_STATS_PERSISTENT_SAMPLE_PAGES默认为20;

​ b. 单个表可以指定该表的采样:

ALTER TABLE TABLE_NAME STATS_SAMPLE_PAGES=40;

​ 经测试,此处STATS_SAMPLE_PAGES的最大值是65535,超出会报错。

​ c. 手动更新innodb_table_statsinnodb_index_stats表统计信息(修改这两个表不会产生binlog),然后使用FLUSH TABLE tbl_name语句加载更新后的统计信息。

Enjoy GreatSQL :)

关于 GreatSQL

GreatSQL是适用于金融级应用的国内自主开源数据库,具备高性能、高可靠、高易用性、高安全等多个核心特性,可以作为MySQL或Percona Server的可选替换,用于线上生产环境,且完全免费并兼容MySQL或Percona Server。

相关链接: GreatSQL社区 Gitee GitHub Bilibili

GreatSQL社区:

image

社区有奖建议反馈: https://greatsql.cn/thread-54-1-1.html

社区博客有奖征稿详情: https://greatsql.cn/thread-100-1-1.html

(对文章有疑问或者有独到见解都可以去社区官网提出或分享哦~)

技术交流群:

微信&QQ群:

QQ群:533341697

微信群:添加GreatSQL社区助手(微信号:wanlidbc )好友,待社区助手拉您进群。

内容概要:本文系统性地介绍了基于“断线解环”思想的配电网辐射状拓扑约束建模方法,旨在通过Matlab代码实现,复现顶级EI论文中的核心技术。该方法聚焦于保障配电网在运行过程中维持严格的辐射状结构,防止环路形成,从而提高系统的安全性、稳定性和运行效率。文章深入阐述了如何利用混合整数线性规划(MILP)等优化技术处理复杂的拓扑约束条件,并结合标准配电网络进行仿真验证,特别适用于含分布式电源接入的现代复杂配电网。资源包不仅包含完整的Matlab实现代码,还整合了大量前沿科研方向的相关代码与资料,涵盖微电网优化调度、电动汽车协同管理、风光储联合系统、路径规划、深度学习预测等多个热门领域,并提供YALMIP等建模工具的支持,极大地方便了科研人员的学习、复现与二次开发。; 适合人群:具备电力系统、自动化、电气工程或相关工科专业背景,熟练掌握Matlab/Simulink仿真环境,正在从事电力系统优化、智能电网、分布式能源等领域科研或工程应用的人员,尤其适合研究生、博士生及具有一定科研基础的工程师。; 使用场景及目标:① 深入理解并掌握配电网辐射状拓扑约束的数学建模原理与“断线解环”策略的核心思想;② 成功复现高水平EI/SCI期刊论文中的优化模型与算法流程;③ 借助所提供的丰富案例代码,快速开展微电网经济调度、电动汽车优化、新能源预测、多目标优化等方向的科研项目;④ 熟练运用YALMIP等高级建模语言进行电力系统优化问题的建模、求解与分析。; 阅读建议:建议读者优先关注网盘中提供的完整代码、说明文档及示例数据,严格按照资源目录结构循序渐进地学习,重点剖析“断线解环”在消除环路、保证拓扑可行性方面的具体实现逻辑。务必亲自动手运行、调试和修改Matlab代码,以深化对理论模型与编程实现之间联系的理解。同时,可充分利用文中列举的其他研究主题作为灵感来源,拓展自身的科研视野与创新思路。
代码转载自:https://pan.quark.cn/s/3dad5e95abc6 在数据科学领域,Stata被视作一种应用广泛的统计分析工具,特别是在社会科学与公共卫生研究范畴内具有较高的人气。当运用Stata对数据集进行操作时,保障数据的完整性与精确度是极为关键的一环,因为缺失数据(空缺数据)可能对分析结果的可靠性与有效性造成显著干扰。本文将深入阐释如何在Stata环境下处理数据集中的空缺数据,以确保后续的数据分析能够建立在精确无误的数据基础上。 我们需要明确Stata中空缺数据的表达方式。在Stata系统里,当一个变量的数值未被记录或处于未知状态时,通常会以"."符号进行标识,该符号即代表了空缺数据。空缺数据可能源于有意为之(例如,某些信息未被系统收集),也可能由数据录入失误或数据传输过程中的遗失所导致。不论其成因如何,处理这些空缺数据都是数据整理过程中的一个重要组成部分。 处理Stata数据集空缺数据的技术有多种,以下列举三种基础且实用的策略: 1. 移除包含空缺数据的记录: 这种技术适用于那些不允许任何空缺数据的变量或整体分析。借助`rowmiss(_all)`函数能够检测数据集中是否存在任何空缺数据。`egen mis = rowmiss(_all)`这一行代码会生成一个新变量mis,用以记录每条记录中空缺数据的数量。随后,执行`drop if mis`指令将移除所有至少含有一个空缺数据的记录。以此方式,可以确保保留下来的记录在所有变量上均无空缺数据。 2. 移除特定变量中存在空缺数据的记录: 在某些情形下,可能仅关注特定变量的空缺数据。比如,若变量"vars"存在空缺数据,我们可以运用`drop`指令搭配`if`条件来移除这些记录。指令`dro...
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值