千锋教育-做有情怀、有良心、有品质的职业教育机构

手机站
千锋教育

千锋学习站 | 随时随地免费学

千锋教育

扫一扫进入千锋手机站

领取全套视频
千锋教育

关注千锋学习站小程序
随时随地免费学习课程

当前位置:首页  >  技术干货  > hdf5数据库的并行读写,是怎么回事?

hdf5数据库的并行读写,是怎么回事?

来源:千锋教育
发布人:xqq
时间: 2023-10-14 01:12:59 1697217179

一、hdf5数据库的并行读写是怎么回事

关键点在于告知数据位置(hyperslab)。比如说我要把我100*100的矩阵分成10*10的block,我需要告诉代码我的分配规则。比如说,rank0 写在名列前茅行名列前茅列,rank1写在名列前茅行第二列,我就可以写col=rank%10,row=rank/10,(从0计数),写的时候每个processor会告知,mydata,myrank,myposition,然后并行的时候每个核的数据就会被写在相应的位置。

给个fortran的例子,

CALL h5sselect_hyperslab_f (filespace, H5S_SELECT_SET_F, offset, count, error, stride,block_size)

这里filespace 告知在文件里开辟的内存id,第二个内置参数,告诉怎样写,后面offset,count,stride,block什么的全都用于描述位置,你可以横着写,数着写,跳着写,转着圈写。。。一般我只用两个参数就能描述清楚了,因为我搞的是结构网格,一开始还不理解为什么那么多种写数据的花型。直到后面写作业用到非结构网格,这个时候描述数据位置就尤其重要了,因为你需要让相邻processor处理的数据物理空间也尽量靠近,这样才能减少block之间的信息交互,然后提高计算速度。

延伸阅读:

二、并发锁

在一定条件下,MyISAM也支持查询和操作的并发进行。
MyISAM存储引擎有一个系统变量concurrent_insert,专门用以控制其并发插入的行为,其值分别可以为0、1或2。
当concurrent_insert设置为0时,不允许并发插入。
当concurrent_insert设置为1时,如果MyISAM允许在一个读表的同时,另一个进程从表尾插入记录。这也是MySQL的默认设置。
当concurrent_insert设置为2时,无论MyISAM表中有没有空洞,都允许在表尾插入记录,都允许在表尾并发插入记录。
可以利用MyISAM存储引擎的并发插入特性,来解决应用中对同一表查询和插入锁争用。例如,将concurrent_insert系统变量为2,总是允许并发插入;同时,通过定期在系统空闲时段执行OPTIONMIZE TABLE语句来整理空间碎片,收到因删除记录而产生的中间空洞。

声明:本站稿件版权均属千锋教育所有,未经许可不得擅自转载。
10年以上业内强师集结,手把手带你蜕变精英
请您保持通讯畅通,专属学习老师24小时内将与您1V1沟通
免费领取
今日已有369人领取成功
刘同学 138****2860 刚刚成功领取
王同学 131****2015 刚刚成功领取
张同学 133****4652 刚刚成功领取
李同学 135****8607 刚刚成功领取
杨同学 132****5667 刚刚成功领取
岳同学 134****6652 刚刚成功领取
梁同学 157****2950 刚刚成功领取
刘同学 189****1015 刚刚成功领取
张同学 155****4678 刚刚成功领取
邹同学 139****2907 刚刚成功领取
董同学 138****2867 刚刚成功领取
周同学 136****3602 刚刚成功领取
相关推荐HOT