2020-07-18 blog

抢到了一把粉色的nj68,BOX红,分了三期。

预计应该是一个月之后发。所以地址选了学校。

打算整一套紫色系的键帽来搭配。

轴体方面,因为是热插拔,可以随便玩。

大概也会去学怎么润轴啊之类的。

至于手上的这把,大概会是等nj68差不多稳定了,就去整一套轴来换掉这个ifd68的轴。焊接也是一个大难题。


今天主要干的活也没多少。主要是刷了不少视频。

然后就是问了一下老师,接下来可以在哪些方向做一下研究。


Deep Go开发记录

把import的习惯改了一下,dg有点不习惯。

import deepgo as dp

然后是看了一下TODO列表,研究了一下HDF5文件的读写。

简单来说就是,数据集的创建和读取问题。

中途遇到了很多不同的情况。

首先是文件尺寸问题。目前是实现了单文件数据集的读写。也就是说,数据集本身不大,所以可以存到同一个文件里面。

之后的设计是,当数据集的训练集、验证集、测试集原始数据加起来超过1G,则使用第二种存储方式,即训练集、验证集、测试集分别存放在单独的文件,文件内写好attrs,然后在外部放一个json文件,记录各种配置。

训练集写出后文件超过1G时(应该是用os或者sys来读取?),使用第三种存储方式,即训练集等存放在多个文件,文件内写好attrs,外部放一个json记录各种配置。

emmm,貌似第二种其实可以直接并入第三种?

然后是写入问题。在写入速度方面,参考了一下别人的文章,采取了分块填充的方式,能够更大程度地利用硬盘的读写。单条写入的话相对比较慢一点。

另外就是读取了。目前的话,是可以实现分块读取的。也就是说需要的时候,从h5文件中读取一个batch_size。当然,也参考了别人的文章,避免了内存溢出的情况。

目前的话虽然是在Deep Go的IO类里面把大部分方法实现了,但是感觉不够优雅。感觉可以把一些低层级的,更属于H5本身的部分的,放到IO类,然后把数据集的读写之类的放到别的地方,比如说builder

You may also like...

发表评论

电子邮件地址不会被公开。 必填项已用*标注