ThinkChat2.0新版上线,更智能更精彩,支持会话、画图、视频、阅读、搜索等,送10W Token,即刻开启你的AI之旅 广告
HDFS 中的文件在物理上是分块存储(block),<ins>块的大小可以通过配置参数(dfs.blocksize)来规定,默认大小在Hadoop2.x版本中是128M,Hadoop1.x 版本中是 64M</ins>。 <br/> HDFS 的块比磁盘的块大,其目的是为了最小化寻址开销。如果块设置得足够大,从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而,<ins>传输一个由多个块组成的文件的时间取决于磁盘传输速率</ins>。 <br/> 最佳传输损耗理论:一次传输中,寻址时间占总传输时间的比例是1%的时候,传输性价比最高(损耗最小)。 <br/> 如果寻址时间约为 10ms,而传输速率为 100MB/s,为了使寻址时间仅占传输时间的 1%,我们要将块大小设置约为 100MB。默认的块大小 128MB。 块的大小:`$ 10ms*100*100M/s = 100M $`。