MooseFS 2.x 千万小文件示例

---

2015-05-21 by dongnan

环境

操作系统: CentOS 6.6 amd64

配置

ChunkServer: 物理机 4Core CPU/16GB Mem/单磁盘 1TB/1GB NIC
Master: VM 4Core CPU/4GB Mem/100GB Disk/1GB NIC
Client: VM 4Core CPU/4GB Mem/50GB Disk/1GB NIC

IP

master: 172.27.244.69
client: 172.27.244.99
chunk1: 172.27.244.31
chunk2: 172.27.244.32
chunk3: 172.27.244.33

目标

测试 MFS 2.x 一千万小文件，消耗的内存与磁盘空间(元数据)。

步骤

Master

内存: 1000万个小文件 Master 消耗2.7G 内存。

磁盘: 元数据消耗1.9GB磁盘空间。

# 总计1.9GB
du -sh /var/lib/mfs/
1.9G   /var/lib/mfs/

# 详细信息
ll /var/lib/mfs/
total 1917452
-rw-r----- 1 mfs mfs       186 May 18 10:59 changelog.50.mfs
-rw-r----- 1 mfs mfs 980019616 May 20 16:00 metadata.mfs.back
-rw-r----- 1 mfs mfs 980019616 May 20 15:00 metadata.mfs.back.1
-rwxr--r-- 1 mfs mfs         8 Dec 24 20:25 metadata.mfs.empty
-rwxr----- 1 mfs mfs   3410488 May 20 16:00 stats.mfs

Chunk

Chunk数量

磁盘空间

内存消耗