DSAS開発者の部屋

もう、あって当たり前というところまで浸透してきた仮想環境、みなさまは何をお使いでしょうか?

私の周辺ではVirtualBoxがよく使われています。

典型的な使い方としては、 以下のような感じです。

• ホストOSには、mac/windowsをつかう
• ゲストOSには、Linuxを使う
• 共有フォルダを使って、ホストとゲストでファイルを共有する

その中でも地味に重要なのが共有フォルダ。

共有フォルダとは、ホストOSのファイルシステムをゲストOSからマウントするための、VirtualBoxが提供している仕組みです。

しかし便利な反面、ファイルアクセスが非常に遅いという声をよく聞きます。

findが終わらないとか、git statusが遅すぎるとか...

この問題への対策を探してみると、下記のような物がみつかります。

• vboxsfでなくNFSなど別のファイルシステムを使う
• VirtulaboxではなくVMWareを使う

しかし、vboxsfそのものへの対策は取られていないようです。

そこで、vboxsfと他のファイルシステムとの挙動や実装の違いを調べ、vboxsfを速くしてみようと思いました。

そのいくつか紹介していきたいと思います。

今回取り上げるのは、findが遅い件について。

検証した環境

検証した環境としては以下の通りです。

また、調査対象にしたディレクトリは、ファイル数３万、容量は4GBとなっています。

現象を確認する

まずは、findコマンドが本当に遅いのか、他のファイルシステムと比較してみることにしました。

比較対象には、VMWareのホスト-ゲスト間のファイル共有で使われているvmhgfsを選びました。

これを選んだ理由は、vboxsfと仕組みが良く似ていることからです。

vboxsfとvmhgfsそれぞれで、findコマンド実行したときのtime/straceの結果を下に示します。

timeの結果を見ると、確かにvboxsfの方が遅くなっていることが確認できます。

またstraceで、実行されているシステムコールを確認してみると、vboxsfにおいて最も時間のかかっているシステムコールはnewfstatatで、その実行回数がvmhgfsと大きく異なる事がわかります。

ここから、vboxsf/vmhgfsの何らかの違いによってfindコマンド内で実行される処理が異なっていることがわかります。

// vboxsf
$ strace -c find .
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 76.59    0.509083          15     34145           newfstatat   <-ここ
 10.86    0.072196          73       993           openat
 10.24    0.068043          68      1005         6 open
  2.14    0.014249           0     34145           write
  0.14    0.000952           1       998           fstat
  0.03    0.000173           0      2013           getdents
  (省略)

// vmhgfs
$ strace -c find .
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 94.99    3.207002        1593      2013           getdents
  2.36    0.079565          79      1005         6 open
  1.96    0.066032          66       993           openat
  0.38    0.012751          13       993           newfstatat   <-ここ
  0.19    0.006551           0     34145           write
  0.12    0.004198           2      1993           close
  0.00    0.000139           0       998           fstat
  (省略)

// findutils-4.4.2/gnulib/lib/fts.c 1135-1140
            bool skip_stat = (ISSET(FTS_PHYSICAL)
                      && ISSET(FTS_NOSTAT)
                      && DT_IS_KNOWN(dp)
                      && ! DT_MUST_BE(dp, DT_DIR));
            p->fts_info = FTS_NSOK;
            fts_set_stat_required(p, !skip_stat);

# glibc-2.19/sysdeps/posix/readdir.c
      bytes = __GETDENTS (dirp->fd, dirp->data, maxread);

// linux/fs/readdir.c
    if (!IS_DEADDIR(inode)) {
        ctx->pos = file->f_pos;
        res = file->f_op->iterate(file, ctx);
        file->f_pos = ctx->pos;
        fsnotify_access(file);
        file_accessed(file);
    }

// VirtualBox-4.3.28/src/VBox/Additions/linux/sharedfolders/dirops.c
struct file_operations sf_dir_fops =
{
    .open    = sf_dir_open,
    .iterate = sf_dir_iterate,
    .release = sf_dir_release,
    .read    = generic_read_dir,
    .llseek  = generic_file_llseek
};

// VirtualBox-4.3.28/src/VBox/Additions/linux/sharedfolders/dirops.c
        if (!dir_emit(ctx, d_name, strlen(d_name), fake_ino, DT_UNKNOWN))
        {
            LogFunc(("dir_emit failed\n"));
            return 0;
        }

// VirtualBox-4.3.28/src/VBox/Runtime/r3/posix/dir-posix.cpp
RTDECL(int) RTDirRead(PRTDIR pDir, PRTDIRENTRY pDirEntry, size_t *pcbDirEntry)
...
            pDirEntry->INodeId = pDir->Data.d_ino; /* may need #ifdefing later */
            pDirEntry->enmType = rtDirType(pDir->Data.d_type);
            pDirEntry->cbName  = (uint16_t)cchName;

// VirtualBox-4.3.28/src/VBox/Runtime/r3/win/direnum-win.cpp
RTDECL(int) RTDirRead(PRTDIR pDir, PRTDIRENTRY pDirEntry, size_t *pcbDirEntry)
...
    pDir->fDataUnread  = false;
    pDirEntry->INodeId = 0; /** @todo we can use the fileid here if we must (see GetFileInformationByHandle). */
    pDirEntry->enmType = pDir->Data.dwFileAttributes & FILE_ATTRIBUTE_DIRECTORY
                       ? RTDIRENTRYTYPE_DIRECTORY : RTDIRENTRYTYPE_FILE;
    pDirEntry->cbName  = (uint16_t)cchName;

% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 55.75    0.090346          90      1005         6 open
 37.71    0.061110          62       993           openat
  4.58    0.007425           0     34145           write
  0.97    0.001571           2       993           newfstatat   <- ここ
  0.66    0.001071           1       998           fstat
  0.20    0.000326           0      1989           fchdir
  0.12    0.000194           0      2013           getdents
  0.00    0.000000           0         4           read
  (省略)