DialogFragment.dismissで、ダイアログを非表示にする。
DialogFragment | Android Developers
CustomAsyncTask.javaを追加し、
コンストラクタでCustomDialogFragmentオブジェクトcdfを受け取って、10秒経ったら、cdf.dismissを呼んでダイアログを非表示。
CustomDialogFragment.javaは、
CustomDialogFragment上のButton1を押すと、非同期処理が始まって、あとは先程の処理が行われる。

起動時。
Button1押して、

ダイアログが出るのでここでもButton1を押す。
で10秒経つと、

このようにダイアログが非表示になる。
Sample/android/DialogFragment/dismiss/src/DialogFragment at master · bg1bgst333/Sample · GitHub