DialogFragment.onCancelに、ダイアログがキャンセルされた時の処理を書く。
DialogFragment | Android Developers
CustomDialogFragment.javaで、
onCreateViewでレイアウトを指定するバージョンに戻してる。
onCancelが呼ばれたら、"onCancel"をToast表示。

起動時。
Button押すと、

以前のTextView1とButton1のレイアウトに戻ってる。
この場合は、ダイアログ外を押すと、キャンセルになる。
キャンセルで、

onCancelが呼ばれたのがわかる。
Sample/android/DialogFragment/onCancel/src/DialogFragment at master · bg1bgst333/Sample · GitHub