<button>タグのようにテキストをタグの中に入れるタイプの場合、HtmlContainerControl.InnerTextでテキストをセットする。
HtmlContainerControl.InnerText プロパティ (System.Web.UI.HtmlControls) | Microsoft Docs
Default.aspxで、
<button>タグの中に"Button1"と入れると、

このようになる。
Default.aspx.csで、
こうすると、Load時は、

こうなる。
さらに、この"Loaded!"ボタンをクリックすると、

"Clicked!"に変わる。