　三角形 $ABC$ の九点円を $\Gamma$ とすれば，$\Omega$ は $H$ を中心に $\Gamma$ を $2$ 倍に拡大したものであるから，$\Gamma$ は $AH$ の中点 $P$ および $XH$ の中点 $N$ を通る．$XH$ と $\Gamma$ の交点を $Y(\neq N)$ とすると，$PH=NH$ より $YH=DH$ が成立する．よって $AD=XY$ であり，$B$ から $AC$ におろした垂線の足を $E$ とすれば，
$$XD\times XM=XN\times XY=AP\times AD=AE\times AM$$
ここで $DM=12$ が成立するから，上式より $AE=9$ を得る．また，$XM$ と $\Omega$ の交点を $Z(\neq X)$ とすれば，
$$AM\times MC=XM\times MZ$$
から $MZ=8$ を得る．$AD$ と $\Omega$ の交点を $S(\neq A)$ としたとき，有名事実から $DS=DH$ が成立し，
$$AD\times HD=AD\times DS=XD\times DZ=120$$
を得る．一方で $AH\times AD=AE\times AC=216$ より，
$$AD^2=HD\times AD+AH\times AD=336$$
である．よって $CD=4\sqrt{15}, BD=2\sqrt{15},AB=6\sqrt{11}=\sqrt{\textbf{396}}$ と順次計算できる．
公式解説
https://onlinemathcontest.com/contests/omc158/editorial/2553
　三角比を用いる解法である．\
  　$\angle \mathrm{CAD}=\theta$ とおくと，$\mathrm{CD}=24 \sin \theta$，$\mathrm{AD}=24 \cos \theta$ である．\
  　半直線 $\mathrm{DM}$ と円 $\Omega$ の交点を $\mathrm{Z}$ とする．$\mathrm{MD}=12$ であり，点 $\mathrm{M}$ の周りで方べきの定理を用いると，$\mathrm{MZ}=8$ である．\
  　以上のことから，点 $\mathrm{D}$ の周りで方べきの定理を用いて，$\mathrm{BD}=\dfrac{5}{\sin \theta}$ であるとわかる．さらに $\angle \mathrm{DBH}=\theta$ を用いると，$\mathrm{DH}=\dfrac{5}{\cos \theta}$ である．\
  　ここで $\triangle \mathrm{XHD}$ に余弦定理を用いると，\
  　$\mathrm{XH}^2=6^2+\left(\dfrac{5}{\cos \theta}\right)^2-2 \cdot 6 \cdot \left(\dfrac{5}{\cos \theta}\right) \cos(180^ \circ - \theta)$\
  　一方，$\mathrm{AH}=\mathrm{AD}-\mathrm{HD}=24 \cos \theta -\dfrac{5}{\cos \theta}$ である．\
  　$\mathrm{AH}=\mathrm{XH}$ を用いて方程式を解くと，$\cos \theta=\dfrac{\sqrt{21}}{6}$ を得るので，以下 $\mathrm{AD}$，$\mathrm{BD}$，$\mathrm{AB}$ の順に長さを求めればよい．
ユーザー解説
https://onlinemathcontest.com/contests/omc158/editorial/2553/224
　OMC としては教育的かもしれない解法です．

---

　半直線 $AD, DM$ と $\Omega$ の交点をそれぞれ $E, Y$ とする．$M$ における方べきより $MY=8$ であり，さらに $D$ における方べきより $AD\times AE=120$ を得る．有名事実として $HD=DE$ だから，$AD=x$ とおくと
$$AH=AD-DE =x-\frac{120}{x} \tag{1}$$
を得る．一方で，$X$ から直線 $DH$ に下ろした垂線の足を $Z$ とすれば，相似から $DZ=\dfrac{x}{4}$ であり，三平方の定理より
$$\begin{aligned}
XH^2 &= XD^2 - DZ^2 + HZ^2 \\\\
&= 6^2 - \biggl( \frac x4 \biggr)^2 + \left( \frac{120}{x} + \frac x4 \right)^2 \tag{2}
\end{aligned}$$
が従う．$(1), (2)$ と $AH=XH$ より $x^2=336$ を得る．これより $CD^2=240, BD^2=60$ が順次分かるから，$AB^2=AD^2+BD^2=\textbf{396}$ である．
ユーザー解説
https://onlinemathcontest.com/contests/omc158/editorial/2553/227
　外接円を $\Omega$，垂心を $H$ とする鋭角三角形 $ABC$ において，$A$ から $BC$ におろした垂線の足を $D$，$AC$ の中点を $M$ とし，半直線 $MD$ と $\Omega$ の交点を $X$ とするとき，$AH=XH$ が成立しました．\
　$AC=24,XD=6$ のとき，$AB$ の長さの $2$ 乗を求めてください．