　三角形 $ABC$ の外接円を $\omega$ とし，半直線 $FE,EF$ と $\omega$ の交点をそれぞれ $Y,Z$ とする．\
　$A$ を中心とする半径 $\sqrt{AD\times AH}$ の円による反転によって，$\omega$ と直線 $EF$ は互いに移り合うので，$Y,Z$ は不変である．また，$\angle APH = \angle ADP$ より $AP^2 = AD\times AH$ であるので $P$ もこの反転によって変わらない．したがって，$AP = AY = AZ$ である．さらに，三角形 $BCH$ の外接円は三角形 $ABC$ の九点円に移り，$P$ は不変であるから，$P$ は三角形 $ABC$ の九点円上にある．三角形の九点円と外接円の相似の中心は垂心であり，その相似比は $1 : 2$ であるので，半直線 $HD$ と $\omega$ の交点を $T$ とすると，直線 $DP$ と $TX$ は平行であり，$HP = PX = 4$ である．よって，
$$\angle APX = 180^\circ - \angle APH = 180^\circ - \angle ADP = 180^\circ - \angle ATX = \angle AYX$$
を得る．さらに，$AP = AY$ であることを併せれば，三角形 $APX$ と三角形 $AYX$ は合同である．特に，$\angle AXP = \angle AXY$ であるから，直線 $XP$ と $\omega$ の $X$ でない方の交点を $Z^\prime$ とすると，$AZ^\prime = AY = AZ$ が成立する．したがって $Z= Z^\prime$ である．よって，
$$\begin{aligned}
      \angle ZCT
&= \angle ZXT\\\\
&= \angle HPD\\\\
&= \angle DPE - \angle EPH\\\\
&= (180^\circ - \angle DFE) - \angle AGE\\\\
&= \big(180^\circ - (180^\circ - 2\angle ACB)\big) - (\angle BAD + \angle AFE)\\\\
&= 2\angle ACB - (90^\circ - \angle ABC + \angle ACB)\\\\
&= 90^\circ - \angle BAC\\\\
&= \angle ACH
\end{aligned}$$
である．また，$\angle TZC = \angle HAC, TC = HC$ も成立するので，三角形 $AHC$ と $ZTC$ は合同である．特に，$AH = TZ$ である．\
　ここで，三角形 $AHP$ と $APD$ は相似であるから，$AH : AP = AP : AD = 4 : 5$ である．したがって，$AH : AP : DH = 16 : 20 : 9$ である．また，$DH = DT$ や $AH = TZ$ であったことに気をつければ，三角形 $AHX$ と $ZHT$ は相似であるので
$$AX = \frac{HX\times TZ}{HT} = \frac{64}{9}$$
を得る．ここで，$AP = 20x$ とおくと，中線定理より以下が成立する．
$$(16x)^2 + \bigg(\frac{64}{9}\bigg)^2 = 2((20x)^2 + 4^2)$$
したがって，$x^2 = \dfrac{47}{1377}$ を得るから，$AP^2 = 400x^2 = \dfrac{18800}{1377}$ である．特に，解答すべき値は $\bf{20177}$ である．
公式解説
https://onlinemathcontest.com/contests/omc180/editorial/5512
　鋭角三角形 $ABC$ の垂心を $H$ とします．$A, B, C$ から対辺に下ろした垂線の足をそれぞれ $D, E, F$ とし，直線 $AD$ と直線 $EF$ の交点を $G$ とします．三角形 $EGH$ の外接円と三角形 $BCH$ の外接円は $H$ でない点 $P$ で交わり，半直線 $HP$ と三角形 $ABC$ の外接円は $X$ で交わりました．さらに，
$$PX=4,\quad PD=5,\quad \angle APH=\angle ADP$$
が成立するとき，線分 $AP$ の長さの二乗は互いに素な正整数 $a, b$ を用いて $\dfrac{a}{b}$ と表せるので，$a+b$ の値を解答してください．