　$A$ から $BC$ におろした垂線の足を $H$, 三角形 $APQ$ の外心を $O^\prime$ とする. 
$$\angle APQ = 90^\circ - \angle BAO = \frac{1}{2}\angle AOB = \angle ACB$$
であり, $\angle BAC = \angle QAP$ は共通であるから, 三角形 $ABC$ と三角形 $AQP$ は相似であると分かる. この相似において $H$ と $O$, $O$ と $O^\prime$ が対応する. 従って, $O^\prime$ は直線 $AH$ 上にあることが分かり, 三角形 $APQ$ の外接円は $H$ で直線 $BC$ と接することが分かる. よって, 以下を得る. 
$$AH:AO=AO : AO^\prime = AO:\frac{1}{2}AH \implies AH=\sqrt{2} AO$$
　ここで, 三角形 $ABC$ の面積に着目すると,
$$\frac{1}{2}\times AB\times AC\times \sin{A} = \frac{1}{2}\times AH\times BC$$
であり, 正弦定理と上の式より
$$\frac{1}{2}\times AB\times AC\times \frac{BC}{2AO} = \frac{1}{2}\times \sqrt{2} AO\times BC \implies AB\times AC = 2\sqrt{2} AO^2$$
である. 従って, $AC = \sqrt{\dfrac{625}{8}}$ と計算できるので, 特に解答すべき値は $\bf{633}$ である.
公式解説
https://onlinemathcontest.com/contests/omc189/editorial/5017
　三角形 $ABC$ の外心を $O$ とします．$O$ を通り直線 $AO$ に垂直な直線と辺 $AB,AC$ がそれぞれ点 $P,Q$ と交わり，三角形 $APQ$ の外接円は辺 $BC$ に接しました．さらに
$$AB=8,\quad AO=5$$
であるとき，辺 $AC$ の長さは互いに素な正整数 $a,b$ によって $\sqrt{\dfrac{a}{b}}$ と表せるので，$a+b$ を解答してください．