　方べきの定理より $FB\times{FA}=FC\times{FD}$ であるから $FD=16$ である．従って，Menelausの定理より
$$\frac{CE}{EA} = \frac{BF\times DC}{AB\times FD} = \frac{13}{32},\quad \frac{DE}{EB} = \frac{AF\times CD}{BA\times FC} = \frac{13}{2}$$
である．また，方べきの定理より $CE\times EA = DE\times EB$ であるので，三式を合わせることで
$$AE : BE : CE : DE = 32 : 8 : 13 : 52$$
を得る．$AE = 32x$ などと置けば，Ptolemyの定理より
$$45x\times60x = 8\times 13 + 52$$
であるから $AE^2 = 1024x^2 = \dfrac{13312}{225}$ を得る．特に解答すべき値は $\mathbf{13537}$ である.
公式解説
https://onlinemathcontest.com/contests/omc187/editorial/4182
　解説の最後について，Ptoremyの定理を使わない方法を紹介します．\
三角形 $BCF$ と $DAF$ は相似なので，$BC = y , AD = 4y$ とおけ，$y = \sqrt{13}$ がわかります．ここで，三角形 $BCF$ で余弦定理より，$\angle{BFC} = 60^{\circ}$ なので，あとは三角形 $AFC$ で余弦定理を使って $AC$ が求められるので省略します．
トレミーの定理を知らない場合
https://onlinemathcontest.com/contests/omc187/editorial/4182/333
　円に内接する四角形 $ABCD$ の対角線の交点を $E$ とします．半直線 $AB$ と半直線 $DC$ の交点が存在したのでそれを $F$ とすると，
$$AB=8, \quad BF=4, \quad  CF=3, \quad AD\times{BC}=52$$
が成立しました．このとき，線分 $AE$ の長さの $2$ 乗は，互いに素な正整数 $a, b$ によって $\dfrac{a}{b}$ と表されるので，$a+b$ の値を求めてください．