　三角形 $ABC$ の外接円上に $$ 点 $B, D, E, C$ がこの順に並ぶとしてよい．諸々の長さを
$$ BC= a, ~~ AD = d, ~~ AE = e, ~~ BD=DE=EC = x, ~~ BE = DC = y $$
とおく．四角形 $ABDC, ~ ABEC$ に対するトレミーの定理より，
$$ 13x + 5y = ad, \quad 5x + 13y = ae $$
を得るので，
$$ x = \frac{13d - 5e}{144} a, \quad y = \frac{13e - 5d}{144} a $$
を得る．また四角形 $ABDE$ に対するトレミーの定理より $(e+5)x = dy$ を得るので，これらを整理して $ d^2 + 13d = e^2 + 5e $であり，これは次のように変形できる．
$$\begin{aligned}
&d^2 + 13d = e^2 + 5e\\\\
\iff&\bigg(d+\frac{13}{2}\bigg)^2-\frac{169}{4}=\bigg(e+\frac{5}{2}\bigg)^2-\frac{25}{4}\\\\
\iff&(d+e+9)(d-e+4) = 36
\end{aligned}$$
ここで，$d, e$ は正整数なので $(d,e) = (1,2), (12,15)$ しかないが，三角不等式による
$$ a = BC \leq BD + DC \leq BD + DE + EC = 3x $$
を満たすのは $(d,e) = (12,15)$ のみである．このとき $x = \dfrac{9}{16}a, ~ y = \dfrac{15}{16}a$ なので，三角形 $BDC$ における余弦定理より $\cos \angle BDC = \dfrac{5}{27}$ を得る．したがって，三角形 $ABC$ における余弦定理より
$$ BC^2 = 5^2 + 13^2 + 2 \cdot 5 \cdot 13 \cdot \frac{5}{27} = \frac{5888}{27} $$
がわかる．解答すべき値は $\mathbf{5915}$ である．
公式解説
https://onlinemathcontest.com/contests/OMC233/editorial/10613
　公式解説より面倒な方針ですが，三角比を持ち出せばこのようになるかもしれません．

---

　公式解説と同様，三角形 $ABC$ の 外接円上に点 $B,D,E,C$ がこの順に並ぶとする．三角形 $ABC$ の 外接円の半径を $R$とし，$ \angle BAC =3 \theta$ とおく．当然 $\theta \lt 60^{\circ}$ である．

　**Step.1**　$AD,AE$ を $\theta$ で表す\
　円周角の定理と正弦定理から
$$BD=DE=EC=2R \sin \theta, BE=DC=2R \sin 2 \theta, BC=2R \sin 3 \theta$$
である．四角形 $ABDC$，四角形 $ADEC$ にそれぞれトレミーの定理を用いて整理すると
$$AD=\dfrac{10\cos\theta+13}{4 \cos ^2 \theta -1 }, AE=\dfrac{26\cos\theta+5}{4 \cos ^2 \theta -1 }$$
となる．これらがともに自然数となるような $\cos \theta$ を求めればよい．

　**Step.2**　$\cos \theta$ を求める\
　$13AE-5AD=\dfrac{288 \cos \theta}{4 \cos ^2 \theta -1 }$，$13AD-5AE=\dfrac{144}{4 \cos ^2 \theta -1 }$ がともに整数なので，$\cos \theta$ は有理数である．$\cos \theta =\dfrac{q}{p}$（$p,q$ は互いに素）とおく．\
$$\begin{aligned}
AD=\dfrac{p(13p+10q)}{(2q+p)(2q-p)} \in \mathbb{N} &\Rightarrow \dfrac{p(13p+10q)}{2q+p} \in \mathbb{N}\\\\
&\Rightarrow \dfrac{8p^2}{2q+p} \in \mathbb{N}
\end{aligned}$$
　ここで，$\gcd (2q+p,p)=\gcd(2q,p) \leq 2$ である．$p$ が奇数だと仮定すると，$2q+p$ は $8$ とも $p$ とも互いに素なので条件を満たさない．よって $p$ は偶数であり $\dfrac{32}{2q+p} \in \mathbb{N}$ が従う．\
　$\theta \lt 60^{\circ}$ だったので，$\cos \theta =\dfrac{q}{p} \gt \dfrac{1}{2}$．これより $2q \gt p$ である．$p$ は偶数だったので $p \geq 4$，従って $q \geq 3$．よって $2q+p \geq 10$ だが，$2q+p$ は $32$ の約数だったので $2q+p=16$ を得る．あとは適当な計算によって $\cos \theta =\dfrac{5}{6}$ を得る．

　$\cos \theta$ さえ求まれば $\cos 3\theta$ もすぐに求まるので，余弦定理を用いれば $BC^2$ が求まる．
三角比
https://onlinemathcontest.com/contests/OMC233/editorial/10613/687
　$AB = 5, AC = 13$ をみたす三角形 $ABC$ において，$\angle BAC$ の三等分線と三角形 $ABC$ の外接円の交点のうち $A$ でない方を $D, E$ とすると，$AD, AE$ の長さは共に正整数となりました．このとき $BC^2$ としてあり得る値の総和は互いに素な正整数 $a, b$ によって $\dfrac{a}{b}$ と表されるので，$a+b$ の値を解答してください.