　直線 $AB$ と $\ell$ の交点を $M$ とすれば, 方べきの定理より
$$MP^2=AM\times BM=MQ^2$$
すなわち $M$ は $PQ$ の中点であるから, 中線定理より
$$AP^2+AQ^2=2\left(AM^2+PM^2\right)\implies AM=\sqrt{\frac{5^2+7^2}{2}-3^2}=2\sqrt 7$$
これより, $BM=AM\pm AB$ を上の方べきの式に代入することで $AB=19\/2\sqrt{7}$ を得るから, 特に解答すべき値は $361+28=\textbf{389}$ である.
公式解説
https://onlinemathcontest.com/contests/omc033/editorial/256
　相異なる $2$ 点 $A,B$ で交わる $2$ 円 $C_1,C_2$ が平面上にあります. これらの共通接線の $1$ つを $\ell$ とし, その $C_1,C_2$ との接点をそれぞれ $P,Q$ とするとき, 以下の式が成り立ちました。
$$AP=5,\ \ AQ=7,\ \ PQ=6$$
　このとき, 線分 $AB$ の長さの $2$ 乗を求めてください. ただし, 答えは互いに素な正整数 $a,b$ によって $\dfrac{a}{b}$ と表せるので, $a+b$ を解答してください.