　円周角の定理より $ABCD$ は円に内接するから, $DP=x$ とおけば方べきの定理より $BP=24\/x$ である. ここで角の二等分線より $AB=BC$ および $AD:CD=AP:PC=3:8$ であるから, Ptolemyの定理より
$$80\times\left(1+\dfrac{3}{8}\right)=AB\times CD+AD\times BC=AC\times BD=11\times\left(x+\dfrac{24}{x}\right)$$
これを解いて $x=4,6$ を得る. 例えば $x=4$ のとき, $AB:CD=3:4$ より $AB=2\sqrt{15}$ であり, 同様に $x=6$ のとき $AB=2\sqrt{10}$ であるから, 解答すべき値は $60+40=\textbf{100}$ である.
公式解説
https://onlinemathcontest.com/contests/omc084/editorial/1932
　凸四角形 $ABCD$ において, 対角線の交点を $P$ とすれば, 以下の条件が成立しました：
$$\angle ADB=\angle BAC=\angle ACB,\quad AB\times CD=80,\quad AP=3,\quad PC=8$$
このとき, $AB^2$ としてあり得る値の総和を求めてください.