　直線 $AD$ と三角形 $ABC$ の外接円の交点のうち $A$ でない方を $P$ とする．円周角の定理より，$\angle{BAP}=\angle{BCP}$ であり，$\angle{BAD}=\angle{CDE}$ と併せて $\angle{BCP}=\angle{CDE}$ を得る．よって，錯角が等しいから直線 $DE$ と $PC$ は平行である．\
　よって，$\angle{ADE}=\angle{APC},\angle{AED}=\angle{ACP}$ より三角形 $ADE$ と $APC$ は相似である．すなわち $AC:AE=PC:DE$ であり，仮定より $AB:DE=AC:AE$ であるので，$PC:DE=AB:DE$ である．よって， $PC=AB$ である．したがって，円周角の定理より，
$$\angle{CAD}=\angle{CAP}=\angle{ACB}=\angle{ACD}$$
であり，仮定より $CD=8$ であるから $AD=CD=8$ である．また，$BD = 12 - AD = 4$ である．\
　ここで，$\angle ACB = \angle EAD$ であり，さらに
$$\angle BAC = \angle BAD + \angle DAC = \angle CDE + \angle ACB = \angle DEA$$
であるから，三角形 $ABC$ と $EDA$ は相似である．また，$BC = 12, AD = 8$ であるから，この相似比は $3 : 2$ である．よって，
$$3 : 2 = AC : EA = AC : (AC - 2)$$
が成立するので，$AC = 6$ である．従って，余弦定理より
$$\cos \angle ADC = \frac{AD^2 + DC^2 - AC^2}{2\times AD\times DC} = \frac{23}{32}$$
であるので，再び余弦定理より
$$AB^2 = AD^2 + BD^2 + 2 AD\times BD\cos \angle ADC = \bf{126}$$
を得る．
公式解説
https://onlinemathcontest.com/contests/omc208/editorial/7778
　線分 $AB$ 上に $DE=AF$ となるように点 $F$ をとる．\
　このとき，条件 $AB:DE=AC:AE$ より，$AB:AF=AC:AE$ であり，$FE$ と $BC$ は平行である．従って $\angle BAD= \angle CDE= \angle DEF$ であり，円周角の定理の逆より， $4$ 点 $A, E, D, F$ は同一円周上に存在する．\
　このとき，$DE=AF$ であったので，四角形 $AEDF$ は等脚台形．このことから，以下のように，様々な辺の長さがわかる．\
　①　$AC$ と $FD$ は平行であり，四角形 $CDFE$ は平行四辺形．特に，$DF=2$，$EF=8$．\
　②　等脚台形の対角線は等しいので，$AD=EF=8$，さらに条件 $AD+BD=12$ より，$BD=4$．\
　③　$AC \parallel DF$ より三角形の相似を活用して，$AC=6$，$AE=4$．\
　あとは，例えばスチュワートの定理 を用いれば，$AB^2=126$ を得る．
円ADEを用いる方法
https://onlinemathcontest.com/contests/omc208/editorial/7778/417
　$AD$ と $EF$ が平行となるように線分 $CD$ 上に点 $F$ を取ると、三角形 $ABD$ と三角形 $DEF$ 、三角形 $CEF$ と三角形 $CAD$ の相似がそれぞれわかるので、
$$AD:DF=AB:DE=AC:AE=DC:DF$$
となり $AD=DC=8$ を得る。(ここからは本解説と同様)
相似のみを用いた解法
https://onlinemathcontest.com/contests/omc208/editorial/7778/419
　三角形 $ABC$ において，辺 $BC$ 上に点 $D$ をとり，辺 $AC$ 上に点 $E$ をとると，
$$AB:DE=AC:AE,\quad \angle{BAD}=\angle{CDE}$$
および，
$$AD+BD=12,\quad CD=8,\quad CE=2$$
を満たしました．このとき，$AB$ の長さの $2$ 乗を求めてください．