　直線 $AB$ と直線 $CD$ との交点を $E$ ，直線 $AD$ と直線 $BC$ との交点を $F$ とする．$\cos{\angle{BCD}}=\dfrac{3}{5}$ より,  $CE=5x,CF=5y$ とおけば，
$$BC=3x,\quad BE=4x,\quad CD=3y,\quad DF=4y$$
となる．次に三角形 $ABF$ と三角形 $ADE$ は相似であり，条件から相似比は $9:7$．よって，
$$BF:DE=5y-3x:5x-3y=9:7$$
であるから，これを解くことで $33x=31y$ が分かる．したがって，以下を得る．
$$AB={\dfrac{3}{4}}{BF}={\dfrac{3}{4}}{(5y-3x)}=\dfrac{54x}{31}$$
同様に
$$AD={\dfrac{3}{4}}{DE}={\dfrac{3}{4}}{(5x-3y)}=\dfrac{42x}{31},\quad CD=3y=\dfrac{99x}{31}$$
である．したがって，四角形 $ABCD$ の面積について以下の式が成り立つ．
$${\dfrac{1}{2}}\times{\dfrac{54x}{31}}\times3x+{\dfrac{1}{2}}\times{\dfrac{42x}{31}}\times{\dfrac{99x}{31}}=4590$$
これを解くと，$x=31$ を得るから，$AB=\dfrac{54x}{31}=54, ~ BC=3x=93$ とわかり，三角形 $ABC$ において三平方の定理より求める答えは $$AC^{2}=AB^{2}+BC^{2}=\mathbf{11565}$$ である．
公式解説
https://onlinemathcontest.com/contests/omcb016/editorial/6453
　面積が $4590$ である四角形 $ABCD$ は
$$\angle ABC = \angle ADC = 90^\circ,\quad AB:AD = 9:7,\quad \cos\angle BCD = \frac{3}{5}$$ 
を満たします．このとき，線分 $AC$ の長さの二乗を求めてください．