　対角線の交点を $E$ とすれば, $BCE$ と $CDE$ は相似な直角三角形である. したがって, $BE=x,DE=y$ とおけば $CE=\sqrt{xy},AE=x+y-\sqrt{xy}$ であるから, 三角形 $ADE$ において三平方の定理より
$$(x+y-\sqtt{xy})^2+y^2=(x+y)^2$$
これを整理して $y=4x$ を得る. 一方で三角形 $ABE$ に着目すれば, $AP=5x\/3$ が容易にわかるから. $x=6$ である. 以上より, 求める面積は $AC\times BD\/2=\textbf{450}$ である.
公式解説
https://onlinemathcontest.com/contests/omc040/editorial/246
　$AC=AD=BD$ なる凸四角形 $ABCD$ において, 角 $C$ は直角であり, $2$ 本の対角線は直角で交わります. 線分 $AC$ 上の点 $P$ が $AP=BP=10$ をみたすとき, $ABCD$ の面積を求めてください.