　三角形 $APQ$ は二等辺三角形なので，$\angle BAP=\angle AQB$ である．よって，三角形 $ABP$ と $QBA$ は相似であるので，
$$BP:6=6:(BP+PQ)=6:(BP+5)$$
が成り立つ．これを解けば $BP=4$ がわかるので，三角形 $ABP$ に対する余弦定理より $\cos\angle{B}=\dfrac{9}{16},\tan\angle{B}=\dfrac{5\sqrt7}{9}$ が分かる．求める値は
$$\Big(6\times 6\tan\angle{B} \times \frac{1}{2}\Big)^2=\mathbf{700}$$ 
である．
公式解説
https://onlinemathcontest.com/contests/omc222/editorial/4772
　$AB=6,\angle{A}=90^{\circ}$ の直角三角形 $ABC$ の辺 $BC$ 上に $2$ 点 $P,Q$ を $B,P,Q,C$ の順に並ぶように取ると，$$AP=PQ=5,\quad \angle{BAP}=\angle{PAQ}$$ が成り立ちました．三角形 $ABC$ の面積の二乗を求めてください．