　平面 $OABP$ を取り出して考察する．$AX$ の中点を $M$，$BY$ の中点を $N$ とする．$PM=NO=x$ とおく． $\tan{\angle{YPO}}=1\/3$ より，$MO=PN=3x$ となり，三平方の定理から $OA^2=9x^2+(40+x)^2,OB^2=x^2+(30+3x)^2$ となり，どちらも半径であるから両者は一致する．これを解くと，$x=7$ となる．これにより，

$$XM=AM=40+7=47,\quad YN=BN = 30+21=51$$
となり，
$$XP = XM+MP=54,\quad YP=YN+NP=51+21=72$$ 
となる．$CZ$ と $AX$ は $P$ で交わるため，四点は同一平面上にあり，その平面において四点は同一円周上にあるため， $AP\times PX = 40 \times 54 = 2160$ と $CP=PZ$ から，方べきの定理により
$$CP=\sqrt{CP\times PZ} = \sqrt{AP\times PX} = 12\sqrt{15}$$
となる．ここで，直線 $OP$ と $XY$ は交わるので，その交点を $T$ とおき，$P$ から直線 $XY$ に下ろした垂線の足を $H$ とおく．このとき，
$$PH = PX\sin\angle PXY = \frac{216}{5},\quad \sin \angle HPT = \sin(\angle YPH - \angle YPO) = \dfrac{13}{5\sqrt{10}}$$
であるから，
$$TP=\frac{216\sqrt{10}}{13}$$
となる．よって，$TP \perp CZ$ なので，三平方の定理から，
$$TZ =TC = \sqrt{TP^2 + CP^2}=\sqrt{\left(\frac{216\sqrt{10}}{13}\right)^2 + (12\sqrt{15})^2} = \frac{60\sqrt{231}}{13}$$
となる．三角形 $XYZ$ の面積は $ \dfrac{1}{2}|XY \times TZ \times \sin{\angle{ZTY}}|$ とかけて，$XY = 90$ かつ $TZ = \dfrac{60\sqrt{231}}{13}$ であるから，$\sin{\angle{ZTY}}$ の最大値をもとめればよい．
$X,Y$ を固定して，$Z$ の動く範囲を調べると，$P$ を通り直線 $OP$ に垂直な平面と，$T$ を通り直線 $XY$ に垂直な平面が球の内部で交わることが確かめられることより，$TZ \perp XY$ となる位置が存在するので，
$$\frac{60\sqrt{231}}{13} \times 90 \times \frac{1}{2} = \frac{2700\sqrt{231}}{13}$$
となる．特に答える値は $2700+231+13 = \mathbf{2944}$ である．
公式解説
https://onlinemathcontest.com/contests/omc237/editorial/9858
　中心を $O$ とする球 $\Gamma$ の球面上に $3$ 点 $A,B,C$ を取り，$\Gamma$ の内部かつ面 $ABO$ 上の直線 $BO$ に関して $A$ と同じ側に点 $P$ を取ると，次をみたしました．
$$AP=40, \quad BP=30, \quad AB=50$$
さらに，直線 $AP$ と $\Gamma$ の球面の交点のうち $A$ でない方を $X$，直線 $BP$ と $\Gamma$ の球面の交点のうち $B$ でない方を $Y$，直線 $CP$ と $\Gamma$ の球面の交点のうち $C$ でない方を $Z$ とおくと，次が成り立ちました．
$$
\tan{\angle{YPO}} = \frac{1}{3}, \quad CP=PZ
$$
このとき，三角形 $XYZ$ の面積の最大値は，互いに素な正整数 $a,b$ と平方因子を持たない正整数 $c$ を用いて，$\dfrac{a\sqrt{c}}{b}$ と表されるので，$a+b+c$ を答えてください．