　三角形 $ADP, BCP$ の面積をそれぞれ $a,b$ とし, 四角形 $ABCD$ の面積を $x$ とする. $a+b=5$ である.\
　$BC$ に関して $P$ と同じ側に, $BCE$ が正三角形となるような点 $E$ をとれば, 三角形 $BAE,BPC,EDC$ はすべて合同である. さらに $AE=PC=PD$ などより $AEDP$ は平行四辺形であるから, 特に三角形 $AED$ と$DPA$ は合同である. 以上より, $BCE$ の面積が $9\sqrt{3}$ であることに留意すれば, 五角形 $ABCDE$ の面積を $2$ 通りに表すことで $9\sqrt{3}+2b=x+a$ を得る. 同様にして $4\sqrt{3}+2a=x+b$ であるから, これらを辺々足し合わせて $a+b=5$ を用いれば $x=(5+13\sqrt{3})\/2$ を得る. 特に解答すべき値は $5+507+2=\textbf{514}$ である.
公式解説
https://onlinemathcontest.com/contests/omc116/editorial/1396
$\angle\mathrm{APD}=\theta$ と置く。$\angle\mathrm{BPC}=240^\circ-\theta$  である。また，$\mathrm{AP}=\mathrm{BP}=x$，$\mathrm{CP}=\mathrm{DP}=y$ と置く。求めたいものは $\triangle \mathrm{ABP}+\triangle \mathrm{CDP}+5=\dfrac{\sqrt{3}}{4}(x^2+y^2)+5$ であり，$x^2+y^2$ の値が求まれば良い。\
  面積の条件より，$xy \\{ \sin \theta+\sin(240^\circ-\theta)\\}=10$を得る。\
  また余弦定理より $x^2+y^2-2xy \cos \theta =16$，$x^2+y^2-2xy \cos (240^\circ-\theta) =36$，引き算することで次を得る：\
  $xy\\{\cos\theta-\cos(240^\circ-\theta)\\}=10$\
  加法定理を用いて $\sin(240^\circ-\theta)$，$\cos(240^\circ-\theta)$ を $\sin\theta$，$\cos\theta$ で表して連立方程式を解けば，$xy\cos\theta=\dfrac{15-5\sqrt{3}}{3}$を得る。\
  よって，$x^2+y^2=16+2xy \cos \theta=\dfrac{78-10\sqrt{3}}{3}$\
  これより $\dfrac{\sqrt{3}}{4}(x^2+y^2)+5=\dfrac{5+13\sqrt{3}}{2}$ を得る。
ユーザー解説
https://onlinemathcontest.com/contests/omc116/editorial/1396/124
$AB=a,CD=b$ とおくと求めたい値は $5+\dfrac{\sqrt{3}}{4}(a^2+b^2)$ である．\
三角形 $ADP$ を点 $P$ を中心に回転させて点 $D$ を点 $C$ に重ねると,移動後は $AB=\sqrt{3}a$ なので余弦定理より
$$\cos\angle BCA=\frac{52-3a^2}{48}$$
一方で三角形 $ABC$ の面積について
$$\frac{1}{2}\cdot4\cdot6\sin\angle BCA=5+\frac{\sqrt{3}}{4}a^2\Longleftrightarrow\sin\angle BCA=\frac{20+\sqrt{3}a^2}{48}$$
2式より $\cos\angle BCA,\sin\angle BCA$ を消去して整理すると次の式を得る．
$$3a^4+(10\sqrt{3}-78)a^2+200=0$$
三角形 $ADP$ を点 $P$ を中心に回転させて点 $A$ を点 $B$ に重ねて,同様の議論をすることで次の式が得られる．
$$3b^4+(10\sqrt{3}-78)b^2+200=0$$
したがって $a^2,b^2$ は二次方程式 $3x^2+(10\sqrt{3}-78)x+200=0$ の2解なので解と係数の関係より $a^2+b^2=\dfrac{78-10\sqrt{3}}{3}$\
以上より $5+\dfrac{\sqrt{3}}{4}(a^2+b^2)=\dfrac{5+13\sqrt{3}}{2}$ を得る．

※ $a\rightarrow\dfrac{2}{\sqrt{3}}a$ などとしておくと計算が軽くなるかもしれません．
ユーザー解説
https://onlinemathcontest.com/contests/omc116/editorial/1396/125
　$AD=4,BC=6$ なる凸四角形 $ABCD$ において，内部に点 $P$ をとると，$ABP$ および $CDP$ はともに正三角形になり，三角形 $ADP$ と三角形 $BCP$ の面積の和は $5$ でした．このとき，四角形 $ABCD$ の面積は最大公約数が $1$ である正整数 $a,b,c$ によって $\dfrac{a+\sqrt{b}}{c}$ と表されるので，$a+b+c$ を解答してください．