　平面上に点 $F$ をとり，次をみたす点 $A,B,C$ をとる．
$$AF=x,\quad BF=y,\quad CF=z,\quad \angle AFB=\angle BFC=\angle CFA=120^{\circ}$$
このとき $\triangle ABC$ の面積 $S$ は
$$S=\frac{\sqrt{3}}{4}(xy+yz+zx).$$
一方で余弦定理より $AB=5,BC=7,CA=8$ であるから，Heronの公式より $S=10\sqrt{3}$ である．\
　従って $xy+yz+zx=40$ がわかり，与式と合わせれば $x^2+y^2+z^2=\bm{49}$ を得る．
公式解説
https://onlinemathcontest.com/contests/omce001/editorial/173
　以下，点の定義は本解説に従うものとします．  
　解説における点 $F$ は三角形 $ABC$ の **Fermat点** です．この点は, 三角形の $3$ 頂点からの距離の和が最小となる点として知られており，特にこの問題において，三角形 $ABC$ の $3$ 頂点からの距離の和の最小値は $x+y+z$ となります．この値がわかれば，与式とあわせ自然と $x^2+y^2+z^2$ の値が求まるので，この値を求めることを目標とします.  
　さて，ここで「三角形 $ABC$ の $3$ 頂点から距離の和が最小となるような点 $P$ が，$\angle{APB}= \angle{BPC}= \angle{CPA}=120^{\circ} $ をみたす」という性質の証明方法を確認しましょう．以下によく知られた証明を与えます. 

---
　点 $P$ を平面上にある点として, 点 $Q,R$ を，それぞれ点 $P,A$ を反時計回りに $60^{\circ}$ だけ回転させた点とする．このとき，三角形 $PAQ, CAR$ はどちらも正三角形であり，三角形 $APC$ と 三角形 $AQR$ の合同も容易にわかるので，$$BP+AP+CP=BP+PQ+QR\geq{BR}$$ となり，等号成立は $4$ 点 $B,P,Q,R$ が同一直線上にあることだから，$\angle{APB}= \angle{BPC}= \angle{CPA}=120^{\circ} $ となる.  （証明終わり）

--- 
　問題に戻ります．上の証明にならって，点 $C$ を反時計回りに $60^{\circ}$ だけ回転させた点を 点 $R$ とすれば，$x+y+z=BR$ が従います. 余弦定理より $\angle{BAC}=60^{\circ}$ がわかるので，$\angle{BAR}=120^{\circ}$ であり，余弦定理を使うことで $x+y+z=BR=\sqrt{129}$ を得ることができました．  

---
　ところで，この問題では $\angle{BAC}=60^{\circ}$ でした. よって，容易な角度計算で $BAP$ と三角形 $ACP$ の相似がわかり，おまけに相似比までわかってしまいます．そのことを使えば $x:y:z$ がわかるので，$x,y,z$ の値がすぐに出ます. ここから答えを導く方法もあります.
ユーザー解説
https://onlinemathcontest.com/contests/omce001/editorial/173/194
　正の実数 $x, y, z$ が以下の等式をみたすとき, $x^2+y^2+z^2$ を求めてください.
$$\begin{cases}x^2+xy+y^2=25 \\\\ y^2+yz+z^2=49 \\\\ z^2+zx+x^2=64\end{cases}$$ 

　**こちらの問題の提供者を探しています．心当たりのある方はご連絡ください．**