　$X=x-3,Y=y-7$ と置換すれば，求めるものは $X^2+Y^2+(z-6)^2=8$ の下での $(XY-21)^2$ の最小値で，$z$ を無視すれば束縛条件が $X^2+Y^2\leq 8$ であるとしてよい．ここで，$XY$ 平面上の領域 $X^2+Y^2\leq 8$ と曲線 $XY=a$ の関係を考えることで，$XY$ のとり得る範囲は $-4$ 以上 $4$ 以下であることがわかり，求める最小値は $(4 - 21)^2=\textbf{289}$ である．
公式解説
https://onlinemathcontest.com/contests/omc149/editorial/1880
　実数 $x,y,z$ が
$$x^2+y^2+z^2-6x-14y-12z+86=0$$
をみたすとき，$(xy-7x-3y)^2$ のとりうる最小値を求めてください．