　条件は $5(x+y)^2+(2x-y)^2=300$ と言い換えられる．このとき，相加・相乗平均の関係より
$$300=5(x+y)^2+(2x-y)^2\geq 2\sqrt{5}\lvert x+y\rvert\lvert 2x-y\rvert=2\sqrt{5}\lvert 2x^2+xy-y^2 \rvert$$
である（等号は適当な値で成立する）から，解答すべき値は $\mathbf{4500}$ である．
公式解説
https://onlinemathcontest.com/contests/omc132/editorial/4656
　$2x^2+xy-y^2$ が因数分解できるので, 公式解説の方法が最速だと思いますが, 別解を $2$ つ書きます.

---  
**別解** $\bf1$ .$$3x^2+2xy+2y^2=\frac{5}{2}x^2+2\left(y+\frac{1}{2}x\right)^2=100$$  より, $$x=2\sqrt{10}\cos\theta，y=5\sqrt2\sin\theta\-\sqrt{10}\cos\theta$$ とおけるので, これを代入し, 整理すると,  
$$2x^2+xy-y^2=50\cos^2\theta+40\sqrt5\sin\theta\cos\theta-50\sin^2\theta=20\sqrt5\sin2\theta+50\cos2\theta=\sqrt{(20\sqrt5)^2+50^2}\sin(2\theta+\alpha)$$ （ただし, $\alpha$ は適当な値）となるので, $(2x^2+xy-y^2)^2\leq4500$. 等号は $\theta=\dfrac{\pi}{4}-\dfrac{\alpha}{2}$ などで成立するから, 解答すべき値は $\bf{4500}$.  
---  
**別解** $\bf2$.
$$3x^2+2xy+2y^2=a(2x^2+xy-y^2)+(bx+cy)^2$$ （ただし $a,b,c$ は実数）という形で書ければ, $2x^2+xy-y^2$ の最大値, 最小値が求まりそう, という発想でもいけそうです. 具体的には, $$(bx+cy)^2=(3-2a)x^2+(2-a)xy+(a+2)y^2$$ なので, $$(2-a)^2-4(3-2a)(a+2)=0 \iff a=\pm\frac{2\sqrt5}{3}$$ が $a$ の候補であり, それに対応する $b,c$ の存在がすぐにわかる（$3-2a\gt0, a+2\gt0$ ならOK）ので, $$100\geq\frac{2\sqrt5}{3}(2x^2+xy-y^2), 100\geq-\frac{2\sqrt5}{3}(2x^2+xy-y^2) $$ がそれぞれ成り立ち, 等号はそれぞれ適当な $x,y$ で成り立つから, 解答すべき値は $\bf{4500}$．
別解
https://onlinemathcontest.com/contests/omc132/editorial/4656/166
$$f(x, y) = 2x^2+xy-y^2$$
$$g(x, y) = 3x^2+2xy+2y^2-100$$
$$L(x, y, \lambda) = f(x, y) - \lambda g(x, y)$$
とおく ($\lambda$: 実数). $g(x, y)=0$ のもとで $f(x, y)$ が極値をとるのは, 
$$\frac{\partial L}{\partial x}=\frac{\partial L}{\partial y}=\frac{\partial L}{\partial \lambda}=0$$
の解である. 連立して解くことで,
$$(x, y) = \pm\left(\frac{2}{3}\sqrt{45+15\sqrt{5}}, \frac{1}{6}\left(15-7\sqrt{5}\right)\sqrt{9+3\sqrt{5}}\right), \ \pm\left(\frac{2}{3}\sqrt{45-15\sqrt{5}}, -\frac{1}{6}\left(15+7\sqrt{5}\right)\sqrt{9-3\sqrt{5}}\right)$$
を得る. 前者では$f(x, y) = 30\sqrt{5}$, 後者では$f(x, y) = -30\sqrt{5}$ となり, それぞれ $f(x, y)$ の極大値と極小値である. よって, $f(x, y)^2$ の極大値は $\bold{4500}$ であり, これが最大値である.
- $f(x, y)^2$ の極大値が最大値であること (最大値が存在すること) は 定義域 $g(x, y)=0$ がコンパクトで $f(x, y)^2$ が連続であることから示せるが, コンテストのルール上そう決めつけて解いてしまえばよい.
- 本問では連立方程式を解くのがやや繁雑であり, [公式解説](https:\/\/onlinemathcontest.com\/contests\/omc132\/editorial\/4656)のような解き方が理想的である. 一方, Lagrange の未定乗数法は巧みな工夫や発想なく適用できるので, 解法の候補として身に着けておくとよいだろう.
- 類題: [OMC112(C)](https:\/\/onlinemathcontest.com\/contests\/omc112\/tasks\/3393)
Lagrange の未定乗数法
https://onlinemathcontest.com/contests/omc132/editorial/4656/169
$x\/y=a$ とする. このとき，$100\cdot\dfrac{2a^2+a-1}{3a^2+2a+2}$ の $2$ 乗としてありうる最大値を求めればよい.
$$\dfrac{2a^2+a-1}{3a^2+2a+2}=k$$ とすると，$$2a^2+a-1=k(3a^2+2a+2)$$つまり $$(3k-2)a^2+(2k-1)a+(2k+1)=0$$ と変形でき，これが解をもつ条件は $$(2k-1)^2-4(3k-2)(2k+1)\geq 0$$したがって $20k^2\leq 9$ であり，よって求める最大値は，$10000k^2=\textbf{4500}$ である.
ユーザー解説
https://onlinemathcontest.com/contests/omc132/editorial/4656/170
　実数 $x, y$ が $3x^2+2xy+2y^2=100$ を満たすとき，
$$(2x^2+xy-y^2)^2$$
のとり得る最大値を求めてください．