　$c=p+q,d=pq$ なる複素数 $p, q$ をとると，与えられた $4$ 式は
$$\left\\{
\begin{aligned} 
a+b+p+q&=4 \\\\ 
abp+abq+apq+bpq&=-160 \\\\ 
ab+ap+aq+bp+bq+pq&=-36 \\\\ 
abpq&= k
\end{aligned}
\right.$$
となるから，$a,b,p,q$ は以下の $4$ 次方程式の $4$ 解である．
$$x^4-4x^3-36x^2+160x+k=0$$
ある虚数がある実数係数多項式の根であるときその共役も同じ多項式の根であることに注意すれば，条件はこれが実数解を重複込みで少なくとも $2$ つもつことと同値である．\
　ここで，$x^4-4x^3-36x^2+160x$ について，その導関数が
$$4(x+4)(x-2)(x-5)$$
であることに注意すれば，$x=-4$ で最小値 $-704$ をとることがわかる．よって，求める最大値は $\bf 704$ である．
公式解説
https://onlinemathcontest.com/contests/omc120/editorial/3526
解答と微妙に違う方針です。発想方法についてもできるだけ明文化します。\
$a+b+c=4 \cdots ①$\
$abc+ad+bd=-160 \cdots ②$\
$ab+ac+bc+d=-36 \cdots ③$\
$abd=k \cdots ④$\
上の $3$ つの式を見ると，$a,b,c$ の $3$ 変数については対象式がしっかり揃っており，下の $3$ つの式を見ると，何となく $d$ で括ると気分が良さそうな雰囲気が漂っています。\
そこで，まずは $(x+a)(x+b)(x+c)$ のような形を作ってみてはどうかと考えましょう。\
$②+③×x+①×x^2+x^3$ を作ってみると，左辺が次の式になります。\
$(x+a)(x+b)(x+c)+(a+b)d+dx$\
ここまでくると，さらに全体を $x$ 倍して④を加えると，$(x+a)(x+b)$ で括れていい感じになりそうです。\
ということで，$②×x+③×x^2+①×x^3+④$ をしましょう。\
$(x+a)(x+b)(x^2+cx+d)=x^4+4x^3-36x^2-160x+k$ となります。\
$a,b,c,d$ が実数となる必要十分条件は，右辺が二つの実数解を持つことです。あとは，微積分の知識を用いて頑張って最小値を計算しましょう。
ユーザー解説
https://onlinemathcontest.com/contests/omc120/editorial/3526/133
　以下の等式をすべてみたす**実数**の組 $(a, b, c, d)$ が存在するような，最大の整数 $k$ を求めてください．
$$\left\\{
\begin{aligned} 
a+b+c&=4 \\\\ 
abc+ad+bd&=-160\\\\ 
ab+ac+bc+d&=-36 \\\\ 
abd&= k
\end{aligned}
\right.$$