　$a\lt{b}\lt{c}$ と仮定しても一般性を失わない. このとき, $6$ 数のうち小さい方 $3$ つは $a\/b,b\/c,a\/c$ であるから,
$$\frac{a}{b}+\frac{b}{c}+\frac{a}{c}=\frac{3}{5},\quad \frac{b}{a}+\frac{c}{b}+\frac{c}{a}=39$$
ここで $p=b\/a,\\,q=c\/b$ とおくと, 以下のように書き換えられる.
$$p+q+pq=39,\quad \frac{1}{p}+\frac{1}{q}+\frac{1}{pq}=\frac{3}{5}$$
さらに $p+q=s,\\,pq=t$ とおくと,
$$s+t=39,\quad \frac{s+1}{t}=\frac{3}{5}$$
これを解くと, $s=14,t=25$ となる. よって, 求める値は
$$\biggl(\frac{b}{a}\biggr)^2+\biggl(\frac{c}{b}\biggr)^2+\biggl(\frac{c}{a}\biggr)^2=p^2+q^2+p^2q^2=s^2-2t+t^2=14^2-2\times25+25^2=\textbf{771}$$
公式解説
https://onlinemathcontest.com/contests/omc067/editorial/2287
　相異なる正の実数 $a,b,c$ に対し,
$$\frac{b}{a},\quad \frac{a}{b},\quad \frac{c}{b},\quad \frac{b}{c},\quad \frac{a}{c},\quad \frac{c}{a}$$
を値が小さい方から順に $x_1\leq{x_2}\leq\cdots\leq{x_6}$ とおきます.\
　$x_1+x_2+x_3=\dfrac{3}{5},\\,x_4+x_5+x_6=39$ となったとき、$x_4^2+x_5^2+x_6^2$ の値を求めてください.