　$\cos\angle A$ を最小化すればよい. $AC=6BC$ に留意すれば, 余弦定理より
$$\cos\angle A=\dfrac{35BC^2+1}{12BC}=\dfrac{35}{12}BC+\dfrac{1}{12BC}\geq \dfrac{\sqrt{35}}{6}$$
ただし最後で相加・相乗平均の関係を用いた. 等号は $BC=\sqrt{\dfrac{1}{35}}$ で成立するから, 解答すべき値は $\textbf{36}$ である.\
　なお, $A,B$ を固定したとき $C$ は (アポロニウスの) 円周上を動くから, これに $A$ から引いた接線との接点として $C$ をとったときが所望の構図を実現することに留意しても解くことができる.
公式解説
https://onlinemathcontest.com/contests/omc107/editorial/1719
　幾何的な解法も書いておきます.

$A(0,0), B(1,0)$ とおくと, $C$ の通過領域は $(\dfrac{6}{7},0)$ と $(\dfrac{6}{5},0)$ を結んだ線分を直径とする円になるため, $D(\dfrac{36}{35},0)$ と定義すると $C$ の通過領域は $D$ を中心とする半径 $\dfrac{6}{35}$ の円である.

ここで, 問題文で与えられた条件を満たすのは $\angle ACD=90^\circ$ のときであり, これは $AD:DC=\dfrac{36}{35}:\dfrac{6}{35}=6:1$ より$AD:DC:CA=6:1:\sqrt{35}$ と同値である.

以上より問題文で与えられた条件を満たすとき, $BC=AD*\dfrac{AC}{AD}*\dfrac{BC}{AC}=\dfrac{36}{35}*\dfrac{\sqrt{35}}{6}*\dfrac{1}{6}=\sqrt{\dfrac{1}{35}}$
ユーザー解説
https://onlinemathcontest.com/contests/omc107/editorial/1719/103
　正弦定理より $\sin \angle B = 6\sin \angle A$ だから $\sin \angle A \leq \dfrac 16$ である．$\angle A$ は鋭角であるから，$\sin \angle A =  \dfrac 16$ すなわち $\angle B$ が直角の時に $\angle A$ は最大となり，このとき $BC$ の長さは $\sqrt{\dfrac{1}{35}}$ と計算できる．特に解答すべき値は $\textbf{36}$ である．
ユーザー解説
https://onlinemathcontest.com/contests/omc107/editorial/1719/104
　$AB=1$ および $AC:BC=6:1$ なる三角形 $ABC$ であって, $\angle A$ の大きさが最大であるものについて, $BC$ の長さは互いに素な正整数 $x,y$ によって $\sqrt{\dfrac{x}{y}}$ と表せます. $x+y$ を解答してください.