　$\theta=\dfrac{\pi}{7}$ とおき，円周の中心を $O$ とする．正弦定理より $\sin\angle ACB=\sin\theta$ であり，$a\gt 1$ より $\angle ACB\lt\dfrac{\pi}{2}$ がわかるため $\angle ACB=\theta$ を得る．また中心角の定理および $BC=CD=DA$ より $$\angle BOC=\angle COD=\angle DOA=\frac{1}{3}(2\pi-\angle AOB)=4\theta$$ と計算できるため，簡単な計算によって次がわかる．
$$a=\frac{\sin 2\theta}{\sin\theta}=2\cos\theta,\quad b=\frac{\sin 3\theta}{\sin\theta}=4\cos^2\theta-1$$
このとき $a+b-ab=-8\cos^3\theta+4\cos^2\theta+4\cos\theta-1$ である．ここで次が成立する．
$$\begin{aligned}
0&=\cos 3\theta+\cos 4\theta\\\\
&=8\cos^4\theta+4\cos^3\theta-8\cos^2\theta+3\cos\theta+1\\\\
&=(\cos\theta-1)(8\cos^3\theta-4\cos^2\theta-4\cos\theta+1)
\end{aligned}$$
$\cos\theta\neq 1$ より $8\cos^3\theta-4\cos^2\theta-4\cos\theta+1=0$ であるから，$a+b-ab=\bm{0}$．
公式解説
https://onlinemathcontest.com/contests/omc005/editorial/37
　$a, b$ を $1$ より大きい正の定数とします. 半径 $\displaystyle \\frac{1}{2\\sin\\frac{\\pi}{7}}$ の円周上に, 反時計回りで順に点 $A, B, C, D$ があります.
$$AB=1,\quad BC=CD=DA=a,\quad AC=BD =b$$
のとき, $a+b-ab$ の値を求めてください.