Analisando a equação, não é difícil perceber que $1$ é raiz, desse modo, aplicando $\text{Briot-Ruffini}$, têm-se:\begin{matrix}\begin{array}{c|ccc}1& 1& (a-1)& -(a+b)& b \\ \hline &1&a&-b&0 \end{array} &\Rightarrow& \underbrace{\cos^2{x} + a\cos{x} - b = 0}_{\Delta\ = \ a^2 +4b} &\therefore& \cos{x} = \dfrac{-a\pm \sqrt{a^2+4b}}{2} \end{matrix}Observe o intervalo que pertence as raízes, nesse contexto, não podemos assumir a raiz negativa, sendo assim:\begin{matrix} 0< \cos{x}<1 &\Rightarrow& 0<\dfrac{-a + \sqrt{a^2+4b}}{2}<0 &\therefore& 0 < b < a+1 &\tiny{\blacksquare} \end{matrix}\begin{matrix}Letra \ (B) \end{matrix}