Vamos ajeitar $f(x)$: $$f(x)=cos2x+sen2x$$ $$f(x)=\sqrt2 (\frac{1}{\sqrt2}.cos2x+\frac{1}{\sqrt2}.cos2x)$$ $$f(x)=\sqrt2.sen(\frac{\pi}{4}+2x)$$ Logo: $$a=-\sqrt2$$ $$b=\sqrt2$$ Faça o exercício mental, para que o plano $\pi$ seja paralelo a esses dois vetores, seu vetor normal deve ser ortogonal a ambos, logo: $\vec u \times \vec v$. Calculando, temos: $$\vec n = \vec u \times \vec v=(1,0,-1)$$ O plano tem equação do tipo: $$x-z+d=0$$ Trocando pelo ponto $A$, temos: $$d=-9$$ $$P=(-1,-\sqrt2,1)$$ Por fim a distância será de: $$\frac{|-1-1-9|}{\sqrt{1+1}}=\frac{11\sqrt2}{2}$$