Vamos chamar o ponto de R de $R(x,y)$, primeiro passo da minha resolução será encontrar a equação da circunferência, dado que o circulo tem centro $(5,0)$, e um do seus pontos $(8,0)$ fica nitido que o raio vale $3$, com isso facilmente chegamos em: $$(x-5)^2+y^2=3^2=9$$ Agora pelo triângulo ser isósceles sabemos que a distância do ponto Q para R e de P para R será a mesma logo podemos igualar as distância entre pontos de ambas: $$d_{QR}^2=(x-8)^2+y^2$$ $$d_{PR}^2=(x-4)^2+(y-2\sqrt{2})^2$$ Basta igualar ambas as equações e obteremos: $$(x-8)^2+y^2=(x-4)^2+(y-2\sqrt{2})^2$$ $$x^2-16x+64+y^2=x^2-8x+16+y^2-4y\sqrt{2}+8$$ $$-16x+64=-8x+16-4y\sqrt{2}+8$$ $$-16x+64=-8x+24-4y\sqrt{2}$$ $$40=8x-4y\sqrt{y}$$ Dividindo por 4 $$y\sqrt{2}=2x-10$$ $$y=\frac{2}{\sqrt{2}}(x-5)$$ $$y=\sqrt{2}(x-5)$$ Agora temos um sistema de equações junto da equação da circunferência repare que ambas possuem $(x-5)$ logo elevarei a equação 2 ao quadrado $$y^2=2(x-5)^2$$ Sabendo que $9-y^2=(x-5)^2$, e que R está no 1 quadrante: $$y^2 = 2(9-y^2)$$ $$y^2=18-2y^2$$ $$3y^2=18$$ $$y=\sqrt{6}$$ E x vai ficar $x=5+\sqrt{3}$ Agora basta aplicar na equação da área e resolvendo o deternante termos: $$A=\frac{1}{2}|16\sqrt{2}+4\sqrt{6}-10\sqrt{2}-2\sqrt{6}-8\sqrt{6}|$$ $$A=\frac{6}{2}|\sqrt{2}-\sqrt{6}|$$ $$A=3(\sqrt{6}-\sqrt{2})=3(\sqrt{6}-\frac{\sqrt{6}}{\sqrt{3}})=\sqrt{6}(3-\frac{3}{\sqrt{3}})=\sqrt{6}(3-\sqrt{3})$$ Chegamos assim na letra $E$