Perceba que $$f(\alpha) = \sqrt{\sec^2 \alpha + \csc^2 \alpha} = \pm \dfrac{1}{\cos \alpha \cdot \sin \alpha},$$ mas pelo enunciado, $\alpha \in \left(0, \frac{\pi}{2}\right)$, isto é, $\alpha$ pertence ao primeiro quadrante, isso significa que tanto o seno, quanto o cosseno desse ângulo devem ser acompanhar o sinal positivo, portanto $$f(\alpha) = \dfrac{1}{\cos \alpha \cdot \sin \alpha}.$$ Note que $$sin \alpha = \dfrac{a}{b} \cos \alpha,$$ vide enunciado. Portanto, utilizando a eq. fundamental da trigonometria, $$\cos \alpha = \dfrac{b}{\sqrt{a^2 + b^2}},$$ perceba novamente que, o cosseno deverá adotar o sinal positivo. Sabendo disso, basta substituir na $f(\alpha)$ e encontrar que $$f(\alpha) = \dfrac{a^2 + b^2}{ab}.$$