Definindo os comprimentos dos lados do triângulo, temos$$AB = \sqrt{(5-1)^2+(1-4)^2} ~=~ 5\\BC = \sqrt{(5-5)^2+(5-1)^2} ~=~ 4\\AC = \sqrt{(5-1)^2+(5-4)^2} ~=~ \sqrt{17}$$A ideia agora é se utilizar de duas maneiras, que se seguem abaixo, para calcular a área do triângulo $ABC$ :$$|ABC| ~=~\sqrt{p(p-AB)(p-BC)(p-AC)}~=~ \dfrac{AB\cdot BC \cdot AC}{4R}$$uma em função de apenas o semiperímetro $p$ de $ABC$, e outra do raio $R$ da circunferência circunscrita. Como a primeira só depende dos lados do triângulo, então$$p = \dfrac{9+\sqrt{17}}{2} \implies |ABC| = \sqrt{\left(\dfrac{9+\sqrt{17}}{2}\right)\left(\dfrac{9-\sqrt{17}}{2}\right)\left(\dfrac{\sqrt{17}+1}{2}\right)\left(\dfrac{\sqrt{17}-1}{2}\right)}$$Logo$$|ABC| ~=~ \dfrac{\sqrt{(81-17)(17-1)}}{4}~=~\dfrac{8\cdot 4}{4}~=~\dfrac{5\cdot 4 \cdot \sqrt{17}}{4R}$$Portanto$$\boxed{R = \dfrac{5\sqrt{17}}{8}}$$$$\bf{Alternativa~(D)}$$