A priori, é interessante que se visualize a situação, particularmente, imaginaria duas figuras, uma com um triângulo equilátero inscrito na circunferência, e outra com um hexágono circunscrito, creio que separar em figuraras menos "poluídas" ajude a compreensão. Dessa forma, comecemos pelo triângulo equilátero: $•$ Lei dos senos:\begin{matrix} \dfrac{L}{\sin{60º}} = 2R & \Rightarrow & \fbox{$ L = R\sqrt{3}$} \end{matrix}$•$ Área do triângulo equilátero: \begin{matrix} A_T = \dfrac{L^2\sqrt{3}}{4} & \Rightarrow & { \fbox{$A_T = \dfrac{R^2 \cdot 3\sqrt{3}}{4} $} } \end{matrix}Vejamos agora nosso hexágono regular, não é difícil perceber que o apótema será igual ao raio da circunferência inscrita. Além disso, podemos dividir um hexágono regular em seis triângulos equiláteros, assim, podemos escrever: $•$ Analisando um dos triângulos: \begin{matrix} \sin{60º} = \dfrac{R}{l} &\Rightarrow & \fbox{$ l = \dfrac{2R\sqrt{3}}{3}$} \end{matrix}\begin{matrix} \color{gray}{\text{Note que, o apótema, é a bissetriz (e altura) do triângulo}} \end{matrix}$•$ Área do hexágono regular: \begin{matrix} A_H = 6 \cdot \dfrac{l^2\sqrt{3}}{4} & \Rightarrow & \fbox{$A_H = 2R^2\sqrt{3}$} \end{matrix}Agora, é só fazer a razão entre as áreas: \begin{matrix} { \dfrac{A_T}{A_H} = \dfrac{\dfrac{R^23\sqrt{3}}{4}}{ 2R^2\sqrt{3}} } &\therefore& { \fbox{$\dfrac{A_T}{A_H} = \dfrac{3}{8}$}} \end{matrix}\begin{matrix}Letra \ (D) \end{matrix}$\color{orangered}{Obs:}$ No final, a medida do apótema pouco importa, mas você poderia resolver a questão de outra(s) forma(s). Veja que o circuncentro do triângulo equilátero inscrito é também o baricentro, além disso, dividindo o hexágono em triângulos equiláteros, é possível fazer uma semelhança entre os dois (o triângulo inscrito com um dos do hexágono). Por outro lado, pode-se perceber que o apótema equivale a $2/3$ da altura do triângulo equilátero inscrito, e assim prosseguir com diversas formas de resolução.