A princípio, sabemos que a matriz $A$ é simétrica, ou seja:\begin{align}A &= A^t \\ \begin{bmatrix}a_{11} & a_{12} \\ a_{21} & a_{22} \end{bmatrix} &= \begin{bmatrix}a_{11} & a_{21} \\ a_{12} & a_{22} \end{bmatrix} \end{align}Consequentemente, nota-se que $a_{12} = a_{21}$. Adiante, o enunciado nos informa sobre uma PG, assim como o traço da matriz, logo, pode-se escrever:\begin{matrix} \begin{cases} a_{11} = a \\ a_{12} = aq \\ a_{22} = aq^2 \end{cases} &\overset{\text{c.f tr(A)}}{\Rightarrow}& a_{11} + a_{22} = 5a_{11} &\therefore& q = \pm 2 \end{matrix}Com isso, conforme sistema exposto, têm-se:\begin{cases} a_{11}x + a_{12}y = x \\ a_{21}x + a_{22}y = y \end{cases}Subtraindo $x$ na primeira linha e $y$ na segunda:\begin{cases} (a_{11} - 1)x &+& \ \ \ \ \ a_{12}y &=& 0 \\ \ \ \ \ \ a_{21}x &+& (a_{22}-1)y &=& 0 \end{cases}Segundo enunciado, o sistema admite solução não nula, ou seja, ele admite solução além da trivial de um sistema homogêneo. Nesse contexto, ou o sistema é determinado, ou é indeterminado, então, somando as linhas, têm-se:\begin{matrix} (a_{11} + a_{21} - 1)x + (a_{22} + a_{12} -1)y = 0 \end{matrix}Facilmente, verifica-se que o sistema não pode ser determinado, visto que para isso deveríamos ter:\begin{cases} a_{11} + a_{21} - 1 = 0 \\ a_{22} + a_{12} -1 = 0 \end{cases}O que resulta em dois valores distintos para $a$ - um número constante que definimos anteriormente. Desse mono, já sabemos que o sistema é indeterminado, logo, com conhecimento das regras de Cramer, têm-se:\begin{matrix} \begin{vmatrix} a_{11} -1 & a_{12} \\ a_{21} & a_{22} -1 \end{vmatrix} = (a_{11} - 1)(a_{22} - 1) - a_{12} a_{21} = 0 \end{matrix}Continuando,\begin{align} (a - 1)(aq^2 - 1) - a^2q^2 = 0 \\ (a -1)(4a-1) -4a^2 = 0 \\ - 5a+1 =0 \end{align}Portanto, $a = 1/5$, ou seja, $a_{11} =1/5$. Assim, o resultado solicitado é:\begin{matrix} (a_{11})^2 + q^2 = \left(\dfrac{1}{5} \right)^2 + 4 = \dfrac{11}{25} & \tiny{\blacksquare} \end{matrix}\begin{matrix}Letra \ (A) \end{matrix}