Como ambos os polinômios são divisíveis por $x-1$, isso implica dizer que ambos terão resto zero. Por isso, basta utilizar o Teorema Fundamental da Álgebra. $$P(x) = x^3 -2ax^2 + (3a+b)x - 3b = (x-1)Q(x)$$ e $$G(x) = x³ - (a+2b)x + 2a = (x-1)Q'(x).$$ Com isso, sabe-se que a raiz de $x-1$ é $x = 1$. Portanto, basta substituir nas duas equações acima e encontrar o que é pedido. $$-5a - 4b = 1$$ e $$3a + 2b = 1 \Rightarrow a = \dfrac{1 - 2b}{3}.$$ Então, $$-5\left(\dfrac{1-2b}{3}\right) - \dfrac{12b}{3} = 1 \Rightarrow b = -4.$$ Então $a = 3$.