O número de anagramas da palavra VESTIBULANDO, que não apresentam as cinco vogais juntas, é:
Analisando a palavra $\text{vestibulando}$, podemos dizer que temos: \begin{matrix}
\text{12 Letras} &-& \text{5 Vogais} &-& \text{7 Consoantes}
\end{matrix} Façamos então o seguinte:
\begin{matrix}
(\text{Todos os anagramas da palavra}) &-& (\text{Todos os anagramas que possuem cinco vogais juntas}) & \color{royalblue}{(1)}
\end{matrix}
$•$ Todos os anagramas da palavra $\text{vestibulando}$:
Temos 12 letras, todas distintas, logo:
\begin{matrix}P_{12}^{1,1,1,1,1,1,1,1,1,1,1,1} = \dfrac{12!}{1!1!1!1!1!1!1!1!1!1!1!1!} = 12! \end{matrix}
O que fizemos foi dizer que, para primeira letra temos 12 opções, a segunda 11 opções, e assim por diante. Como não há letras repetidas, pelo princípio fundamental da contagem:
\begin{matrix}12\cdot 11\cdot 10\cdot 9\cdot 8\cdot 7\cdot 6\cdot 5\cdot 4\cdot 3\cdot 2\cdot 1 = 12! \end{matrix}
$•$ Todos os anagramas que possuem cinco vogais juntas
Têm-se $C_{5}^{5} = 1$ formas de escolher as cinco vogais, e podemos permutar as 5 vogais entre elas de $5!$ maneiras. Agora, digamos que as 5 vogais formem apenas um elemento, temos que:
\begin{matrix}12 - 5 + 1 = 8 \ \text{Letras} \end{matrix}
Tínhamos 12 letras, removemos 5, e com as cinco criamos uma outra "Letra". Novamente, como todas são distintas, podemos permutá-las de forma que:
\begin{matrix}P_{8}^{1,1,1,1,1,1,1,1} = \dfrac{8!}{1!1!1!1!1!1!1!1!} = 8! \end{matrix}
Pelo princípio fundamental da contagem, podemos formar todos os anagramas com cinco vogais juntas de $5!8!$ modos.
Substituindo nossos resultados em $(1)$:
\begin{matrix}12! - 8!5! \\ \\ Letra \ (C) \end{matrix}