UPDATE
Pessoal, fiz uma alteração no código, pois eu estava incrédulo com os números e resolvi estudar um pouco mais o funcionamento do EF. E sim, ele pode ser rápido!
Desabilitei o controle automático de alteração conforme sugerido no site da Microsoft - Entity Framework Automatic Detect Changes
O tempo que era de em média 40 segundo pra inserir 10.000 registros, passou a ser de 3 segundos aproximadamente. No contexto do meu teste, desabilitar esse controle automático é válido. Pode haver alguma implicação quando estivermos tratando de um ambiente mais complexo e principalmente quando estivermos lidando com operações de entidade relacional. Farei uma análise mais aguda sobre o comportamento do EF ao desabilitarmos o Auto Detect Changes. Assunto para um próximo post.
