Antes de tudo - D&D Next é para ser intencionalmente vago e aberto. Regra de Ouro all-the-way.
visto que os parâmetros definidos nos livros são vagos demais e definir nivel de desafio de NPC humanóide é meio anti intuitivo (por exemplo, arquimagoNPC de nivel de desafio 12 ter acesso a magias de circulos maiores que personagens jogadores de nivel 12
Nessa parte, não é vago. O CR de D&D Next não se baseia em criar um "desafio mediano" para um grupo de nível equivalente, mas sim um desafio relativamente difícil - por isso conjuradores oponentes quase sempre terão acesso a círculos maiores de magia. Ou em termos 4e, pense um oponente cujo CR é do mesmo nível do grupo como se fosse um Elite.
Como determinar quantos dados de vida tem que ter um oponente de determinado nivel de desafio de forma mais precisa e não tão vaga?
Dados de Vida, em geral, são irrelevantes em D&D Next, já que quase todos os valores do monstro derivam do CR, não do HD. Em qualquer caso, veja a tabela de Monster Statistics by CR na página 274 do DMG e lembre do impacto de Resistências e Vulnerabilidade nisso.
Como se mistura habilidades de classes jogadoras com ficha de NPC criada do zero como se fosse ficha de monstro?
Oficialmente, eles recomendam misturar todas as habilidades de classe ao Monstro, o que considero tolice.
Siga o que a 4e fazia e ignore por completo as habilidades de classe ao criar um Monstro/NPC, apenas trate as habilidades de classe como se fossem habilidades como quaisquer outras - ou seja, como Monster Features como listadas nas páginas 280-281. Criação de Monstros e de PC seguem regras e parâmetros bastante distintos.