Eles tinham o conhecimento, mas lembraram disso? Vc os lembrou ou mencionou isso?
Há outras questões que podem ter influenciado nesse comportamento. Desde eles nunca terem enfrentado essa criatura(que é legal) até mesmo a campanha estar a tempo demais com confrontos mais mundanos ou adversários repetidos.
Mas acima disso tudo acredito que questões morais também influenciaram, talvez mais que o restante, mesmo que inconscientemente. Situação A os guardas são 'inocentes' fazendo seu trabalho. São membros da cidade onde os pcs estão, suas mortes poderiam ser mal vistas, isso poderia levar a uma conexão com os personagens e problemas com autoridades...
No outro contexto não há nenhuma consequência negativa além de eles não darem conta, o que como 'heróis' num jogo heróico eles claramente querem se desafiar. Além do mais, mesmo sendo uma criatura acima deles sempre há uma esperança quando nos vemos em números maiores, nada mais natural.
Motivação também: em A guardas não são nenhum desafio nem tinham nada pessoal contra os guardas(ex: vingança, justiça). Em B há motivações justificáveis in-game sim: caça é um hobby bem real, é um 'monstro' conhecido como desafiador, qualquer guerreiro orgulhoso gostaria de pendurar a cabeça de uma na parede de sua casa. Sem falar que em A os guardas eram apenas obstáculo a um objetivo onde havia caminhos alternativos.
Gostei do seu teste, pode ser legal vc fazer outro experimento parecido, mas dessa vez em condições mais 'similares'. Uma criatura igualmente exótica mas por algum motivo aliada de uma outra cidade, eles teriam o mesmo impulso? Entender quais as cenouras os jogadores correm atrás é sempre útil.
Eu gosto de testar os jogadores que não conheço, sempre faço isso no começo de campanhas, mas sempre com situações sem consequências pesadas. É muito útil saber mais ou menos como pensam, quais seus impulsos e tal para melhor planejar os jogos e não correr riscos de se encontrar numa situação apertada sem saber como prosseguir por causa de alguma reação inesperada.