Acho que é paranoia mesmo. Primeiro porque nem todos os Floquinhos™ têm proficiência automática com alguma crossbow (Wizard e Sorcerer somente têm proficiência com light crossbows). Segundo, porque considerando os elementos somáticos de conjuração de magias (verbais, gestuais, materiais, etc.), isso abre para a interpretação do mestre permitir o Floquinho™ lançar ou não uma magia estando com uma crossbow em mãos (e mesmo que ele use uma hand crossbow, salvo em builds específicos para isso, ele não vai tirar muito proveito do talento).

Is it intentional that the second benefit of Crossbow Expert helps ranged spell attacks? Yes, it’s intentional. When you make a ranged attack roll within 5 feet of an enemy, you normally suffer disadvantage (PH, 195). The second benefit of Crossbow Expert prevents you from suffering that disadvantage, whether or not the ranged attack is with a crossbow.

When designing a feat with a narrow use, we consider adding at least one element that can benefit a character more broadly—a bit of mastery that your character brings from one situation to another. The second benefit of Crossbow Expert is such an element, as is the first benefit of Great Weapon Master. That element in Crossbow Expert shows that some of the character’s expertise with one type of thing—crossbows, in this case—transfers to other things.