Comment savoir s'il faut écrire "avoir affaire" ou "avoir à faire" ?

Gérard m'interroge sur la différence entre "avoir affaire" et "avoir à faire". A l'oral, aucune différence. C'est justement ce qui nous embrouille, une fois de plus : on prononce exactement de la même façon des locutions, des mots figés ensemble par l'usage, qui s'écrivent différemment... et qui n'ont pas le même sens.