Pour supprimer un projet, rien de plus simple, dans Team Explorer, faire click-droit, Remove, et... le projet est toujours là : il suffit de faire ajout d'un projet existant pour voir qu'il n'a disparu que du Team Explorer et pas du serveur.

En fait, il faut ouvrir une ligne de commande VS, et lancer la commande tfsdeleteproject /TeamFoundationServer:server "nom du projet". Et le paramètre TeamFoundationServer est obligatoire, même s'il s'agit de la machine locale...