Il me semble qu'il n'est signalé aucune par que le Conseil prend place à Dol Guldur en effet. D'ailleur, leur objectif n'a jamais été de s'en emparer, mais d'éloigner le mal.
En premier lieu, Sauron avait là une position bien trop stratégique aux yeux de tous (il séparé le Gondor des autres peuples libres, les elfes sylvains au nord, étaient acculés sur leur retraite, et il était bien trop près de la Lorien et de la Moria).
D'un autre coté, Curunir était encore, à l'époque, le chef d'orchestre du Conseil Blanc. Et son seul objectif à lui, ayant déjà basculé dans le mal, était d'éloigner Sauron des champs aux Iris afin de pouvoir chercher l'Unique tout seul et sans être dérangé.
Il faut savoir qu'après la fuite de Sauron vers Barad-Dur, il fait quand même des Nazgul retourner à Dol Guldur. Tolkien ne fait pas mention d'une quelconque bataille pour la reprise de la place forte par les Nazgul; ce qui laisse savoir que quand ils sont revenus, la forteresse était déjà vide.