Hallo!
Zur besseren Kontrolle solltest du dir als erstes eine farbige Ebene unter dein Bild legen (z.B. ein schreiendes Grün).
Suche dir in der Kanäle-Palette einen möglichst kontrastreichen Kanal (hier der Blau-Kanal) und mache einen Strg+Klick auf die Kanal-Miniatur.
In der Ebenen-Palette klickst du dann bei aktivierter Bild-Ebene auf das Masken-Symbol

unten.
Bei aktivierter Maske invertierst du diese mit Strg+i.
In der Eigenschaften-Palette wählst du den Button "Maskenkante...".
In erscheinenden Dialog ziehst du
- den Kontrast-Regler extrem nach rechts
- den Weiche-Kante-Regler auf ca. 0,5px
- den Kante-Verschieben-Regler auf einen Wert, der dir am besten passt