Hallo!
Klicke unten in der Ebenenpalette auf das Maskensymbol

.
Dadurch wird eine Ebenenmaske erstellt.
Klicke nochmal drauf und eine Vektormaske wird erstellt.
Die erste Ebenenmaske kannst du dann löschen (Rechtsklick auf die Maskenminiatur).
Aktiviere die Vektormaske und ziehe mit dem Abgerundete-Ecken-Rechteck-Werkzeug

die gewünschte Form auf. (Ganz wichtig: Vorher oben in der Optionsleiste des Werkzeugs auf "Pfade" stellen!)