Auswahl->Auswahl abrunden kannst du bei einer Auswahl mit Ecken anwenden...also z.B. bei der Benutzung des

-Werkzeuges. Oder du klickst mit gedrückter

-Taste mit der linken Maustaste auf das Thumbnail der Ebene, deren Ecken du abrunden möchtest und machst dann Auswahl->Auswahl abrunden.
Allerdings ist so eine Ferndiagnose auch immer schwer. Vielleicht zeigst du mal dein Bild...das würde helfen.