Meine Vermutung wäre, dass du einfach zu "grob" mit dem Abwedler/Nachbelichter Werkzeug gearbeitet hast und somit zuviel ausmaskiert hast.
Dies hat dann zur Folge, dass die Ränder so unschön werden.
Dies war zumindest mal bei mir der Fall.
Wie sieht denn dein Ausgangsbild aus?
Vielleicht kann man dann mal selber rumprobieren.
(Könntest ja einen kleinen Ausschnitt in Originalgröße posten)