Ein paar Links haben noch keiner Webseite geschadet. Da müsstest du es wirklich schon sehr übertreiben, damit dir Google den Stecker zieht. Aber ich sehe schon, du gehst da sehr mit Bedacht daran.
Ich würde dir mal empfehlen, das du deine Basis (Onpage) mal auf den neuesten Stand bringst.
Hier findest du ein paar gute Tipps. Damit kannst du zumindest langfristig dein Google Ranking verbessern und solltest auch nicht mehr abrutschen.
Ansonsten kannst du dich vielleicht von ein paar befreundeten Bloggern verlinken lassen.