Du skulle från början haft bakgrunden som ett eget lager. Sen använt penslarna på ett lager. I slutändan blir det ibland mycket lager men på det hela kan man ändra så mycket mer och då lättare.
Men för att gå till ditt problem, beror ju på vilken version du har på ditt PS. Quick Selection Tool, finns på samma knapp som trollspöet. Det känner av kanterna lite bättre och du drar då "trollspöet" runt bilden, kan även användas med shift för att markera fler saker.
Jag skulle gjort så här: Högerklicka på bakgrundslagret och välj "layer from bakground". (Annars kan du inte få bort bakgrundsfärgen)
Välj select-> color range. Välj bakgrundsfärgen med pipetten. Justera fuzziness efter behov. Du vill nog ha ett ganska högt värde. Välj quick mask som preview-läge. Du vill att masken inte ska rinna över kanterna in på din vita bakgrund. När du är nöjd, klicka ok. Tryck sedan delete. Nu kan du skapa ett nytt lager och lägga under kluddet och fylla med valfri färg.
(Det kan ju även vara en idé att skapa lagret innan du gör color range-steget, om du vill prova olika värden på fuzziness. På så vis får du ett steg mindre att göra när du ångrar.)