Problem med delete folder.

Jag försöker fortfarande vara smart men, det lyckas inte nu heller.
Jag vill ta bort en gammal katalogstruktur så här:

Via BrowseForFolder oppnar jag form3, och så pekar jag på en katalog,där jag
tidigare har skapat en del mappar.
För att nu min app skall fungera bra, så måste jag
deleta en del kataloger.
Jag försöker så här under Form_QueryUnload:

Form1.StatusBar1.Panels(1).Text = Text1.Text
    DeleteFolder Text1.Text & "\M_Temp"

Subben DeleteFolder tar ett agrument (path) och ser ut så här:

Sub DeleteFolder(path)
    'Om vi väljer en ny fil deleta alla gammla tempfiler
    Dim fso As New FileSystemObject
    If fso.FolderExists(path) Then   
        fso.DeleteFolder (path)
        Form1.List1.Clear
       End If
    Set fso = Nothing
End Sub

Jag får ett error:
Permission Denied.
F1 ger ingen hjälp, hur kommer jag runt detta?
[redigerat]
Det hjälpte inte att:
fso.DeleteFolder (path), True
Några idéer?

Jag har fått göra det näst bästa, och plockat bort filerna, men katalogen, då får jag ett error.