Hmm... Windows funkar så att för varje nytt fönster man skapar så anger man vad fönstret ska ha för saker. Standardinställningen är namnlist, utan systemmeny och minimera/maximera samt en liten ram (dock ej möjligt att ändra storlek). Vad man vill ha, eller inte vill ha, anges som en parameter i funktionsanropet CreateWindow.
Att du använder Java gör det ju lite knepigare eftersom språket som sådant är plattformsoberoende. I stället är det ju så att det någonstans i Windowsimplementationen av java-vm:n finns inlagt en egen standardinställning för nya fönster.
Hmm... Hade du programmet mot Windows direkt hade det inte varit några problem. Men du måste nog kika på den fönsterhanterare du använder i Java. Kolla i dokumentationen för vilka alternativ du har när du skapar fönster, om det finns några anpassningar för Windows där. Har du sån tur att du får ange "window style" själv så är det WS_POPUP som är det du efterlyser. Det är en konstant med värdet 0x80000000.