Finns det någon här som har byggt ett system eller vet vart jag ska leta vidare om jag vill dela datorers kraft, processor/minne, för en och samma sak.
Det är nämligen så att vi får en xml-fil som är ca 600 meg varje torsdag och den skall vi läsa in och parsa och spara ner i en databas.
Detta tar otroligt lång tid om man skulle göra det på en dator/server så jag undrar om man kan dela dessa på alla datorer som står på och idlar på kontoret efter alla har gått hem.
Har ni någon erfarenhet av detta?
Hur gjorde ni då?
Vi gjorde en uppgift med distribuerad datorkraft under högskoletiden. Dock var det skrivet i C++, inte Java, och jag är osäker på om grundupplägget är särskilt lämpat för XML-parsning.
Är inte säker på om RMI går att köra multitrådat när man delar ut uppgifter från en datorn, eller om det måste synkroniseras ändå. Var ett tag sen jag höll på med det... Men om det går så kan du göra så här:
Skapa en liten RMI-Server (som körs på varje klient) som tar in en task som i sin tur då jobbar med en del av xmlfilen, antingen att du skickar med text eller om du redan parsat in hela filen och skickar med objekt. Eller adress där den kan hämta fil osv..
Man kan skriva RMI-Server så pass generell att den kan göra vad som helst beroende på vad man skickar in till den.
Intressant fråga! Börja med att dela inputen i flera mindre poster helt uppdaterade så att det går fort att läsa in. Låt flera arbetshästar göra instoppningsjobbet.
Om du är säker på resultatet läs in utan index. Indexera efteråt.
Då går det fort. Kan vara något att nysta i.
