Hej
Jag håller på att bygga ett log verktyg som helt enkelt ska användas för att titta på iis loggen.
Detta ska vara en del av ett system som har en massa parametrar i querystringen (log verktyget ska kunna sortera efter dessa), därför kan jag inte använda mig av några kommersiella log verktyg utan måste bygga mitt eget.
Problemet är att loggfilerna är mellan 200-500 mb stora, och iisen loggar per dag, så de går inte att få mindre.
Och det tar jätte lång tid att parsa dessa.
Jag har sett att kommersiella programvara kan parsa loggen på runt 5 sekunder, vilket jag också lycats med så längre jag inte gör något med raden i fråga.
Okej... tillsaken, vad är det jag vill?
Jag skulle vilja vet om någon annan haft erfarenheter med att läsa iis loggen och utvinns något mat nyttigt.
Hur löste ni parsningen?
Jag har testat MS logparser men det är bedrövligt långsam, för de loggarna jag testat mot så går min metod (loopa genom varje rad i filen) snabbare.
Ett loggverktyg gör oftast ingenting med den data som läses in, utan flyttar bara in informationen i en databas. Därefter kan ytterligare uppgifter och sökningar skötas mycket effektivare.
Hej
Jag kollade lite på hur de fungerade, och gjorde samma analys som du.
Men att öppna filen och överföra informationen (i mitt test fall en access databas) tog brutala 10 min.
Jag vet att access inte är optimal, men frågan är om den är speciellt mycket långsammare än andra fildatabaser.
Så det gick på tok för långsamt.
Det slutade med att jag loopade igenom logfilen och la in vital information i hashtables som jag sedan kopierade till ett datasen och datasettet sparade jag på disk (så det går fort att öppna andra gången)
Hastighetsmässigt så är jag inte nöjd, men det fungerar.
just nu drar den igenom en logfil på 1,3 gb på ca 40-50 sekunder, schema lägger man det så kommer det alltid gå snabbt att titta i gränsnittet iaf.
Den kommerciella programvaran jag testat (som jag inte minns namnet på just nu) analyserar loggen betydligt snabbare och hinner dessutom lägga in infromationen i någon slags databas och skapa diagram.
Så visst det finns utrymme för förbättringar onekligen ;)
Just nu är kunden "glad" iaf så jag kommer nog inte lägga med optimerings tid på detta för tillfället.
Tack för hjälpen.
/Jimmy
261 ms totalt · 4 externa anrop · v20260731065814-full.20824b9f
