Hittade felet. Det uppstod när jag konverterade en stereofilm (där bara ena ljudkanalen användes, monoinspelning alltså) till en monofilm. Så nu har jag en bunt gamla filmer inspelade med en gammal analog videokamera med monoljud inlagda som XviDer med ljud enbart på högra kanalen. 
Jag har lite problem med XviD också, jag kan inte göra 2nd pass i Premiere, det kommer upp felmeddelanden om att codecen inte klara av det jag just har tänkt göra...