Japp, hittade lösningen precis efter jag hade skrivit in frågan.
ms = New MemoryStream
ser = New XmlSerializer(GetType(OLAPData))
ser.Serialize(ms, Me)
sXML = System.Text.UTF8Encoding.UTF8.GetString(ms.ToArray())
Problemet låg i ovan rad där jag förut använde ascii istället för utf. Så det var ju inte så konstigt.