Встроенный плеер с флешки воспроизводит без тормозов. Mediatomb/Gerbera (перекодировать по сути они не умеют) тоже без тормозов. Emby по DLNA так же (в приложении "прямое воспроизведение). Во всех случаях встроенный плеер показывает звук как "PCM".
Plex без разговоров запускают перекодировку в ААС. Причем без разницы, что по DLNA что в своем приложении. Хотя такой звук надо сказать экзотика и видимо проблематичный, в принципе можно подобрать сервер и под него. Может быть проще сразу такое конвертировать в АС3 например?
Можно для верности вообще вырезать звук и оставить только видео. Тогда станет точно ясно что проблема со звуком на стороне сервера