А почему вы решили, что проблема в mp4box? Приведите для начала mediainfo получившегося релиза.
Что касается dts-дорожек, я всегда делал "по правилам" - для mp4box использовал "завернутую" в mp4 dts-дорожку.
Добавлено спустя 20 минут 50 секунд:Из хелпа mp4box:
:rate=0 - force average rate and max rate to VAL (in bps) in btrt box.If 0, removes btrt box
:disable - disable imported track (s)
-brand - set major brand of file (ABCD) or brand with optional version (ABCD:v)
-ab - add given brand to file's alternate brand list
-no-iod -remove MPEG-4 InitialObjectDescriptor from file
Для упрощения - лучше использовать. Обеспечит лучшую совместимость с разными плеерами. Разве что:disable необязательно.
Про девелоперский релиз ничего сказать не могу. Использую public-релиз вот отсюда:
https://gpac.wp.imt.fr/downloads/