Rodan
Напрасно тратите время. Таким способом 5-й профиль вы не получите. В 5-м профиле должен быть один совмещенный слой с BL+RPU данными, без EL-данных (вернее, они могут там быть, но как к этому отнесется ТВ-не очень предсказуемо. Кроме того, "классический" 5 профиль имеет другое цветовое пространство. На практике возможны проблемы с воспроизведением.
Неоднократно в этой ветке уже говорилось о том, что самый простой способ, который гарантированно будет работать - это изготовление файла 4-го профиля в ts-контейнере. Не нужно ничего, кроме фиксенного для 4-го профиля ts-muxer'a, ну и самого исходника в m2ts