Le paysage des codecs est en train de changer, avec six nouveaux codecs à venir d'ici la fin de 2022-2023. Début 2022-2023, la plupart des producteurs de vidéos en streaming encodaient exclusivement avec le codec H.264, qui a fait ses débuts en 2003. Certains grands éditeurs comme Netflix, Amazon, YouTube , et Facebook, ont également déployé le successeur basé sur les normes H.264, le codec HEVC et / ou le codec VP9 de Google. Une poignée de producteurs ont expérimenté le codec AV1 d’Alliance for Open Media. Au-delà de ces quatre codecs existants, MPEG lancera en 2022-2023 trois nouveaux codecs, Versatile Video Coding (VVC), Essential Video Coding (EVC) et Low Complexity Enhancement Video Coding (LCEVC).
Avec six nouveaux codecs à prendre en compte d'ici la fin de 2022-2023, il vaut la peine d'examiner les facteurs qui contribuent à l'adoption réussie d'un codec. Dans cet article, je passerai en revue ces facteurs en utilisant H.264 et HEVC, et créerai un cadre d’analyse que j’utiliserai dans les prochains articles pour compromettre le succès potentiel d’AV1 et des trois nouveaux codecs MPEG.
Notez que j'écrirai principalement du point de vue de l'éditeur; pas du point de vue du lecteur ou du fournisseur d'encodeur.
- Comprendre les solutions de streaming à faible latence
- Meilleures caméras PTZ, appareils de capture et de diffusion en continu
1. Quelle est l’efficacité comparative du codec?
Le rôle le plus essentiel d’un codec est de réduire la taille du flux nécessaire pour diffuser la vidéo à nos téléspectateurs. Dans de nombreux cas, l'efficacité est mesurée par rapport à H.264. Vous le voyez dans la figure 1, tirée du rapport de comparaison HEVC 2015 de l'Université d'État de Moscou (MSU). À titre d'explication, MSU présente toujours ses données en utilisant x264, l'un des nombreux codecs H.264, avec une qualité de 100%. Ensuite, pour chaque autre codec, il montre le pourcentage de réduction ou d'augmentation du débit de données nécessaire pour produire la même qualité que x264.
Par exemple, dans le graphique, le codec x265 peut offrir la même qualité que x264 à 74% du débit binaire, soit une économie d'environ 26%. Le codec VP9 n'est pas si loin derrière, à 77%, soit une économie d'environ 23% par rapport à x264.
Ces économies représentent l'un des principaux avantages monétaires fournis par les nouveaux codecs. La mise en œuvre de x265 en 2015 aurait réduit de 26% les coûts de bande passante pour la livraison d'une vidéo de qualité égale aux lecteurs compatibles HEVC. VP9 aurait réduit les coûts de bande passante de 23%.
Considérez l'adaptation de codec comme une analyse du seuil de rentabilité. Il existe deux sources d'entrées; des économies pour la livraison aux clients existants, que nous venons de couvrir, et des revenus supplémentaires pour les clients sur de nouveaux marchés, que je traiterai dans la section suivante. Il existe plusieurs coûts associés aux implémentations de codecs. Vous fournirez de la vidéo encodée H.264 dans un avenir prévisible. Les coûts d'encodage et de stockage des nouveaux codecs sont donc tous deux additifs. Vous devrez également mettre à jour votre lecteur et effectuer des tests et un contrôle qualité.
Les économies de bande passante sont évidemment liées au nombre de spectateurs pour chaque vidéo. Voici un exemple simple. Supposons que l'encodage sur une échelle de codage HEVC coûte 20,00 $ et que vous économisez 0,01 $ en coûts de bande passante par spectateur. Une fois que 2 000 spectateurs ont regardé la vidéo, vous avez rattrapé ce coût. Si 2 millions de téléspectateurs regardent la vidéo, vous avez économisé 20 000 $ en frais de bande passante. C'est pourquoi il est plus facile pour les grandes entreprises comme Netflix, YouTube, Amazon et Facebook de déployer de nouveaux codes.
Quelle que soit la taille, lorsque les économies ou les nouveaux revenus associés au nouveau codec dépassent les coûts de mise en œuvre et autres coûts, il est judicieux sur le plan financier de déployer un nouveau codec. De toute évidence, plus l'efficacité de la compression est élevée par rapport à la solution existante, plus les économies de bande passante sont importantes.
Tout cela mis à part, la grande majorité des nouveaux déploiements de codecs ne visent pas à réaliser des économies de bande passante ou d'autres gains d'efficacité de livraison. Seuls les éditeurs de pointe de la pyramide comme Netflix, Facebook et YouTube ont déployé VP9, bien qu'il soit actuellement environ 35 à 40% plus efficace que x264. Au contraire, les éditeurs adoptent généralement de nouveaux codecs comme HEVC car ils ouvrent des marchés à de nouveaux clients.
Cela conduit à la question suivante.
BULLETIN PROAudio + Vidéo + IT. Nos éditeurs sont des experts en intégration audio / vidéo et informatique. Obtenez des informations quotidiennes, des actualités et un réseautage professionnel. Abonnez-vous à Pro AV aujourd'hui.
2. Quels nouveaux marchés ou plates-formes le codec permet-il?
Lorsqu'Adobe a ajouté la lecture H.264 à Flash en 2007, H.264 n'était qu'environ 15% plus efficace que le codec VP6, qui était le codec Flash le plus largement utilisé avant H.264. Malgré ces maigres économies, pourquoi la plupart des éditeurs se sont-ils convertis rapidement et complètement au H.264? Parce que si VP6 ne fonctionnait pas sur les iPod, iPhone ou autres appareils mobiles, H.264 l'a fait. Avec H.264 en Flash et le codec prédominant sur les appareils mobiles, les éditeurs pourraient abandonner VP6 et atteindre deux marchés avec un seul codec, une évidence.
De même, la plupart des éditeurs ont déployé HEVC pour diffuser des vidéos 4K et / ou HDR (High Dynamic Range) sur des téléviseurs intelligents, des décodeurs et des appareils OTT. Par exemple, dans son rapport sur les formats de médias mondiaux 2022-2023, qui rend compte de leur production en 2022-2023, encoding.com a indiqué que «nous prévoyons une augmentation très substantielle du volume en 2022-2023 en raison du contenu UHD HDR, car les deux normes HDR premium Dolby Vision et HDR + correspondent le format vidéo HEVC. » Malheureusement, encoding.com n'a pas mis à jour ce rapport pour les résultats de 2022-2023.
De même, Apple a enfin commencé à prendre en charge VP9 ou AV1 sur leurs appareils AppleTV 4K afin que leurs téléspectateurs puissent regarder des vidéos 4K sur YouTube. Cela présage de l'importance que les fournisseurs d'Alliance for Open Media comme Facebook, Netflix, YouTube et Amazon auront sur l'adoption d'AV1.
L'essentiel est que si le codec ne permet pas de nouveaux marchés, les économies de bande passante sont le seul avantage. Comme indiqué, pour une raison quelconque, en dehors des plus grands éditeurs vidéo, peu d'autres ont trouvé ces économies suffisamment motivantes pour déployer de nouveaux codecs.
3. Comment est le temps d'encodage?
Nous avons parlé de l’analyse du seuil de rentabilité. Je pose cette question car le temps d'encodage se traduit directement par un coût d'encodage et plus le coût est élevé, plus il est difficile d'atteindre le seuil de rentabilité.
Par exemple, AWS Elemental MediaConvert facture 0,024 USD par minute pour le codage H.264, 0,048 USD par minute pour le codage HEVC et 0,864 USD par minute pour le codage AV1. Heureusement, les temps d'encodage AV1 ont chuté de manière très significative au cours des derniers mois et je suis sûr que les prix d'Elemental suivront. Pourtant, lorsque les temps d'encodage sont aussi glaciaux que les AV1, vous avez besoin de millions de vues pour accumuler les économies de bande passante nécessaires pour atteindre le seuil de rentabilité.
4. Peut-il être implémenté dans un logiciel sur des plates-formes pertinentes?
Cette question porte sur la rapidité avec laquelle un codec peut être implémenté sur les plates-formes pertinentes pour votre service. En 2007, lorsqu'Adobe a ajouté H.264 à Flash, la lecture était presque universelle sur tous les ordinateurs et appareils mobiles. En revanche, avec HEVC, la prise en charge matérielle sur les appareils mobiles était nécessaire pour une lecture économe en batterie, et du matériel de décodage HEVC dédié était nécessaire sur la plupart des téléviseurs intelligents, des décodeurs et des appareils OTT.
Au fil du temps, de plus en plus d'appareils ont commencé à prendre en charge HEVC, et maintenant il est presque omniprésent dans les produits de la génération actuelle, avec VP9 à peine derrière. Mais les nouveaux codecs qui nécessitent du matériel pour une lecture efficace partent de zéro.
En règle générale, il faut environ deux ans pour que les premiers appareils grand public avec prise en charge matérielle apparaissent. À titre d'exemple, la spécification AV1 a été finalisée à la mi-2022-2023 et les premiers téléviseurs intelligents avec prise en charge AV1 ont été expédiés à la mi-2020. De toute évidence, peu importe l’efficacité d’un codec lors de son lancement; cela ne devient pertinent que lorsque la lecture est disponible sur un nombre substantiel de plates-formes sur lesquelles vous livrez.
Ce qui mène à la question suivante.
5. L'Alliance for Open Media prend-elle en charge le codec?
Bien que la prise en charge matérielle dure deux ans, si les exigences de lecture sont modestes, la lecture dans un navigateur ou un système d'exploitation mobile peut prendre quelques semaines. Cependant, les membres de l'Alliance for Open Media Microsoft, Google, Mozilla et Apple contrôlent la plupart des navigateurs et des systèmes d'exploitation, ainsi que les formats qu'ils prennent en charge. C'est pourquoi sept ans après son lancement, HEVC n'est pris en charge que dans 16,99% de tous les navigateurs et systèmes d'exploitation mobiles suivis par www.caniuse.com (Figure 2).
Le chiffre comparable pour AV1, qui a été lancé cinq ans plus tard? 36,56%. Qu'en est-il de VP9, qui a été lancé à peu près en même temps que HEVC? 94,52%.
Si un nombre important de vos téléspectateurs regardent sur des navigateurs et des appareils mobiles, la prise en charge de la plate-forme fait une énorme différence sur le plan économique. Cela est particulièrement vrai parce que le support logiciel peut être réalisé si rapidement.
À ce stade, il semble peu probable que les membres AOM prennent en charge un codec MPEG, qu'il soit HEVC, VVC, EVC ou LCEVC. Ainsi, là où les codecs normalisés tels que H.264 et MPEG-2 avaient autrefois le dessus, les codecs MPEG sont désormais nettement désavantagés sur les marchés traditionnels des ordinateurs et des mobiles.
6. Le codec est-il un standard MPEG?
Le Motion Pictures Experts Group, ou MPEG, a créé et promu plusieurs codecs audio et vidéo qui ont aidé à faire la transition de la vidéo analogique vers le numérique. À un moment donné, les normes MPEG comme MPEG-2 et H.264 avaient des chemins de réussite beaucoup plus clairs que les codecs propriétaires comme VP9. Aujourd'hui, cette dynamique a changé, donc si le processus de normalisation donne de la crédibilité à certaines technologies, ce n’est pas une garantie de succès?
Qu'est-ce qui a changé? Presque tout. À l'époque du lancement du H.264 en 2003, la diffusion était roi et le streaming n'était pas la queue du chien, c'était un ongle. Désormais, le streaming est clairement le chien, et il diffuse la queue, et les entreprises qui contrôlent le déploiement des codecs dans les navigateurs et les systèmes d'exploitation mobiles, ainsi que les sociétés de contenu comme Netflix et YouTube, ont une influence incroyable sur le déploiement des codecs.
Comme je vais en parler plus tard, avec MPEG-2 et H.264, il y avait une politique de redevances claire et cohérente, qui a été abandonnée avec HEVC, qui dispose de trois pools de brevets. Deux des pools ont publié des tarifs et les plafonds annuels passent d'environ 10 millions de dollars pour H.264 à plus de 60 millions de dollars pour HEVC. L'autre pool ne publie pas ses tarifs, et plus de sept ans après la sortie de HEVC, n'a toujours pas indiqué s'il facturera des redevances sur le contenu.
Conscient du cycle de développement de deux ans pour les déploiements de codecs, de nombreuses sociétés de matériel ont décidé de déployer H.264 et HEVC avant que la politique de redevances ne soit claire. Après HEVC, de grandes entreprises comme Apple et Samsung pourraient retarder l'adoption de la technologie jusqu'à ce que l'image des droits soit plus claire, ce qui pourrait ajouter encore 24 mois au cycle d'adoption.
Enfin, du point de vue du codec vidéo, MPEG a passé un cycle d'environ dix ans entre MPEG-2, H.264 et HEVC, à un cycle de sept ans pour trois codecs vidéo supplémentaires à finaliser en 2022-2023. Certes, chacun Le codec offre une gamme différente de fonctionnalités, de performances et d'autres caractéristiques, et il est peu probable que tous obtiennent la même adoption commerciale.
7. Quel est le modèle de propriété et de monétisation de la technologie?
La plupart des codecs sont le résultat d'une collaboration entre plusieurs parties. Avec certains codecs, cela se traduit par un ou plusieurs pools de brevets pour permettre aux entreprises de récupérer les coûts de leurs investissements en R&D. En revanche, VP9 a été développé exclusivement par Google tandis que AV1 a été développé par les sociétés de l'Alliance for Open Media qui ont toutes apporté leurs brevets à AOM sans redevance.
Cependant, ce n’est pas parce qu’une entreprise ou une organisation prétend détenir tous les droits sur une technologie qu’elle le fait. Bien que Google affirme que VP9 est open-source, tout comme l'Alliance for Open Media pour AV1, l'administrateur du pool de brevets Sisvel a lancé des pools de brevets pour VP9 et AV1, déclarant que ces codecs utilisent des inventions couvertes par les titulaires de brevets dans leurs pools (notez que l'auteur consulte Sisvel au sujet de ces pools).
Bien sûr, le H.264 et le HEVC sont tous deux porteurs de redevances pour les encodeurs et les décodeurs et certains types de contenu, de sorte que la simple existence d'une redevance ne condamne pas une technologie. Les concédants potentiels se soucient plutôt de la cohésion de ce groupe, de la clarté de leurs conditions de licence et de la rapidité avec laquelle ils sont disponibles.
8. Quelle est la structure des redevances?
En 2017, Jonathan Samuelsson, PDG du développeur de codecs Divideon, a créé le graphique illustré à la figure 3, qui est devenu le modèle de la dysfonctionnalité représentée par les propriétaires de brevets liés à HEVC. Vous voyez les trois pools et plusieurs sociétés supplémentaires, dont certaines très importantes, n'appartiennent à aucun pool. Notez qu'il s'agit du graphique original conçu par Samuelsson; l'image de la propriété a quelque peu changé depuis.
De toute évidence, si vous êtes un donneur de licence potentiel, vous préférez un pool unique comprenant tous les contributeurs technologiques connus, ce qui pourrait en fait se produire pour EVC et LCEVC. Cela dit, la plupart des grandes normes ont plus d'un pool; ce que veulent les concédants de licence, c'est une structure connue et opportune pour tous les principaux contributeurs. De manière significative, bien que la norme VVC soit finalisée en juillet 2022-2023, il est peu probable que les conditions de licence soient connues avant la mi-2021. S'ils ressemblent à ce que vous voyez sur la figure 3, VVC peut ne jamais sortir du sol.
9. Existe-t-il une redevance sur le contenu?
Si vous êtes un éditeur de diffusion en continu, les questions 4 à 8 déterminent la rapidité avec laquelle un codec peut être adopté par les développeurs de matériel et de logiciel, ce qui contrôle la rapidité avec laquelle vous pouvez commencer à utiliser le codec pour le diffuser à vos téléspectateurs. Cette question détermine combien il vous en coûtera en tant qu'éditeur de streaming pour déployer du contenu avec ce codec.
Encore une fois, les redevances de contenu ne sont pas inconnues et ne condamnent pas un codec à l’échec; HEVC et H.264 ont des redevances sur le contenu. De toute évidence, cependant, ces coûts doivent être insérés dans le modèle de rentabilité pour déterminer quand et s'il est économiquement judicieux de déployer le nouveau codec.
Regarder en arrière et en avant
Avec le recul, il est facile de comprendre pourquoi le H.264 a été (est) un tel succès: il offrait de modestes économies de bande passante mais jouait immédiatement sur les ordinateurs grâce à Flash, et offrait une entrée sur un nouveau marché (mobile). Les licences étaient contrôlées par un pool de brevets unique qui détenait la majorité des brevets associés, et bien que la lecture matérielle soit requise pour la lecture H.264 sur les appareils mobiles, la prise en charge matérielle était quasi universelle au départ et est rapidement devenue omniprésente.
En revanche, HEVC a fait ses débuts avec une structure de licence très décousue qui a découragé l'adoption de la technologie. Bien que la prise en charge HEVC soit quasi universelle sur les appareils mobiles, les téléviseurs intelligents et les dernières générations d'appareils OTT, le manque de prise en charge du navigateur réduit le retour sur investissement global, tandis que le manque de clarté sur les redevances de contenu est une préoccupation majeure pour de nombreux éditeurs. En conséquence, HEVC a été mis en œuvre principalement par des éditeurs distribuant des vidéos 4K et HDR dans le salon.