SC 29 専門委員会 (音声，画像，マルチメディア，ハイパーメディア情報符号化)
第1 種専門委員会
SC 29 専門委員会(音声，画像，マルチメディア，ハイパーメディア情報符号化/Coding of Audio, Picture, Multimedia and Hypermedia Information)
<2022年度委員会活動報告>
委員長 （鈴木 輝彦（ソニー・グループ(株)）
1. スコープ
・その他マルチメディア・センサ・ゲノム情報等の効率的符号化
・同期・蓄積・伝送・セキュリティ等のサポート
2. 参加国
3.トピックス
3.1 静止画像符号化関連トピック
a) JPEG AI
深層学習技術をベースとした静止画像符号化標準(ISO/IEC 6048)の検討が開始された． ITU-T SG 16 との共同作業を開始しました．要求事項の中に，ビットストリームを完全にデコードせずに，深層学習が得意とする画像認識等のコンピュータビジョンタスクを実行可能にすることが掲げられていることが特徴となっている．2024-04 の規格化終了を目指す．
b) JPEG Pleno
AI ベースの JPEG Pleno Point Cloudcoding の検討が進められている．Call for Proposal が発行され規格化が開始された．2025-01 の規格化終了を目指す．Holographyの符号化方式である JPEG Holography も提案募集を発行し，規格化を開始した．2024-04 の規格化終了を目指す．
c) その他
画質評価でまだ対処されていない品質範囲に対処するための JPEG AIC への新規追加，信頼性をもたらすための JPEG Trust など，新たなプロジェクトの可能性も検討されている．
d) 実用化状況
映画やTV番組のための映像制作におけるポストプロダクションツールにおいて，HTJ2K (High-Throughput JPEG 2000, ISO/IEC 15444-15) が採用された．JPEG XSは放送局内のIPベース映像伝送システム向けコーデックとしてソフトウェアSDK，およびFPGA実装など，いくつかの製品化がなされている．JPEG XLは，Adobe製品をはじめ，各種画像処理アプリケーションや，Apple製品などにおいて対応が進んでいる．
3.2 音声符号化関連トピック
a) MPEG-I Immersive Audio
VRやAR映像を伴う空間内での視聴者の自由な移動に応じた音響体験の実現を目指して, ISO/IEC 23090 MPEG-Iの第4部音響パートであるImmersive Audioの規格化が進められている．ISO/IEC 23090-4 MPEG-I immersive audio はWD を発行し，コア実験にて技術審議を進めている．2024年4月 に CD 発行を予定している．
b) MPEG-D DRC Loudness Levelling
ISO/IEC 23003-4:2020/Amd 2，ラウドネス レベリングの規格化を完了し，FDAM2 を発行した．ライブ ワークフロー向けのメタデータ ベースのラウドネス レベリングの仕様が含まれている。この新しいメタデータベースのアプローチは，再生デバイスの柔軟性と制御を維持しながら，高品質のラウドネス処理のための魅力的な方法を提供する．本技術は，MPEG-D USAC，MPEG-H 3D Audio，または MPEG-D DRC をサポートするその他のオーディオ コーデックと緊密に統合することが出来る。
c) Audio Coding for Machine
機械による Audio 解析に用いる Audio Coding for Machine の Requirement を議論が進んでいる．Call for Interest を発行し，参加者の意見を募集する．
d) 実用化状況
MPEG-H 3D Audioは, 欧州やアジア, 南米の放送規格での採用が進んでいる.日本においても, 次世代の放送方式の位置づけで評価が行われている．
3.3 映像符号化関連トピック
a) Versatile Video Coding (VVC)
VVCは，HEVCを上回る符号化効率を可能にする次世代のビデオ符号化規格の名称である．ITU-T SG16 WP3とISO/IEC SC29 WG 5の間で，VVC(ISO/IEC 23090-3) の標準化を行う団体Joint Video Experts Team (JVET)が設立され，2018年4月より検討が進められてきた．
また，2020年は，ISO/IEC 23090-3:202x Versatile video coding (3rd edition) および，ISO/IEC 23002-7:202x Versatile SEI messages (3rd edition) はFDIS を発行して規格化終了．規格の完成度を向上した．
b) Point Cloud Compression (PCC) およびDynamic Mesh (D-Mesh)
近年，物体の3次元構造を伴った動画像データの取得が容易になりつつある．このようなデータとして，Point Cloudに加え，カメラアレイから時系列データとして生成されたDynamic Meshがある． ISO/IEC SC29 WG 7において，既存のVideo codingを用いたDynamic Mesh符号化に向けて,技術公募が行われた．今後規格化に向けた議論が進んでいる．
c) その他
これまでの映像符号化技術は人が見て楽しむことを目的として，技術が発展してきた。しかし，映像解析等，深層学習技術をベースとしたクラウドでの映像信号処理技術が実用化されつつある．深層学習技術を活用し，クラウドでの様々な用途の映像処理に活用することを想定した映像圧縮符号化方式Video Coding for Machine(VCM)の検討が進んでいる．既存映像符号化技術よりも圧縮率が高い技術のエビデンスが確認され，技術公募が行われた．今後，活発な議論が進むことが期待される．
3.4 システム関連トピック
a) 全般
Immersive Media(ISO/IEC 23090-1～10)は第２版に重点が移った．AR/VR市場の拡大， IoTやクラウドサービスの拡大を反映し，KhronosやW3Cなどと連携し活発に進んでいる．3D CG のシーン記述はKhronos の glTF をベースに vendor extension として規格化を進めている．また，Haptics の符号化やゲームエンジンの利用についても検討を進めている．ISO/IEC 23090-31 Haptics coding の規格化が開始され，DIS を発行し，技術審議を進めている．また，適合性試験，参照ソフトウェアの規格化も進めている． Genomic Information Representation (ISO/IEC 23092-1～6)も第2版の標準化が始まり国際的に活発化している．b) MPEG-7
マルチメディア向けディープニューラルネットワーク(DNN)パラメータを圧縮符号化してネットワーク上で伝送しやすくするための規格ISO/IEC 15938-17が審議され，初版がFDIS化された．連合学習等向けパラメータ差分に対応する第二版，適合性試験と参照ソフトウェア(ISO/IEC 15938-18)が発行された．
4. 日本対応/方針
a) 静止画符号化関連
JPEG XS，XL などでは，既に日本から積極的に提案，関与を行っており，引き続き，標準化を推進して行く．また新たな標準化分野の探索も進んでおり，日本としても動向を注視していく．
b) 号化関連
MPEG-H 3D Audio は実用段階に入っており，日本としても普及促進を進める．また，MPEG-I Immersive Audio は，Reference Modelが決定し，コア実験が進められている. 日本としても積極的に活動，貢献していく．
c) 映像符号化関連
VVCの初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VVCは8K等 UHDや5Gでの応用が期待される．産業界と連携して，標準化と普及促進を進める．また，PCCも初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VRでの応用や，LiDARなど環境センシングへの応用が期待される．産業界と連携して，標準化と普及促進を進める．
d) システム関連
File Format，MMT，DASH などメディア伝送方式や，Genome, IoMT 等では拡張規格の標準化が引き続き活発に活動が続いており，日本としても動向を注視していく．
e) 新たな探索
Audio/Video/Systemsを横断して，VR関連の標準化をMPEG-I Immersive Videoとして，今後進めていく．また，これまでのビデオ符号化は人間が見る目的で開発が進められてきたが，センシングやAIの発達をにらみ，ビデオ解析等の用途に特化したビデオ圧縮符号化方式を規定するVideo Coding for Machines，またAIのビデオ符号化への応用を考えるJPEG AI, DNN for Video Codingの検討が進められている．これらはIoT等の多様な機械学習応用分野への展開が期待されるため，日本としてもこれらの活動に積極的に参加し標準化を推進していく．