SC 29 専門委員会 (音声,画像,ﾏﾙﾁﾒﾃﾞｨｱ,ﾊｲﾊﾟｰﾒﾃﾞｨｱ情報符号化)
第1 種専門委員会
SC 29 専門委員会(音声，画像，マルチメディア，ハイパーメディア情報符号化/Coding of Audio, Picture, Multimedia and Hypermedia Information)
委員長 （鈴木 輝彦（ソニー・グループ(株)）
1. スコープ
SC 29 専門委員会は，2019 年度にスコープの見直しを行い，2019年11月の JTC 1総会で承認された．
大綱は以下の通りである：
大綱は以下の通りである：
- デジタル静止画像・音声・ビデオの効率的符号化
- その他マルチメディア・センサ・ゲノム情報等の効率的符号化
- 同期・蓄積・伝送・セキュリティ等のサポート
2. 参加国
主な参加国は日本，米国，英国，ドイツ，フランス，オランダ，スイス，イタリア，オーストラリア，ベルギー，ポルトガル，中国，韓国などである．1991年 の設立以来幹事国を日本が継続して担当している．コミティマネージャは小池真由美氏（情報規格調査会）である．2020 年度は，DIS/DAM 投票 44 件, FDIS/FDAM 投票 27 件の投票を行った．日本からは23 名がプロジェクトエディタを引き受けている．
3.トピックス
3.1 静止画像符号化関連トピック
a) JPEG AI
深層学習技術をベースとした静止画像符号化標準 (ISO/IEC 6048)の検討が開始された．現在は，CfP の発行に向けて，ユースケースや要求事項，技術提案に対する評価方法が審議されている．要求事項の中に，ビットストリームを完全にデコードせずに，深層学習が得意とする画像認識等のコンピュータビジョンタスクを実行可能にすることが掲げられていることが特徴となっている．Final CfP の発行は 2021 年 10 月，WD の発行は 2022 年 10 月を予定している．
b) JPEG XL
Part 1 (Core coding system)および Part 2 (File format) の標準化は完了しており，現在 IS 出版待ちの状況である．Part 4 (Reference software)は DIS 段階に到達した．JPEG XL の参照ソフトウェアは，libjxl として git をベースに活発な開発が続けられており，ISO 標準(ISO/IEC 18181)としての参照ソフトウェアは git リポジトリのある時点のスナップショットとなる．Part 3 (Conformance testing)は CD 段階であるが，ハードウェアコーデックのような固定小数点実装に対応していない問題が日本から指摘されており，今後日本が中心となって検討が進められる予定である．
c) JPEG Pleno
JPEG Pleno Light Field (ISO/IEC 21794-2)については，標準化はほぼ完了しているが，深度マップ符号化のための JPEG 2000 Part 17 (ISO/IEC 15444-17)は現在 CD 段階である．現在，Point Cloud Coding と Holography が CfP 発行の準備を進めている段階である．
d) その他
JPEG XS (ISO/IEC 21122)と JPEG XL の 2 つのプロジェクトから，HDR 画像を対象とした画質評価方法に対する新たな提案がなされ，AIC (ISO/IEC 29170)の中で検討が進められることとなった．JPEG 内には他に，試験的なプロジェクトとして，フェイク 画像を検出するフレームワークの Fake media，DNA を用いた情報記録技術のJPEGファミリー標準への応 用である DNA based media storage，NFT の応用 可能性を検討する JPEG NFT が存在する．
e) 実用化状況
映画や TV 番組のための映像制作におけるポストプロダクションツールにおいて， HTJ2K (High Throughput JPEG 2000, ISO/IEC 15444-15) が採用された．JPEG XS は放送局内の IP ベース映像伝送システム向けコーデックとしていくつかの製品化がなされている．JPEG XL は，Chromium ベースのブラウザ(Google Chrome，Microsoft Edge など)で対応が進んでいる．
深層学習技術をベースとした静止画像符号化標準 (ISO/IEC 6048)の検討が開始された．現在は，CfP の発行に向けて，ユースケースや要求事項，技術提案に対する評価方法が審議されている．要求事項の中に，ビットストリームを完全にデコードせずに，深層学習が得意とする画像認識等のコンピュータビジョンタスクを実行可能にすることが掲げられていることが特徴となっている．Final CfP の発行は 2021 年 10 月，WD の発行は 2022 年 10 月を予定している．
b) JPEG XL
Part 1 (Core coding system)および Part 2 (File format) の標準化は完了しており，現在 IS 出版待ちの状況である．Part 4 (Reference software)は DIS 段階に到達した．JPEG XL の参照ソフトウェアは，libjxl として git をベースに活発な開発が続けられており，ISO 標準(ISO/IEC 18181)としての参照ソフトウェアは git リポジトリのある時点のスナップショットとなる．Part 3 (Conformance testing)は CD 段階であるが，ハードウェアコーデックのような固定小数点実装に対応していない問題が日本から指摘されており，今後日本が中心となって検討が進められる予定である．
c) JPEG Pleno
JPEG Pleno Light Field (ISO/IEC 21794-2)については，標準化はほぼ完了しているが，深度マップ符号化のための JPEG 2000 Part 17 (ISO/IEC 15444-17)は現在 CD 段階である．現在，Point Cloud Coding と Holography が CfP 発行の準備を進めている段階である．
d) その他
JPEG XS (ISO/IEC 21122)と JPEG XL の 2 つのプロジェクトから，HDR 画像を対象とした画質評価方法に対する新たな提案がなされ，AIC (ISO/IEC 29170)の中で検討が進められることとなった．JPEG 内には他に，試験的なプロジェクトとして，フェイク 画像を検出するフレームワークの Fake media，DNA を用いた情報記録技術のJPEGファミリー標準への応 用である DNA based media storage，NFT の応用 可能性を検討する JPEG NFT が存在する．
e) 実用化状況
映画や TV 番組のための映像制作におけるポストプロダクションツールにおいて， HTJ2K (High Throughput JPEG 2000, ISO/IEC 15444-15) が採用された．JPEG XS は放送局内の IP ベース映像伝送システム向けコーデックとしていくつかの製品化がなされている．JPEG XL は，Chromium ベースのブラウザ(Google Chrome，Microsoft Edge など)で対応が進んでいる．
3.2 音声符号化関連トピック
a) MPEG-I
音響空間内での視聴者の自由な移動を実現するための符号化及びレンダリングに関する技術議論を行っている．2018 年に提案募集の予定であったが，ユースケースと対象コンテンツの議論に多くの時間を費やし，3 年程度遅れて 2021 年 4 月に提案募集が発行された．現在は，評価音源及び評価指標を中心に議論を行っている．
b) MPEG-H 3D Audio
ISO/IEC 23008 MPEG-H の第 3 部音響パートとして検討が開始された 3D Audio においては，チャネルベース符号化及びオブジェクトベース符号化を含むBaseline Profile が 23008-3:2019 Ed2 の AMD2 として 2020 年 12 月に発行された．この Baseline Profile は，規格化済みの LC Profile からアンビソニックを除いたものになっている．また，上記 Ed２の AMD2 と AMD1 を統合した 23008-3:2019 Ed3 の FDIS が 7 月に発行された．
c) MPEG-D USAC
23003-3 からリファレンスソフトウェア及びコンフォーマンスが，それぞれ 23003-6 及び 23003-7 に移動されて，23003-3 Ed2 DAmd 1 が 4 月に発行された．
d) 実用化状況
MPEG-H 3D Audio は，欧州やアジアの放送規格での採用が進み，試験が行われている状況である．また, 日本においても，次世代の放送方式の位置づけで評価が行われている．
音響空間内での視聴者の自由な移動を実現するための符号化及びレンダリングに関する技術議論を行っている．2018 年に提案募集の予定であったが，ユースケースと対象コンテンツの議論に多くの時間を費やし，3 年程度遅れて 2021 年 4 月に提案募集が発行された．現在は，評価音源及び評価指標を中心に議論を行っている．
b) MPEG-H 3D Audio
ISO/IEC 23008 MPEG-H の第 3 部音響パートとして検討が開始された 3D Audio においては，チャネルベース符号化及びオブジェクトベース符号化を含むBaseline Profile が 23008-3:2019 Ed2 の AMD2 として 2020 年 12 月に発行された．この Baseline Profile は，規格化済みの LC Profile からアンビソニックを除いたものになっている．また，上記 Ed２の AMD2 と AMD1 を統合した 23008-3:2019 Ed3 の FDIS が 7 月に発行された．
c) MPEG-D USAC
23003-3 からリファレンスソフトウェア及びコンフォーマンスが，それぞれ 23003-6 及び 23003-7 に移動されて，23003-3 Ed2 DAmd 1 が 4 月に発行された．
d) 実用化状況
MPEG-H 3D Audio は，欧州やアジアの放送規格での採用が進み，試験が行われている状況である．また, 日本においても，次世代の放送方式の位置づけで評価が行われている．
3.３ 映像符号化関連トピック
a) Versatile Video Coding (VVC)
VVC は，HEVC を上回る符号化効率を可能にする次世代のビデオ符号化規格の名称である．ITU-T SG16 WP3 と ISO/IEC SC29 WG 5 の間で，VVC の標準化を行う団体 Joint Video Experts Team (JVET)が設立され，2018 年 4 月より検討が進められてきた．2020 年 7 月に FDIS を発行し，初版規格の標準化を終了した．現在は高 Bitdepth 等，業務用アプリケーションに向けた拡張が検討されている．
b) Point Cloud Compression (PCC)
近年，物体の 3 次元構造を伴った動画像データの取得が容易になりつつある．このようなデータとして，3 次元の位置情報(X, Y, Z)と色情報(R, G, B)等の属性情報で構成されるPoint Cloud がある．Point Cloud は，容易に生成できる一方，データ量が膨大になる． 実用化に向けて，圧縮技術が重要となっている． ISO/IEC SC29 WG 7 において，PCC の標準化が進められた．モバイルでの VR/AR を想定した Video based PCC(V-PCC)と，車載などのセンシングデータの圧縮を想定した Geometry-based PCC(G-PCC)の二方式の標準化が進められた．V-PCC は 2020 年 7 月に, G-PCC は 2020 年 10 月に FDIS を発行し，それぞれ初版規格の標準化を終了した．
VVC は，HEVC を上回る符号化効率を可能にする次世代のビデオ符号化規格の名称である．ITU-T SG16 WP3 と ISO/IEC SC29 WG 5 の間で，VVC の標準化を行う団体 Joint Video Experts Team (JVET)が設立され，2018 年 4 月より検討が進められてきた．2020 年 7 月に FDIS を発行し，初版規格の標準化を終了した．現在は高 Bitdepth 等，業務用アプリケーションに向けた拡張が検討されている．
b) Point Cloud Compression (PCC)
近年，物体の 3 次元構造を伴った動画像データの取得が容易になりつつある．このようなデータとして，3 次元の位置情報(X, Y, Z)と色情報(R, G, B)等の属性情報で構成されるPoint Cloud がある．Point Cloud は，容易に生成できる一方，データ量が膨大になる． 実用化に向けて，圧縮技術が重要となっている． ISO/IEC SC29 WG 7 において，PCC の標準化が進められた．モバイルでの VR/AR を想定した Video based PCC(V-PCC)と，車載などのセンシングデータの圧縮を想定した Geometry-based PCC(G-PCC)の二方式の標準化が進められた．V-PCC は 2020 年 7 月に, G-PCC は 2020 年 10 月に FDIS を発行し，それぞれ初版規格の標準化を終了した．
3.4 システム関連トピック
a) 全般
MPEG Media Transport (MMT), Dynamic Adaptive Streaming over HTTP (DASH)は多くの実用例がありメンテナンスも活発である . Immersive Media(ISO/IEC 23090-1～10)は第２版に重点が移った．AR/VR 市場の拡大， IoT やクラウドサービスの拡大を反映し，クロノスや W3C などと連携し活発に進んでいる．Internet of Media Things (ISO/IEC 23093-1 ～ 3) と Genomic Information Representation (ISO/IEC 23092-1～6)も第 2 版の標準化が始まり国際的に活発化している. MPEG Smart Contract は来年度の NP 化を目指し検討が進んでいる．
b) MPEG-7
マルチメディア向けディープニューラルネットワーク(DNN)パラメータを圧縮符号化してネットワーク上で伝送しやすくするための規格 ISO/IEC 15938-17 が WG4 にて審議されている．初版が FDIS 化された．連合学習等向けパラメータ差分に対応する第二版，適合性試験と参照ソフトウェア (ISO/IEC 15938-18)がともに WD 化された．映像解析等の用途に特化した映像圧縮符号化方式を規定する Video Coding for Machine(VCM)の要件がWG2 にて審議されている．既存映像符号化技術よりも圧縮率が高い技術のエビデンス公募が行われた．技術公募のフェーズへの移行に十分なエビデンス探索が継続される．
MPEG Media Transport (MMT), Dynamic Adaptive Streaming over HTTP (DASH)は多くの実用例がありメンテナンスも活発である . Immersive Media(ISO/IEC 23090-1～10)は第２版に重点が移った．AR/VR 市場の拡大， IoT やクラウドサービスの拡大を反映し，クロノスや W3C などと連携し活発に進んでいる．Internet of Media Things (ISO/IEC 23093-1 ～ 3) と Genomic Information Representation (ISO/IEC 23092-1～6)も第 2 版の標準化が始まり国際的に活発化している. MPEG Smart Contract は来年度の NP 化を目指し検討が進んでいる．
b) MPEG-7
マルチメディア向けディープニューラルネットワーク(DNN)パラメータを圧縮符号化してネットワーク上で伝送しやすくするための規格 ISO/IEC 15938-17 が WG4 にて審議されている．初版が FDIS 化された．連合学習等向けパラメータ差分に対応する第二版，適合性試験と参照ソフトウェア (ISO/IEC 15938-18)がともに WD 化された．映像解析等の用途に特化した映像圧縮符号化方式を規定する Video Coding for Machine(VCM)の要件がWG2 にて審議されている．既存映像符号化技術よりも圧縮率が高い技術のエビデンス公募が行われた．技術公募のフェーズへの移行に十分なエビデンス探索が継続される．
4. 日本対応/方針
a) 静止画符号化関連
JPEG XS，XL などでは、既に日本から積極的に提案、関与を行っており，引き続き，標準化を推進して行く．また新たな標準化分野の探索も進んでおり，日本としても動向を注視していく．
c) 音声符号化関連
MPEG-H 3D Audio は実用段階に入っており、日本としても普及促進を進める．また， MPEG-I Immersive Audio は，現在提案募集が準備中であり、日本としても積極的に活動，貢献していく．
d) 映像符号化関連
VVC の初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VVC は 8K 等 UHD や 5G での応用が期待される．産業界と連携して，標準化と普及促進を進める．また，PCC も初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VR での応用や，LiDAR など環境センシングへの応用が期待される．産業界と連携して，標準化と普及促進を進める．
e) システム関連
File Format，MMT，DASH などメディア伝送方式や， Genome, IOTM 等では拡張規格の標準化が引き続き活発に活動が続いており，日本としても動向を注視していく．
d) 新たな探索
Audio/Video/Systems を横断して，VR 関連の標準化を MPEG-I Immersive Video として，今後進めていく．また，これまでのビデオ符号化は人間が見る目的で開発が進められてきたが，センシングや AI の 発達をにらみ，ビデオ解析等の用途に特化したビデオ圧縮符号化方式を規定する Video Coding for Machines，また AI のビデオ符号化への応用を考える DNN for Video Coding の検討が進められている．これらは IoT 等の多様な機械学習応用分野への展開が期待されるため，日本としてもこれらの活動に積極的に参加し標準化を推進していく．
JPEG XS，XL などでは、既に日本から積極的に提案、関与を行っており，引き続き，標準化を推進して行く．また新たな標準化分野の探索も進んでおり，日本としても動向を注視していく．
c) 音声符号化関連
MPEG-H 3D Audio は実用段階に入っており、日本としても普及促進を進める．また， MPEG-I Immersive Audio は，現在提案募集が準備中であり、日本としても積極的に活動，貢献していく．
d) 映像符号化関連
VVC の初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VVC は 8K 等 UHD や 5G での応用が期待される．産業界と連携して，標準化と普及促進を進める．また，PCC も初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VR での応用や，LiDAR など環境センシングへの応用が期待される．産業界と連携して，標準化と普及促進を進める．
e) システム関連
File Format，MMT，DASH などメディア伝送方式や， Genome, IOTM 等では拡張規格の標準化が引き続き活発に活動が続いており，日本としても動向を注視していく．
d) 新たな探索
Audio/Video/Systems を横断して，VR 関連の標準化を MPEG-I Immersive Video として，今後進めていく．また，これまでのビデオ符号化は人間が見る目的で開発が進められてきたが，センシングや AI の 発達をにらみ，ビデオ解析等の用途に特化したビデオ圧縮符号化方式を規定する Video Coding for Machines，また AI のビデオ符号化への応用を考える DNN for Video Coding の検討が進められている．これらは IoT 等の多様な機械学習応用分野への展開が期待されるため，日本としてもこれらの活動に積極的に参加し標準化を推進していく．
５. その他
SC29 主催で 2021 年 2 月 12 日(金)にオンラインにて短期集中セミナー「 新 生 SC 29 による JPEG/MPEG 標準化最新動向 ～機械学習応用・実用化技術・将来像も交えて～」開催報告」を開催し，47 名の参加者を集め成功裏に終了した．