SC 29 専門委員会 (音声，画像，マルチメディア，ハイパーメディア情報符号化)

委員長 （鈴木 輝彦（ソニー・グループ(株)）

　SC 29 専門委員会は，2019年度にスコープの見直しを行い，2019年11月のJTC 1総会で承認された．大綱は以下の通りである：

• デジタル静止画像・音声・ビデオの効率的符号化
• その他マルチメディア・センサ・ゲノム情報等の効率的符号化
• 同期・蓄積・伝送・セキュリティ等のサポート

　主な参加国は日本，米国，英国，ドイツ，フランス，オランダ，スイス，イタリア，オーストラリア，ベルギー，ポルトガル，中国，韓国などである．P-member 29ヶ国，O-member 17ヶ国．1991年の設立以来幹事国を日本が継続して担当している．コミティマネージャは小池真由美氏（情報規格調査会）である．2021年度は，DIS/DAM投票44件，FDIS/FDAM投票27件の投票を行った．日本からは23名がプロジェクトエディタを引き受けている．

a) JPEG AI

　深層学習技術をベースとした静止画像符号化標準(ISO/IEC 6048)の検討が開始された．要求事項の中に，ビットストリームを完全にデコードせずに，深層学習が得意とする画像認識等のコンピュータビジョンタスクを実行可能にすることが掲げられていることが特徴となっている．Final CfP (Call for Proposal) を 2022年1月に発行し、提案募集を開始した．これと同時に，技術提案に対する評価方法を定めたドキュメントであるCTTC(Common Training and Test Condition)も合わせて発行されている．

b) JPEG Pleno

　Light field 画像を符号化するJPEG Pleno Light Field (ISO/IEC 21794-2)は、2021年4月に規格化を終了した．Point Cloud Codingについては2022年1月にFinal CfPが発行されている．現在，HolographyがCfP発行の準備を進めている段階である．

c) その他

　試験的なプロジェクトとして，フェイク画像を検出するフレームワークのFake media，DNAを用いた情報記録技術のJPEGファミリー標準への応用であるDNA based media storage，NFTの応用可能性を検討するJPEG NFTが存在する．

d) 実用化状況

　映画やTV番組のための映像制作におけるポストプロダクションツールにおいて，HTJ2K (High-Throughput JPEG 2000, ISO/IEC 15444-15) が採用された．JPEG XSは放送局内のIPベース映像伝送システム向けコーデックとしてソフトウェアSDK，およびFPGA実装など，いくつかの製品化がなされている．JPEG XLは，Chromiumベースのブラウザ(Google Chrome，Microsoft Edgeなど)や，各種画像処理オープンソースプロジェクトにおいて対応が進んでいる．

a) MPEG-I

　VRやAR映像を伴う空間内での視聴者の自由な移動に応じた音響体験の実現を目指して, ISO/IEC 23090 MPEG-Iの第4部音響パートであるImmersive Audioの技術提案募集(CfP, Call for Proposal)が2021年4月に発行された．9月に提案募集が締め切られ, 日本, 韓国, 米国, ドイツ, オランダ, フィンランド, スウェーデンから技術提案があった. 提案各社から11月にビットストリーム, デコーダ, レンダラーが提出され, 主観評価実験が実施された. 各提案技術による音響がVR及びAR映像に対してどの程度「自然」かに基づいて主観評価実験が実施された. 計算量やメモリ使用量なども考慮した上で, 2022年1月にReference Model 0(RM0)が決定した.

b) MPEG-H 3D Audio

　ISO/IEC 23008 MPEG-Hの第3部音響パートである3D Audioにおいては, 過去のAmdを統合しEd3が8月に発行された. また, リファレンスソフトウェア(23008-6), コンフォーマンス(23008-9)についても内容が更新されて, それぞれEd3が2021年10月に, Ed2が2022年3月にそれぞれ発行された.

c) MPEG-D Dynamic Range Control (DRC)

　ISO/IEC 23003-4 DRCについては, シグナルパス以外のサイドチェイン入力による正規化に対応したAmd1が2022年7月に発行された．

d) 実用化状況

　MPEG-H 3D Audioは, 欧州やアジア, 南米の放送規格での採用が進んでいる.日本においても, 次世代の放送方式の位置づけで評価が行われている．

a) Versatile Video Coding (VVC)

　VVCは，HEVCを上回る符号化効率を可能にする次世代のビデオ符号化規格の名称である．ITU-T SG16 WP3とISO/IEC SC29 WG 5の間で，VVC(ISO/IEC 23090-3) の標準化を行う団体Joint Video Experts Team (JVET)が設立され，2018年4月より検討が進められてきた．現在は高Bitdepth等，業務用アプリケーションに向けた拡張が検討されており、2022 年 1月に 第2版のFDIS を発行した．

b) Point Cloud Compression (PCC) およびDynamic Mesh (D-Mesh)

近年，物体の3次元構造を伴った動画像データの取得が容易になりつつある．このようなデータとして，Point Cloudに加え，カメラアレイから時系列データとして生成されたDynamic Meshがある． ISO/IEC SC29 WG 7において，既存のVideo codingを用いたDynamic Mesh符号化に向けて,技術公募が行われた．今後規格化に向けた議論が行われる．

c) その他

これまでの映像符号化技術は人が見て楽しむことを目的として、技術が発展してきた。しかし、映像解析等、深層学習技術をベースとしたクラウドでの映像信号処理技術が実用化されつつある．深層学習技術を活用し、クラウドでの様々な用途の映像処理に活用することを想定した映像圧縮符号化方式Video Coding for Machine(VCM)の検討が進んでいる．既存映像符号化技術よりも圧縮率が高い技術のエビデンスが確認され、技術公募にむけた議論が進められた．

a) 全般 　

　MPEG Media Transport (MMT), Dynamic Adaptive Streaming over HTTP (DASH)は多くの実用例がありメンテナンスも活発である . Immersive Media(ISO/IEC 23090-1～10)は第２版に重点が移った．AR/VR 市場の拡大， IoT やクラウドサービスの拡大を反映し，クロノスや W3C などと連携し活発に進んでいる．Internet of Media Things (ISO/IEC 23093-1 ～ 3) と Genomic Information Representation (ISO/IEC 23092-1～6)も第 2 版の標準化が始まり国際的に活発化している. MPEG Smart Contract は来年度の NP 化を目指し検討が進んでいる．

b) MPEG-7 　

　マルチメディア向けディープニューラルネットワーク(DNN)パラメータを圧縮符号化してネットワーク上で伝送しやすくするための規格 ISO/IEC 15938-17 が WG4 にて審議されている．初版が FDIS 化された．連合学習等向けパラメータ差分に対応する第二版，適合性試験と参照ソフトウェア (ISO/IEC 15938-18)がともに WD 化された．映像解析等の用途に特化した映像圧縮符号化方式を規定する Video Coding for Machine(VCM)の要件がWG2 にて審議されている．既存映像符号化技術よりも圧縮率が高い技術のエビデンス公募が行われた．技術公募のフェーズへの移行に十分なエビデンス探索が継続される．

a) 静止画符号化関連

　JPEG XS，XL などでは、既に日本から積極的に提案、関与を行っており，引き続き，標準化を推進して行く．また新たな標準化分野の探索も進んでおり，日本としても動向を注視していく．

b) 音声符号化関連

　MPEG-H 3D Audio は実用段階に入っており、日本としても普及促進を進める．また，MPEG-I Immersive Audio は，Reference Model 0(RM0)が決定し、コア実験が進められている. 日本としても積極的に活動，貢献していく．

c) 映像符号化関連

　VVCの初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VVCは8K等 UHDや5Gでの応用が期待される．産業界と連携して，標準化と普及促進を進める．また，PCCも初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VRでの応用や，LiDARなど環境センシングへの応用が期待される．産業界と連携して，標準化と普及促進を進める．

d) システム関連

　File Format，MMT，DASH などメディア伝送方式や，Genome, IOTM 等では拡張規格の標準化が引き続き活発に活動が続いており，日本としても動向を注視していく．

e) 新たな探索

　Audio/Video/Systemsを横断して，VR関連の標準化をMPEG-I Immersive Videoとして，今後進めていく．また，これまでのビデオ符号化は人間が見る目的で開発が進められてきたが，センシングやAIの発達をにらみ，ビデオ解析等の用途に特化したビデオ圧縮符号化方式を規定するVideo Coding for Machines，またAIのビデオ符号化への応用を考えるJPEG AI, DNN for Video Codingの検討が進められている．これらはIoT等の多様な機械学習応用分野への展開が期待されるため，日本としてもこれらの活動に積極的に参加し標準化を推進していく．

　SC29主催で2021年11月30日(火)にオンラインにて短期集中セミナー「SC29 JPEG/MPEG標準化最新動向とAI技術の活用、メディア符号化の未来」を開催し，昨年度を上回る51名の参加者を集め成功裏に終了した．