SC 29 専門委員会 (音声，画像，マルチメディア，ハイパーメディア情報符号化)

委員長 （鈴木 輝彦（ソニー・グループ(株)）

SC 29は，2019年度にスコープの見直しを行った．大綱は以下の通りである：

• デジタル静止画像・音声・ビデオの効率的符号化
• その他マルチメディア・センサ・ゲノム情報等の効率的符号化
• 同期・蓄積・伝送・セキュリティ等のサポート

SC 29 専門委員会では，SC 29 の国際会議対応，および SC 29 で策定した規格の普及促進を目的として活動している．

主な参加国は日本，米国，英国，ドイツ，フランス，オランダ，スイス，イタリア，オーストラリア，ベルギー，ポルトガル，中国，韓国などである．P-member 30ヶ国，O-member 18ヶ国．1991年の設立以来幹事国を日本が継続して担当している．コミティマネージャは小池真由美氏（情報規格調査会）である．2021年度は，DIS/DAM投票36件，FDIS/FDAM投票30件の投票を行った．日本からは11名がプロジェクトエディタを引き受けている．

a) JPEG AI

深層学習技術をベースとした静止画像符号化標準(ISO/IEC 6048)の検討が開始された． ITU-T SG 16 との共同作業を開始しました．要求事項の中に，ビットストリームを完全にデコードせずに，深層学習が得意とする画像認識等のコンピュータビジョンタスクを実行可能にすることが掲げられていることが特徴となっている．2024-10 の規格化終了を目指す．

b) JPEG Pleno

AI ベースの JPEG Pleno Point Cloudcoding　の検討が進められている．Call for Proposal が発行され規格化が開始された．2025-01 の規格化終了を目指す．Holographyの符号化方式である JPEG Holography も提案募集を発行し，規格化を開始した．2024-10 の規格化終了を目指す．

c) その他

画質評価でまだ対処されていない品質範囲に対処するための JPEG AIC への新規追加，Event-driven Senor 向けの圧縮方式 JPEG XE など，新たなプロジェクトの可能性も検討されている．

d) 実用化状況

映画やTV番組のための映像制作におけるポストプロダクションツールにおいて，HTJ2K (High-Throughput JPEG 2000, ISO/IEC 15444-15) が採用された．JPEG XSは放送局内のIPベース映像伝送システム向けコーデックとしてソフトウェアSDK，およびFPGA実装など，いくつかの製品化がなされている．JPEG XLは，Adobe製品をはじめ，各種画像処理アプリケーションや，Apple製品などにおいて対応が進んでいる．
 

a) MPEG-I Immersive audio

VRやARなどを活用した仮想空間における，視聴者の自由な移動（6DoF）に対応した音再生を目指して, ISO/IEC 23090 MPEG-Iの第4部オーディオパートであるImmersive audioの規格化が進められている．2023年度は，規格の第一版にあたるPhase 1の策定を目指して，コア実験を進めた．2024年4月 に，承認されたコア実験を統合したCDの 発行を予定している．またWG3と協働し，映音コンテンツのシーン記述について議論を重ねた．

b) MPEG-４ Audio Audio lossless coding（ALS）

ISO/IEC 14496-3 MPEG-4 AudioのALS の新レベル（最大8チャンネル・192kHzサンプリング）に対応したISO/IEC 14496-26 Audio conformance第2版のFDISを発行した。

c) MPEG-D DRC

ISO/IEC 23003-4 MPEG-D DRC第2版と，第2版のAmd １・Amd 2を統合して，新たに第3版を発行した．

d) Audio Coding for Machine

機械による音響解析に用いる Audio Coding for Machine の Work planを作成した．今後Call for Evidenceを発行し，想定するユースケースや技術のフレームワークの妥当性を検証していく．

e) WG6の運営体制

前議長の退任に伴い，新議長および3名のチェアによる，分担制の新体制を発足した．

f) 実用化状況

MPEG-H 3D audioは, 欧州やアジア, 南米の放送規格での採用が進んでいる.日本においても, 高度地上デジタルテレビジョン放送の音声符号化方式の一候補として，ARIBでの規格化が進められている．
 

a) Versatile Video Coding (VVC)

VVCは，HEVCを上回る符号化効率を可能にする次世代のビデオ符号化規格の名称である．ITU-T SG16 WP3とISO/IEC SC29 WG 5の間で，VVC(ISO/IEC 23090-3) の標準化を行う団体Joint Video Experts Team (JVET)が設立され，2018年4月より検討が進められてきた．
また，2020年は，ISO/IEC 23090-3:202x Versatile video coding (3rd edition) および，ISO/IEC 23002-7:202x Versatile SEI messages (3rd edition) はFDIS を発行し出版準備中．規格の完成度を向上した．

b) Point Cloud Compression (PCC) およびDynamic Mesh (D-Mesh)

近年，物体の3次元構造を伴った動画像データの取得が容易になりつつある．このようなデータとして，Point Cloudに加え，カメラアレイから時系列データとして生成されたDynamic Meshがある． ISO/IEC SC29 WG 7において，既存のVideo codingを用いたDynamic Mesh符号化に向けて,技術公募が行われた．ISO/IEC 23090-29 Video-based dynamic mesh coding (V-DMC) として規格化が開始された．

c) その他

これまでの映像符号化技術は人が見て楽しむことを目的として，技術が発展してきた。しかし，映像解析等，深層学習技術をベースとしたクラウドでの映像信号処理技術が実用化されつつある．深層学習技術を活用し，クラウドでの様々な用途の映像処理に活用することを想定した映像圧縮符号化方式の検討が進んでいる．今後，活発な議論が進むことが期待される．
 

a) 全般

Immersive Media(ISO/IEC 23090)の規格化が進んでいる．AR/VR市場の拡大， IoTやクラウドサービスの拡大を反映し，KhronosやW3Cなどと連携し活発に進んでいる．3D CG のシーン記述はKhronos の glTF をベースに vendor extension として規格化を進めている．ISO/IEC 23090-14 Scene Description として規格化される．ゲームエンジンを利用したアーキテクチャISO/IEC 23090-27 DTR Media and architectures for render-based systems and applicationsの検討が進んでいる．また，Haptics の符号化やゲームエンジンの利用についても検討を進めている．ISO/IEC 23090-31 Haptics coding として規格され 2024年1月FDISを発行したまた，適合性試験，参照ソフトウェアの規格化も進めている．

b) MPEG-7

マルチメディア向けディープニューラルネットワーク(DNN)パラメータを圧縮符号化してネットワーク上で伝送しやすくするための規格ISO/IEC 15938-17が審議が進みFDISが発行された．
 

a) 静止画符号化関連

JPEG XS，XL などでは，既に日本から積極的に提案，関与を行っており，引き続き，標準化を推進して行く．また新たな標準化分野の探索も進んでおり，日本としても動向を注視していく．

b) オーディオ符号化関連

MPEG-H 3D Audio は実用段階に入っており，日本としても普及促進を進める．また，MPEG-I Immersive Audio は，Reference Modelが決定し，コア実験が進められている. 日本としても積極的に活動，貢献していく．

c) 映像符号化関連

VVCの初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VVCは8K等 UHDや5Gでの応用が期待される．産業界と連携して，標準化と普及促進を進める．また，PCCも初版規格の標準化が完了し，今後は互換性確保のための標準化や，普及促進が課題となる．VRでの応用や，LiDARなど環境センシングへの応用が期待される．産業界と連携して，標準化と普及促進を進める．

d) システム関連

イマーシブメディア伝送方式、メタバースを想定した伝送方式の検討がが引き続き活発に進んでおり，日本としても動向を注視していく．

e) 新たな探索

Audio/Video/Systemsを横断して，VR関連の標準化をMPEG-I Immersive Videoとして，今後進めていく．また，これまでのビデオ符号化は人間が見る目的で開発が進められてきたが，センシングやAIの発達をにらみ，ビデオ解析等の用途に特化したビデオ圧縮符号化方式を規定するVideo Coding for Machines，またAIのビデオ符号化への応用を考えるJPEG AI, DNN for Video Codingの検討が進められている．これらはIoT等の多様な機械学習応用分野への展開が期待されるため，日本としてもこれらの活動に積極的に参加し標準化を推進していく．
 

SC29専門委員会主催で2023年１1月28日(火)にハイブリッド開催にて短期集中セミナー「JPEG/MPEG最前線 ～国際標準化最新動向、AI に向けた取り組みとメタバースを実現する技術～」を開催し，対面参加 12名、 合計51名の参加者を集め成功裏に終了した．学生も 5 名参加された．若手の育成にも力を入れていきたい．