QA4AI自動運転WGでのAIプロダクト品質保証ガイドライン改訂の取り組みを紹介します！

STJ
2021.08.09

こんにちは、センスタイムジャパンの真鍋です。
センスタイムジャパンでは、自動運転や先進運転支援システム(ADAS)を支えるAI技術の研究・開発を行いその量産化を目指しています。しかし、自動運転車を含むAIの品質保証方法は未だ確立されていません。AIはその開発方法がこれまでのソフトウェア開発と異なるため、これまでの伝統的な品質保証方法は無力もしくは効果が限定的となり、今までの品質保証方法が使えないという状況に直面しています。

そこで、センスタイムジャパンでは、これらのチャレンジングな課題に取り組む組織やメンバと共に議論し成果物を作る取り組みを進めています。
その一つが、前回紹介したAutomotive SPICEにおけるAI品質保証研究会での取り組みです。こちらでは、Automotive SPICEによるアセスメントや車載開発プロセスにおけるAIの扱いを議論しています。

もう一つが、今回紹介するQA4AI自動運転WG(Working Group)でのAIプロダクト品質保証ガイドライン作成の取り組みです。
本記事では、2021年6月18日に開催されたOpen QA4AI Conference 2021[1]の内容をもとに、AI品質保証の課題とQA4AI自動運転WGでの今後のガイドライン改訂内容について紹介します。

AI品質保証の課題

AIの品質保証は、今までのソフトウェア品質保証とは何が違い、何が難しいのでしょうか？
一番の違いは、その開発方法にあります。
従来のソフトウェア開発は演繹的開発と呼ばれ、定義された仕様に従いその振る舞い設計し、ソフトウェアとして実装します。
一方、機械学習を用いたAI開発は帰納的開発と呼ばれ、データを学習させることでその振る舞いを帰納的に決定させます。
開発方法が異なることにより、演繹的開発を前提としてきたこれまでの品質保証の手法が無力もしくは限定的な効果しか持たなくなります。例えば、内部設計や実装のレビュー、統計的メトリクス、プロセスに着目した品質保証などが十分機能しなくなってしまいます。
今までの品質保証方法が使えない。。。これがAI品質保証の難しさの一つです。

ディープラーニングを用いたAI開発は、アルゴリズムにあたる判断部分をコンピュータが自動的に大量の特徴量として抽出します。この膨大な特徴量により複雑な判断が可能となりました。しかし、この特徴量が意味するところを本当の意味で理解することはできません。このような本当の意味での因果関係を理解できないものをどうやって品質保証するのか？これがAI品質保証の課題と考えます。

QA4AIコンソーシアムについて

では、AIの品質保証はどうやればいいのでしょうか？
その解を導き出すべく、産学官でオープンに議論する場として設立されたのが、QA4AIコンソーシアム(正式名称「AIプロダクト品質保証コンソーシアム」)です。
2018年4月に設立され、現在70名のメンバと3組織から構成されています。
2019年5月には日本初のAIプロダクトの品質に関するガイドラインが発行されました。その後、継続的に改訂版が発行されており、最新版ガイドラインはQA4AI Downloadから取得することができます。

AIプロダクト品質保証ガイドライン
AIプロダクト品質保証ガイドライン 2020年08月版[2]

QA4AIコンソーシアムの特徴
  1. オープンなコラボレーションの場
    • 議論し（て成果物を作り）たい人だけが集まる場
  2. 類似の活動を行っている全ての組織とハーモナイズ
    • 機械学習工学研究会(MLSE)/産総研(AIQM)/JAXA/SEAMSプロジェクト(名古屋大など)/NII(eAI)/JTC1-SC42(ISO/IEC)など
    • 多くの組織の主要メンバがQA4AIコンソーシアムに名を連ねている
    • 2021年6月18日に開催されたOpen QA4AI Conference 2021においても、AI搭載システムの品質に関するさまざまな検討を推進している国内6団体が一堂に会し、それぞれの成果が紹介されました。
  3. マルチドメイン＆テクノロジによるワーキンググループでの議論
    • 生成系、Voice User Interface、産業用プロセス、自動運転、AI-OCR（AIを利用した光学文字認識）、XAI（Explainable AI、説明可能なAI)の6つのワーキンググループ
    • 横断的に法的側面についても議論

QA4AI自動運転WG

QA4AI自動運転WGは、QA4AIの6つのワーキンググループの1つです。QA4AI設立当初から活発な議論が重ねられ、2019年5月版、2020年8月版と精力的に改訂がなされています。


引用元：QA4AI自動運転WG 活動紹介, Open QA4AI Conference 2021, 2021年6月18日[3]

QA4AI自動運転WGでの取り組み

私は2020年7月より本ワーキンググループに参画しています。ちょうど2020年8月版が完成していたため、次期ガイドライン改訂の取り組みから参加しています。
次はどのようなガイドラインにするか？有志の集まりでもあるため、みんなフラットかつ率直に意見を出し合いました。そして辿り着いた答えと思いが次の2枚のスライドにまとめられています。これはOpen QA4AI Conference 2021内の「QA4AI 自動運転WG 活動紹介」[3]にて発表された内容になります。

次期ガイドライン改訂内容

引用元：QA4AI自動運転WG 活動紹介, Open QA4AI Conference 2021, 2021年6月18日[3]

誰に向けて、何を届けたいのか？
「自動運転 x AI x 品質保証」のスコープを持つQA4AI自動運転WGだからこそ届けられる価値は何か？
今一番求められているものは何か？
といった議論を進め、そして、以下のようなガイドラインを目指すことになりました。
「自動運転開発のAI品質保証の難しさに直面している読者が、全体像を掴み、上流工程から何をすべきか理解できる。そして自社製品の品質保証部門や顧客との合意形成に活用できる。」

QA4AI自動運転WG ガイドライン改訂のめざすこと

引用元：QA4AI自動運転WG 活動紹介, Open QA4AI Conference 2021, 2021年6月18日[3]

AIの品質保証に関するガイドラインは、QA4AIのAIプロダクト品質保証ガイドライン[2] をはじめ、産総研の機械学習品質マネジメントガイドライン[4] やSEAMSガイドライン[5]などがリリースされています。どれも大変参考になる本当に素敵なガイドラインです。しかし、実際に現場でAI搭載部品を車載量産開発に向けに開発・品質保証しようとすると、「具体的にはどうやって品質保証すればよいの？」と、立ちどころに行き詰ってしまいます。

そんな読者が手に取り、

  • 自動運転特有の品質保証の課題を理解し、
  • 品質保証の全体像を把握でき、
  • 課題に対する考え方やアプローチを知ることができる。

そして、AI特有の観点と自動運転の観点が反映された品質要求が、車載開発プロセスと整合されている一例を知ることで、より具体的なイメージを持って自社製品の開発や品質保証に取り組める。そんな内容にしていきたいと考えています。

すでに活動は始まっており、仲間も増えてきました。大幅改訂となるため少し時間はかかるかもしれませんが、段階的にでもリリースしていく予定です。
上記以外にも、DNN(Deep Neural Networks)モデル自体の品質保証はどうするの？　DNNもカバレッジ計測が必要？　ISO 26262機能安全規格へはどのように対応すればよいの？　といった具体的な疑問にも答えていきたいと思っています。
現場で使えて自分達も欲しい！そう思えるガイドラインを目指していきます。

最後に

結局AIの品質保証は具体的にどうすればよいの？という問いに一つでも多く答えられるよう、ガイドライン策定に取り組みたいと思っています。この取り組みを通して、みなさまに満足かつ安心して使っていただける製品づくりに貢献できればと思っています。

この取り組みを一緒に推進してくださる仲間、興味があって話を聞いてみたい…という方、大歓迎です。お気軽に問い合わせていただけましたら幸いです。

最後まで読んでいただきありがとうございました！

参考文献

[1]AIプロダクト品質保証コンソーシアム,「AIプロダクト品質保証ガイドライン」の改訂について, Open QA4AI Conference 2021,http://www.qa4ai.jp/QA4AI.OpenQA4AIConference.Main.20210618.pdf

[2]AIプロダクト品質保証コンソーシアム, AIプロダクト品質保証ガイドライン2020.08版,http://www.qa4ai.jp/QA4AI.Guideline.202008.pdf

[3]AIプロダクト品質保証コンソーシアム, QA4AI自動運転WG 活動紹介,Open QA4AI Conference 2021, http://www.qa4ai.jp/QA4AI.OpenQA4AIConference.AutonomousDriving.20210618.pdf

[4]国立研究開発法人産業技術総合研究所,機械学習品質マネジメントガイドライン 第2版,https://www.digiarc.aist.go.jp/publication/aiqm/AIQM-Guideline-2.1.0.pdf

[5]SEAMS Project,「人工知能搭載システムの安全設計ガイドライン」（SEAMSガイドライン）～ エッセンシャル版 ～,https://www.seams-p.jp/data/SEAMS_Guideline_essential_20200403.pdf

投稿者プロフィール

真鍋 誠一
真鍋 誠一
研究開発センター 開発プロセスチーム チームマネージャー

intacs™認定 Automotive SPICE プロビジョナルアセッサー
JSTQB認定テスト技術者資格 Advanced Level Test Analyst
AIプロダクト品質保証コンソーシアム(QA4AIコンソーシアム)自動運転WG（2020/7～）
日本SPICEネットワーク『Automotive SPICEにおけるAIプロダクト品質保証』研究会代表

趣味はバイクトライアル。２人の娘のお父さん！