プロセス改善から自動化まで、プロダクトと共に進化するQAエンジニアの役割

IVRy公式noteをご覧の皆さま、こんにちは。

IVRyでは日々、さまざまな職種・チームが「プロダクトの価値」を高めるために挑戦を続けています。今回はその中から、「品質」に向き合うQAエンジニアの仕事にフォーカスしました。
IVRyのQAチームでは、「リリース前の最終チェック」だけにとどまらず、プロダクト開発の初期段階から深く関与し、品質そのものをつくり込む取り組みが進んでいます。

本記事では、QAエンジニアの関とエンジニアリングマネージャーの近藤が、

• QAは「最後の砦」ではないこと

• AI活用による新たな可能性

• 変化の激しい環境で「当たり前品質」をどう維持し続けるか

といったテーマをもとに、IVRyでのQAエンジニアのリアルな仕事とその面白さについて語ります。

TALK MEMBER

IVRyでのQAエンジニアの活動について

── まずはお二人が今どんな業務をしているか、簡単に教えていただけますか？

近藤：
私はエンジニアリングマネージャーという役割なので、直接テストをしたり、テスト計画に深く入ることはなく、関さんがやってくれていることの最大化というか、より良くなるための壁打ちや、相談に乗ったりしていますね。具体的には、案件への向き合い方や自動テストの広げ方、他の職能、例えばPdMやエンジニアとどう連携していくか、といった話をしています。2024年の7月頃から四半期ごとに発生した障害の振り返りを実施していて、関さんが作ってくれたレポートのレビュー、ブラッシュアップも行っていたりします。

関：
私はQAエンジニアとして、テスト設計、テスト実施、そして不具合分析を行っています。案件ごとに発生したバグを計測し、フィードバックできる点はないか探るのが主な業務です。あとは、自動テスト周りですね。画面の自動テストや、一部ですが電話関連のテストも担当しています。近藤さんが言われた品質分析も、メインの業務になります。

── 関さんがメインで動き、それを近藤さんがフォローしながら、レビューや他部署との連携を考えているという感じですね。それでは、最初の質問に入らせていただきます。一般的にQAと聞くと、「作ったものをチェックする」というイメージがあると思うのですが、このイメージに対して、お二人はどう感じますか？

関：
そうですね。最終的なチェックだけでは、正直足りないというか、不十分だと感じています。IVRyの初期は最後の砦のような形でテストをしていましたが、そうすると、不具合の根本的な原因や、プロセス起因での問題がそのままになってしまうんです。品質向上や効率化には限界が生じてしまいます。そのため、最後のチェックだけでは本質的な品質向上には繋がりません。

近藤：
組織観点では最後のチェックに頼りすぎると、エンジニアが品質への当事者意識を持てなくなると考えています。「QAがチェックしてくれるから」という意識が生まれてしまうと、エンジニアは作ることに集中、QAが終わるのを待つ、というような二極化が進んでしまうんですよね。「自分が作ったものに責任を持つ」という意識が薄れたり、QAがボトルネックになってスピードが出ない、という状況にもなりかねません。お互いをリスペクトできないような、依頼する側と受ける側という構造になってしまい、改善のプロセスが回りにくくなった経験があります。

── なるほど。確認するだけの係になってしまうと、改善が進みにくいと。

近藤：
ソフトウェアやシステムは成長し、複雑化していくため、リリース後のエンハンスや運用を考慮すると、最後のチェックだけでは対応できません。いわゆる「Shift Left Testing」という言葉があるように、プロセスのできるだけ早い段階でアプローチしていかないと、出来上がったものを機械的にチェックするだけになってしまいます。不良品を弾いたりするだけならそれでもいいですが、私たちが作っているプロダクトはそういうものではありません。

── ありがとうございます。そうした経験から、最後の砦では良くなかったと感じた具体的なエピソードはありますか？

関：
初期の頃は、やはり最後のチェックとしてテストをしていましたが、もっと早く気づけたはずのバグが多くて、手戻りの工数がかなり多かった気がします。

近藤：
影響範囲や依存関係は、設計や要件定義の段階で考慮すべきだと考えます。QAはドメインエキスパートとしての側面もあって、どのような機能がどう影響し合うかという知見が集まりやすいです。エンジニアがシステム全体での正しさや、網羅的に詳細な状態まで考慮する事が難しいケースもあります。早い段階からQAが関与することによって、立体的に品質を見ることができ、後戻りを削減したり、根本的な課題にアプローチできると考えています。
テストを何度も繰り返せば品質は保たれるかもしれませんが、結局はモグラ叩きのようになり、リソースも有限なので、早い段階からQAが関わっていくことが非常に重要であると思っています。

AIが拓くQAの新たな可能性

── 次に、現在IVRyが求めているQAエンジニアについて、背景や課題、目標など、何か補足があれば教えてください。

関：
募集の背景としては、IVRyのプロダクト開発のスピードが非常に速いことが挙げられます。現在、私一人で回している部分も多いのですが、これから機能がさらに増えたり、AIを使った新しいプロダクトが生まれたりすると、複雑性が増し、求められる品質レベルもさらに高まっていきます。そういった時に、リソース的にも難しいですし、品質を維持するためにも、人材を増やして体制を強化したいと考えています。
特に音声やAI、通話といった領域は非常に独特で、技術的な専門性が求められます。UI/UXだけでなく、そうした専門的な知識が必要になる部分が今の課題だと感じています。私だけでは補いきれない部分があるんです。あとは、手動テストだけでなく、自動化や効率化をどんどん進めていきたいと思っているので、そういった部分を積極的に推進できる方がいらっしゃると、プロダクトやプロセスの品質がさらに向上すると思っています。

近藤：
まさにAIや音声といった機能性の品質評価は大きなテーマですね。「合っているか間違っているか」だけでなく、「心地よい体験であるか」といった、より定性的な部分をどう定量化し、判断していくかという難しい問題があります。そういった課題に向き合い、チャレンジしていくためには、多様な視点を持つQAエンジニアが必要です。

「当たり前品質」を維持し続けることの難しさと面白さ

── 複数のプロジェクトを並行して進める中で、品質を保ちつつスピードも維持することの難しさや課題について、どのように感じていますか？

関：
一つ一つの案件に対してテストやレビュー、QA設計にかけられる時間が限られているので、そこをいかに効率化し、柔軟に対応できるかが難しいポイントだと感じています。あとは、リリースサイクルが早いだけでなく、新しい技術要素が入ってきた時に、そのドメイン知識がない状態からインプットを始める必要があることですね。例えば、音声認識のような新しいドメインが入ってきた時に、そのインプットや学習に時間を要することが、大変なポイントでもあります。テスト設計や自動化をいかに効率よく、早くできるか、というのも常に認識して取り組んでいる課題です。

近藤：
やはりコンテキストスイッチが大変だと思います。複数のプロジェクトを並行してキャッチアップしていくのは非常に労力がかかります。そういった意味でも、一人で複数のプロジェクトを見るのではなく、QAエンジニアが1つのプロジェクトに入っていくような体制が必要だと感じています。

── 次に、品質がお客様に対してどのような良い影響をもたらすと感じますか？そして、品質が重要である理由を教えてください。

関：
電話というサービスは、「繋がることが当たり前」だと思っています。だからこそ、その品質は絶対に担保し、高い状態を保ち続けなければならない。

近藤：
お客様にプロダクトを使い続けてもらうための「安心感」だと思います。IVRyでなくてもいいや、とか、IVRyは不安だから使いたくない、という状態になってしまうのが、プロダクトとしては一番大きなダメージですから。それを避け、高い品質を維持し続けることが非常に重要なんです。ここでいう品質は、いわゆる「当たり前品質」だと思っています。
SaaSやインフラのような基盤となるプロダクトには、高度な機能性だけでなく、「当たり前品質」を常に提供し続けることが求められます。もちろん、新機能で利便性を高めることも重要ですが、品質という観点では、その「当たり前」を維持することが大切です。お客様に心から安心してサービスを使い続けていただくこと。それが私たちの使命だと考えています。

独自の自動化ツールとAI活用の未来

── IVRyのQAは、開発プロセスのどの段階から関わっているのでしょうか？

関：
基本的に、要件定義の段階から入り込むことが多いです。特に、お客様への影響度が高い案件や、複雑性の高い案件に関しては、要件定義から参加しています。簡単なレイアウト変更や文言修正のような場合は、エンジニアにテストを任せています。その場合、QAは項目書のレビューはしますが、テスト自体は行いません。

── 基本的に開発の最初期段階から関わっていくということですね。求人票に「テストの設計・自動化にとまらず開発プロセス全体品質向上を目的とした改善や提案を推進し開発効率を高めていく」とありますが、これは具体的にどのようなことを指すのでしょうか？また、他の会社のQAと異なる点はありますか？

近藤：
従来のQAはテスト項目の作成と実施に注力しがちですが、開発効率そのものという意味では、結局はプロセス面において後戻りしない、筋の良い案件を計画通りに進めるために、早い段階からQAが関わっていくことが重要だということです。これはまさに今、私たちが取り組み始めていることでもあります。

── では、品質とスピードの両立を実現するために、どのような工夫をされていますか？

近藤：
これは自動化と効率化の話になりますね。社内では自動テストの効率化を進めるために、独自のテストツールを開発しています。
電話機能のテストや画面操作の自動化、スクリーンショット比較（VRT）のツールを使っています。

関：
モバイルアプリの自動テストもあります！

近藤：
モバイルアプリの自動テストも加えて、現在は4つのツールがあります。中でも自動的に電話をかけてIVRやAI対話のレスポンス確認を行うツールは役に立っています。昔は関さんが一生懸命電話をかけて確認していたんですが（笑）。

関：
（笑）

近藤：
そうした手作業の部分をどんどん効率化していくために、自動テストツールを拡張しています。
次にやろうとしているのは、AIを使ったテスト項目の自動生成です。要件の情報が入ったテキストやデザインドキュメント、変更されたコード、過去のテストケースなどをインプットとして、この案件に適切な試験項目や観点を自動生成させようと考えています。

── AIを使った自動生成！それは素晴らしいですね。

関：
そうですね。そこからコードを書かずにテストを実施できるような仕組みも今作ろうとしています。

近藤：
全社的にAIを活用した業務効率改善に取り組んでいるので、その延長線上にある取り組みですね。

関：
あとは、QAを行う際には、エンジニアや関係者と一緒に「本当に必要なテストはどこか」を議論し、テスト項目を適切に整理することを意識しています。情報を集めて検討しながら、より効果的・効率的なテストにつなげられるように心がけています。

技術領域がもたらす難しさと面白さ、そして成長

── IVRyのプロダクトは音声、AI、通話といった要素が含まれており、通常のSaaSプロダクトとは異なる特性があると思います。この中での難しさや面白さはありますか？

関：
電話というサービスは非常に高い品質レベルが求められるので、考慮漏れがないか、振る舞いが環境によって変わらないかなどを網羅的にテストしたり設計したりするのは、非常に難しいと同時に面白いポイントでもあります。例えば、電波が悪い環境でのテストをするために、わざわざ地下鉄に行ったりもしましたね。

ただ、効率が悪いので、どうしたらいいか試行錯誤した結果、アルミホイルを端末に巻くと、その状況を再現できるという発見があったりしました。そういった工夫や試行錯誤は、かなり面白い部分だと思います。

AIや音声に関しては、世の中に確立されたQAのノウハウがほとんど存在しない領域です。だから、最初のベータ版やアルファ版を出す時に、どういうテスト計画を立てたらいいのか、どこまで品質を担保すべきなのか、という部分をAIエンジニアなど周りのメンバーを巻き込んで一緒に決めていくのは、とても面白いです。ただ、それでもパターンが漏れて障害につながることもありますし、やはり難しいなと感じます。

慣れ親しんだノウハウがない中で、自分たちで作り上げていくことに挑戦するのが面白いです。

── では、IVRyでは2人目のQAエンジニアを募集中ですが、どういった方が向いていると思いますか？経験や知識、マインドなどを含めて教えてください。

関：
音声や通話、AIの品質評価に携わった経験がある方は、技術的な知識もお持ちだと思うので、もしそういったご経験があればとても嬉しいです。ただ、必須というわけではなく、こういった領域に興味がある方も大歓迎です。マインド面で言うと、私自身もそうなんですが、分からないことがあっても、まずは手を動かして試してみることで、解像度が上がり、何が分からないのかが明確になることがあります。そういった「とりあえず手を動かすのが好き」という人は、向いていると思いますね。

近藤：
特定の経験は必須としてませんが、自動化や効率化に関心を持ち、プロセス改善やチームへの貢献に意欲のある人材を求めています。QAエンジニアとして、エンジニアリングの経験や知識は非常に重要だと考えています。ソフトウェアエンジニアやSREが品質領域に注力するキャリアも歓迎しますし、むしろ良いと考えています。

── ソフトウェアエンジニアの経験があり、品質により深く向き合っていきたいという方が望ましいということですね。次に、プロダクトが増えていく中で、プロダクトごとに品質の基準をどのように定義されているか教えてください。

関：
ベースにあるのは、お客様に提供する価値に対して、自分たちが作ったものがその期待通りに動いているか、ということです。なので、仕様や機能ごとの期待値通りに動いているか、という部分は大きく変わりません。その上で、通話や音声通話といった領域では、電話の遅延やノイズなどが許容できる範囲か、悪化していないか、といった点を基準にしています。AIの対話であれば、対話自体が自然であるか、不自然でなければ現状は問題ない、といった基準も観点として持っています。
現状ではまだ基準が完全に確立されているわけではなく、現在取り組んでいる段階です。ドメインごとの基準を新しく作っていくという感覚が近いかもしれません。

近藤：
現状はそこを非常に重要視しているというよりは、取り組んでいる最中という段階です。QAが機能性を意識して品質保証を行うのは一般的で、リソースも有限なので、何らかの基準を設けて優先順位をつけなければいけません。

── IVRyで働くことで、QAエンジニアとしてどのようなスキルや経験が磨かれると感じますか？

関：
プロセス改善や仕組み作り、自動化といった取り組みに幅広く関わることができます。プロセスをより良くするためのアイデアやチャレンジも歓迎される環境なので、そういった経験を積むことができると思います。また、音声やAI、通話・対話といった特殊なドメインでのスキルや知識も、実際の業務を通じてしっかり身につきます。
さらに、ソフトウェアエンジニアやSREなど様々なチームと協力していく中で、チームや人を巻き込みながら物事を進めていく力も磨かれる環境です。

近藤：
IVRyのQAエンジニアは、プロセス改善はもちろん、CI/CDやインフラ、コードベースの話など、技術的なスキルアップもできると思います。

変化を楽しみ、自ら道を切り拓くQAエンジニアへ

── 最後に、読者の皆さんにメッセージをお願いします。

近藤：
私たちは、事業成長の重要な柱の一つとして、高品質なプロダクトの提供があると考えています。IVRyでは、既存のプロダクトを継続的に機能拡張していく一方で、新たなプロダクトの検討も積極的に進めています。
この変化の激しい環境で、私たちが求めているのは、まさに「通話やAIといった技術領域の品質向上にチャレンジしたい」という意欲を持つ方です。そして、単にテストを行うだけでなく、サービスやプロダクト全体の品質を作り込むQA組織の立ち上げと拡大を共に経験したい、という想いに共感していただける方は是非！と思っています。

関：
IVRyには多様なバックグラウンドや高いスキルを持つ人たちが次々と加わっています。そういった優秀な人たちと一緒に働いたり、協業したりすることで、知識も増えますし、自分ができることも本当に増えるので、とても楽しいです。
プロダクトが新しくリリースされたり、機能が改善されたり、新規で生まれたりするスピードが非常に速いので、そうした「変化」を楽しめる人は、IVRyに魅力を感じると思います。私が強く感じているのは、「自分がやりたい」と言ったら、それを実現できる環境がIVRyにはある、ということです。入社してからずっと感じています。今、何かやりたいことがあるのに現状できていないと感じている人がいるとしたら、IVRyはまさにぴったりの環境だと思います！

IVRyのQAエンジニアは単なる「品質をチェックする人」ではありません。開発プロセスの初期段階から積極的に関わり、品質向上のために自ら課題を見つけ、解決策を提案し、実行していく。そして、AIといった最先端技術を活用した新たなQAのあり方を、自ら作り上げていく。

IVRyで、変化の速いプロダクト開発の中で品質を追求し、AIと共創するQAの未来を一緒に切り拓くことに興味がある方からのご応募、お待ちしています。

herp.careers E13.QAエンジニア

株式会社IVRy

募集要項をみる

もしこの記事を読んで、「ちょっと気になるな」と思ってもらえたら、まずはカジュアルなつながりからはじめませんか？ IVRyでは、イベント情報や募集ポジションなどをお届けする「キャリア登録」をご用意しています。 少しでもご興味あれば、ぜひご登録ください。