【RPA】UI要素が取得できなかったときの「マウスを画像に移動」アクション
はじめに
今日もRPAのお話です。まだまだ知らないことがあるな、と学びになったので投稿します。今日RPAのフローを作成したのは、システム間のAPI連携をするときに、初回だけ出てくる認証画面の操作です。たった1日1回、されど1日1回。今後も続くと思ったので、RPA化しました。
UI要素が取得できない…
他のフローで「認証画面が出てきたら、①ID・PWを入力②Excelを読み込んで、乱数表を入力する」という流れは作ってあったので、コピーしたら終わるなと思っていたら、エラー…。
そうか、UI要素を取得しなおさないといけないのかと思って「UI要素の取得」をしようと思って、いつもの赤枠で指定できない…。その上の階層の「Group」や「Tool Bar」は赤枠で囲われるし、他の要素は「Button」でちゃんと囲われる。頭の中が「？？？」となり、Geminiに相談。
マウスを画像に移動アクション
「独自のUI構造を持っていることが多く、PAD で特定のボタンだけが認識されないケースはよくあります。」とのこと。この場合の対応として以下の内容を提案されました。
UIオートメーションの「フレームワーク」を切り替える（Ctrl + Shift を押しながらクリック）
「親」のツールバーを取得し、インデックスで指定する（「Tool Bar」を取得、座標（例：X=500, Y=20など）を直接数値で指定してクリック）
画像認識（画像をクリック）
ショートカットキーの送信を再検討
1をやってみたけど上手くいかず、4はうまくいかないことが多いので避けたい、2でやってみようと思い、「座標を指定する」方法を聞いたところ、「マウスを画像に移動」で座標を特定するとのこと。ほうほう、初めて使うアクションだなと思い、フローにいれてみました
中段に、「マウスの移動後にクリックを送信します」という素敵な設定を発見…！！このアクション一つで出来そう！と思って、設定してみたらうまくいきました✨最終的に、Geminiの提案の中で検討していなかった「3｣で採用することになりました。
おわりに
PADは数年前から何冊か本を読んだり、本の中の練習用フローは触ったことがあったのですが、結局、数か月前までは実務で使ったことはありませんでした。
たぶん、実務でやってみようとしても、躓いてばかりで、時間だけかかって、遠のいていただろうと思います。
Geminiに相談できるようになった今、「こんな方法があるよ」と教えてくれるのは大変ありがたいです。本を読んだだけではたどり着くまでに時間がかかるし、そもそも引き出しがありません。
会社にRPAのことが詳しい人がいたとしても、毎回その人の聞くのは、イライラさせてしまいそうだし、時間を奪ってしまうのは気が引けます。
ネットで調べても「そうじゃなくてこのケースはどうなるんだ」が分からない。
本当、日々AI様様だと思います。AI×RPAで、どんどん自動化が進んでいるので、空いた時間で普段の困りごとをどうすればいいか考えていきたいと思います。
最後まで読んでいただきありがとうございました。どなたかの参考になれば幸いです。
