スポンサーリンク

Power Automate DesktopでWebブラウザの操作を自動化する方法[#2]

スポンサーリンク
Power Automate Desktop

はじめに

この記事では、前回の記事「Power Automate DesktopでWebブラウザの操作を自動化する方法[#1]」の続きでPower Automate Desktopを用いてWebブラウザの自動化を行う方法を紹介しています。
今回は【 入力欄にデータを入力 】と【 Webページ内のボタンをクリック 】について紹介します。
また今回は、Webレコーダーを使用せずにアクションを追加する方法を紹介しています。

Power Automate Desktopのフロー作成にてアクションの使用方法などがわからない場合はMicrosoftのアクション リファレンスを参照してください。

アクション リファレンス - Power Automate
このセクションでは、すべての Power Automate アクションについて説明します

Webブラウザの自動化

Power Automate Desktopを用いたWebブラウザ操作の自動化を機能ごとに紹介していきます。
紹介した自動化処理を組み合わせることで、Power Automate Desktopを使用してWebブラウザの自動化で様々なことができるようになります。

※今回も引き続き説明では【 Microsoft Edge 】を用いて説明を行いますが、Microsoft Edgeを使用するブラウザ名に読み替えていただければ、Google ChromeやFirefoxでも同じことが行えます。

Webページ内の入力欄にデータを入力

前回の記事の【 Webブラウザの起動と終了 】で使用した【 新しいMicrosoft Edgeを起動する 】を最初に追加し、次に【 Webオートメーション 】の【 Web入力フォーム 】から【 Webページ内のテキストフィールドに入力する 】を追加します。

※この後の手順で必要となるためPower Automate Desktopで指定するWebブラウザで自動化したいページを先に開いておくことをお勧めします。

【 Webオートメーション 】の【 Web入力フォーム 】から【 Webページ内のテキストフィールドに入力する 】を追加

【 UI要素 】を選択し【 UI要素の追加 】をクリックします。

【 UI要素の追加 】を押下

自動化したいWebブラウザでページを開いておき、入力する項目をマウスカーソルで合わせると文字がついている赤枠(今回の場合は「input:text」)で囲まれます。今回自動化したい要素(Element)であることが分かったので【 Ctrlキー 】を押しながら表示されている赤枠を左クリックします。

入力する項目の要素を選択

自動化したい要素が【 追跡セッション 】に追加されたことを確認できたら【 完了 】をクリックします。

入力する項目の追加が確認できれば【 完了 】を押下

【 Webブラウザインターフェース 】はデフォルトにし【 UI要素 】が設定されていることを確認します。確認ができたら【 テキスト 】に検索したい文字を入力(今回は「Power Automate Desktop」を入力)し【 保存 】をクリックします。

【 UI要素 】が設定され かつ 【 テキスト 】に入力したい文字が入っていることを確認できれば【 保存 】を押下

入力欄に入力しても検索自体は実行されないため、【 Enterキー 】を押すフローを作成していきます。
【 マウスとキーボード 】から【 キーの送信 】を追加します。

【 マウスとキーボード 】から【 キーの送信 】を追加

【 キーの送信 】が追加できたら【 特殊キーの挿入 】【 その他 】から【 Enter 】を選択します。

【 特殊キーの挿入 】【 その他 】から【 Enter 】を選択

【 送信するテキスト 】に【 {Return} 】と入っていることが確認できたら【 保存 】をクリックします。

送信するテキスト 】に【 {Return} 】が確認できれば【 保存 】を押下

このフローでページ内の要素の追加ができ検索をしてくれる動きになっているか試していきます。【 Webブラウザの起動と終了 】と同様に再生ボタンをクリックすると「指定したWebブラウザでページが開きテキストが入力され検索される」ことが確認できると思います。

【 Webページ内の入力欄にデータを入力 】で作成したフローの【 実行 】を押下

今回のフローを手順通りに実行すると以下のような動作になります。

【 Webページ内の入力欄にデータを入力 】の動作

Webページ内のボタンをクリック

次はWebページ上のボタンをクリックする動作を作成します。
先ほど作成した【 Webページ内の入力欄にデータを入力 】の【 Enterキー 】の入力を変更します。

【 Webページ内の入力欄にデータを入力 】で作成したフローの【 Enterキーの入力 】を削除し、【 Webオートメーション 】の【 Webフォーム入力 】から【 Webページのボタンを押します 】を追加します。

Webオートメーション 】の【 Webフォーム入力 】から【 Webページのボタンを押します 】を追加

【 UI要素 】を選択し【 UI要素の追加 】をクリックします。

【 UI要素の追加 】を押下

【 Webページ内の入力欄にデータを入力 】でUIを追加した時と同様に、自動化したいWebブラウザでページを開いておき、クリックしたいボタンの項目をマウスカーソルで合わせると赤枠で囲まれます。今回自動化したい要素(Element)であることの予想がついたので、【 Ctrlキー 】を押しながら表示されている赤枠を左クリックします。

クリックする項目の要素を選択

上記の画面上に【 要素名 】が表示されていないので一度要素の追加を行い【 buttonタグ 】であることが確認できたので、今回自動でクリックしたい要素だと確認が取れたので、【 完了 】をクリックします。

クリックする項目の追加が確認できれば【 完了 】を押下

【 Webブラウザインターフェース 】はデフォルトのままにしておき【 UI要素 】が設定されていることを確認して【 保存 】をクリックします。

【 UI要素 】が設定されていることを確認できれば【 保存 】を押下

【 Webページ内の入力欄にデータを入力 】と同様に、検索をしてくれる動きになっているか試していきます。再生ボタンをクリックすると「指定したWebブラウザでページが開きテキストが入力され検索される」ことが確認できると思います。

【 Webページ内のボタンをクリック 】で作成したフローの【 実行 】を押下

今回のフローを手順通りに実行すると以下のような動作になります。

【 Webページ内のボタンをクリック 】の動作

お疲れ様でした。これでPower Automate Desktopを用いたWebブラウザ自動化はできたのではないでしょうか。もし「こんなことを自動化したいけど、どうフローを作成したらいいの?」などという場合はコメント欄にコメントをお願いします。私のできる範囲で回答したいと思います。

コメント

  1. bando より:

    PowerAutomateでWebブラウザ上の操作(OBIC)のフローを作成しています。
    クリックすると新しいウィンドウ(URLなし)が開き、以降はそちらの操作を行う内容ですが、
    UI要素を認識できません。
    (前のウィンドウは残ったまま、手前に新しくウィンドウが出現します)

    新しいEdgeを起動→実行中のインスタンス→フォアグラウンド でインスタンスを生成しても、認識されていないようです。
    これ以前の操作では、上記のアクションで操作可能ですが、、手前に重ねて出現するこのウィンドウだけが操作・認識できません。。

    なにか間違っていますでしょうか?
    正しい方法を教えて頂きたいです。

    • piyopiyo より:

      ご質問ありがとうございます。
      既に試されていたら申し訳ございません。
      質問内容を見たところ、新しく生成したインスタンス(変数)を使用してUI要素を操作していないのではと思いましたので、下記の流れの「4.」で使用するインスタンス(変数)を「3.」で生成されたインスタンス(変数)に変更していただければと思います。

      1.【新しいMicrosoft Edgeを起動する】
       生成された変数
        -> Webブラウザーインスタンス:%Browser%
      2.【UI要素を用いた操作】
       パラメーターの設定
        -> Webブラウザーインスタンス:%Browser2%
       ※「UI要素を用いた操作後に別ウィンドウが表示」
      3.【新しいMicrosoft Edgeを起動する】
       パラメーターの選択
        -> 起動モード:実行中のインスタンスに接続する
        -> Microsoft Edgeタブに接続する:フォアグラウンドウィンドウを使用
       生成された変数
        -> Webブラウザーインスタンス:%Browser2%

      4.【UI要素を用いた操作】
      「%Browser2%」を使用したUI操作
       パラメーターの設定
        -> Webブラウザーインスタンス:%Browser2%