VBAでタグから文書ドキュメントを抽出するプロシージャ

トップページ
エクセルVBAでHTMLエレメント実践操作
タブ名から文書ﾄﾞｷｭﾒﾝﾄを抽出するﾌﾟﾛｼｰｼﾞｬ

一意のキーワードを指定して特定の文書ドキュメントを抽出

<< エクセルVBAでclass属性を指定して文書ドキュメントを抽出するサブルーチン：前の記事

前回は、class属性を指定して文書ドキュメントを抽出するサブルーチンの作成について解説しました。こちらはclass属性とタグ名の組み合わせが一意の場合に有効な方法です。今回は、「文書ドキュメント取得の処理の考え方」で紹介した処理で一意のキーワードを指定して特定の文書ドキュメントを簡単に抽出できるサブルーチンの作成について解説していきます。

DOM(Document Object Model)とは

DOMとは「Document Object Model」の略称で、html・head・body・p・aなどのHTMLドキュメント要素にアクセスして取得や操作ができる仕組みのことです。

以下はHTMLドキュメントをツリー構造に表したものでDOMツリーと呼ばれます。階層状のツリー構造でHTMLドキュメントを表現します。

HTML(HyperText Markup Language)とは

HTMLとは「HyperText Markup Language」の略称で、Webページを作成するために開発された言語です。世の中に公開されているWebページのほとんどがHTMLで作成されています。こちらのサイトもHTMLで作成されています。

HTMLは基本的に以下のような構成でできており「<タグ名>★テキスト★</タグ名>」が1つの要素(エレメント)になります。この中の特定の要素に対してデータの取得や操作を行っていきます。

<html>

 <head>

  <title>VBAのIE制御</title>

 </head>

 <body>

  <p>こちらはpタグのテキストです。</p>
  <a href="★リンクURL(アドレス)★">リンクのアンカーテキストです。</a>

 </body>

</html>

タグと要素(エレメント)の違い

HTML言語では、「タグ」と呼ばれる仕組みを利用して構築していきます。以下のイメージを確認すると分かりやすいと思いますが、タグとは「<」と「>」で構成されており、開始タグと終了タグまでの括りで1つの要素を形成します。

具体例で説明するとWebページのURL(アドレス)を表す「titleタグ」を利用して開始タグの「<title>」と終了タグの「</title>」で括り、タグの中の文字列が「要素内容」となります。こちらでは「VBAのIE制御入門」の文字列が要素内容となります。

そして、こちらの「開始タグ+要素内容+終了タグ」の全体を「要素」と呼びます。また、別名では「エレメント」と呼ばれますので、どちらも同じ意味であることを理解してください。

利用するサブルーチン・プロパティ・メソッド・VBA関数について

今回利用するサブルーチン・プロパティ・メソッド・VBA関数は以下になります。利用方法については処理の解説で行いますが、どのような機能を持っているのか簡単に目を通してください。

ieViewサブルーチン
ieCheckサブルーチン
Documentプロパティとは
getElementsByNameメソッドとは
getElementsByClassNameメソッドとは
getElementsByTagNameメソッドとは
outerHTMLプロパティとは
innerHTMLプロパティとは
outerTextプロパティとは
innerTextプロパティとは
InStr関数とは
MsgBox関数とは

ieViewサブルーチンとは

ieViewサブルーチンは指定したURL(アドレス)をInternetExplorerで起動させ、Webページが完全に読み込まれるまで待機処理をするマクロです。

ieView("IEオブジェクト","表示させたいURL(アドレス)の文字列","IE表示・非表示の値[省略可]","Y位置の値[省略可]","X位置の値[省略可]","幅の値[省略可]","高さの値[省略可]")

ieView

ieCheckサブルーチンとは

ieCheckサブルーチンは指定したInternetExplorerオブジェクトのWebページが完全に読み込まれるまで待機処理をするマクロです。

ieCheck("IEオブジェクト")

ieCheck

Documentプロパティとは

InternetExplorerオブジェクトのDocumentプロパティはHTMLドキュメントのオブジェクトを返すプロパティです。これによりHTMLドキュメントを操作することができます。

objIE.document.プロパティ/メソッド

Documentプロパティ

GetElementsByNameメソッドとは

DocumentオブジェクトのGetElementsByNameメソッドはHTMLドキュメント内の指定したname属性の要素オブジェクトのコレクションを返すメソッドです。

objIE.document.GetElementsByName("name名")(添え字).プロパティ/メソッド

GetElementsByClassNameメソッドとは

DocumentオブジェクトのGetElementsByClassNameメソッドはHTMLドキュメント内の指定したclass属性の要素オブジェクトのコレクションを返すメソッドです。

objIE.document.GetElementsByClassName("class名")(添え字).プロパティ/メソッド

getElementsByTagNameメソッドとは

DocumentオブジェクトのgetElementsByTagNameメソッドはHTMLドキュメント内の指定したタグ名の要素オブジェクトのコレクションを返すメソッドです。

objIE.document.getElementsByTagName("タグ名")(添え字).プロパティ/メソッド

outerHTMLプロパティとは

要素オブジェクトのouterHTMLプロパティは指定した要素オブジェクトの要素タグとその中に含まれるHTMLコードを取得するプロパティです。

変数 = objIE.document.要素オブジェクト.outerHTML

赤文字がpタグのouterHTMLの取得範囲になります。

<p>pタグの<span class="colorRed">outerHTML</span>の取得範囲</p>

innerHTMLプロパティとは

要素オブジェクトのinnerHTMLプロパティは指定した要素オブジェクトの要素タグの間に含まれるHTMLコードを取得するプロパティです。指定した要素オブジェクトの要素タグは含まれません。

変数 = objIE.document.要素オブジェクト.innerHTML

赤文字がpタグのinnerHTMLの取得範囲になります。

<p>pタグの<span class="colorRed">innerHTML</span>の取得範囲</p>

outerTextプロパティとは

要素オブジェクトのouterHTMLプロパティは指定した要素オブジェクトの要素内のテキスト部分のHTMLコードを取得するプロパティです。

変数 = objIE.document.要素オブジェクト.outerText

赤文字がpタグのouterTextの取得範囲になります。

<p>pタグの<span class="colorRed">outerText</span>の取得範囲</p>

innerTextプロパティとは

要素オブジェクトのouterHTMLプロパティは指定した要素オブジェクトの要素内のテキスト部分のHTMLコードを取得するプロパティです。

変数 = objIE.document.要素オブジェクト.innerText

赤文字がpタグのouterTextの取得範囲になります。

<p>pタグの<span class="colorRed">outerText</span>の取得範囲</p>

InStr関数とは

InStr関数はある文字列(string1)の中から指定した文字列(string2)を検索して最初に見つかった文字位置返すVBA関数です。

変数 = InStr(string1, string2)

InStr関数

MsgBox関数とは

MsgBox関数はダイアログボックスにメッセージとボタンを表示し、どのボタンが押されたかを示す整数型の数値を返します。

MsgBox "表示させる文字列"

MsgBox関数

一意のキーワードを指定して特定の文書ドキュメントを抽出するサブルーチン「tagValue」の解説

こちらは、一意のキーワードを指定して特定の文書ドキュメントを抽出するサブルーチンになります。

Function tagValue(objIE As InternetExplorer, _
                 methodType As String, _
                 elementName As String, _
                 keywords As String, _
                 valueType As String) As String
 
  Dim objDoc As Object, myDoc As Object

  Select Case methodType

    Case "id"

      Set objDoc = objIE.document.getElementById(elementName)
        
    Case "name"
  
      Set objDoc = objIE.document.getElementsByName(elementName)
    
    Case "class"
  
      Set objDoc = objIE.document.getElementsByClassName(elementName)
    
    Case "tag"

      Set objDoc = objIE.document.getElementsByTagName(elementName)

  End Select

 
  For Each myDoc In objDoc

    With myDoc

      If InStr(.outerHTML, keywords) > 0 Then
    
        Select Case valueType

          Case "innerHTML"

            tagValue = .innerHTML

          Case "innerText"
             
            tagValue = .innerText
      
          Case "outerHTML"
 
            tagValue = .outerHTML

          Case "outerText"

            tagValue = .outerText

        End Select

        Exit For

      End If
    
    End With

  Next

End Function

それでは、VBAコードを１つずつ説明していきます。

Function tagValue(objIE As InternetExplorer, _
                 methodType As String, _
                 elementName As String, _
                 keywords As String, _
                 valueType As String) As String

こちらは戻り値を返すFunctionステートメントに引数を5つ設定しているtagValueサブルーチンになります。こちらの構文と引数の内容は以下になります。尚、引数はすべて参照渡しで渡されます。

tagValue("IEオブジェクト","メソッドタイプの文字列","メソッド引数の文字列","要素内の一意のキーワード","データ取得のプロパティ名")

引数名	データ型	内容	値の事例	省略
構文	classValue(objIE,className,tagName,valueType)
objIE	InternetExplorer	InternetExplorerオブジェクトを指定します。	objIE, objIE2	×
methodType	String	要素を抽出するメソッドのタイプを文字列で指定します。getElementsByNameメソッドの場合は「name」を、getElementsByClassNameメソッドの場合は「class」を、getElementsByTagNameメソッドの場合は「tag」を指定します。	"name","class", "tag"	×
elementName	String	メソッドの引数を文字列で指定します。引数methodTypeに「name」を指定した場合はid名を、「class」を指定した場合はclass名を「tag」を指定した場合はタグ名を指定します。	"nametset", "classtest", "p"	×
keywords	String	要素内の一意のキーワードを文字列で指定します。	"円(税込)"	×
valueType	String	データ取得のプロパティ名を文字列で指定します。データ取得のプロパティは「innerHTML」「innerText」「outerHTML」「outerText」の4つになります。詳細については、「HTMLコードを取得する」を参照してください。	"innerHTML", "innerText", "outerHTML", "outerText"	×

引数objIEは必須項目で、文書ドキュメントを抽出するnternetExplorerオブジェクトを指定します。InternetExplorerオブジェクトを引数に設定することで、複数のオブジェクトを処理することができます。

引数methodTypeは必須項目で、要素を抽出するメソッドのタイプを文字列で指定します。getElementsByNameメソッドの場合は「name」を、getElementsByClassNameメソッドの場合は「class」を、getElementsByTagNameメソッドの場合は「tag」で指定します。

引数elementNameは必須項目で、メソッドの引数を文字列で指定します。引数methodTypeに「name」を指定した場合はid名を、「class」を指定した場合はclass名を「tag」を指定した場合はタグ名を指定します。

引数keywordsは必須項目で、要素内の一意のキーワードを文字列で指定します。「要素内の一意のキーワード」というのは、抽出したい要素データ内で他とまったく被らないキーワードのことを指します。

例えば下記の事例で販売価格を抽出したい場合、「円(税込)」というキーワードは他では利用されていないキーワードですので、こちらを「一意のキーワード」と判断します。

こちらの詳細については、「文書ドキュメント取得の処理の考え方」を確認してください。

引数valueTypeは必須項目で、データ取得のプロパティ名を文字列で指定します。データ取得のプロパティは「innerHTML」「innerText」「outerHTML」「outerText」の4つになります。

詳細については、「HTMLコードを取得する」を確認してください。

Dim objDoc As Object, myDoc As Object

こちらは、変数宣言でメモリ領域を割り当てるDimステートメントを利用してオブジェクト変数objDoc,myDocに「オブジェクト型(Object)」を変数宣言しています。

先に説明すると、データ型はオブジェクト型(Object)を利用せず、より具体的なデータ型を宣言するほうがよいとされています。理由としては、補助入力機能など利便性のよさなどが挙げられます。

こちらについては本来であれば、「HTMLParaElement型」または「HTMLDocument型」などを指定するのがよいのでしょうか処理速度の観点からいうと必ずしもよいというわけではなりません。

他にもいくつか検証したのですが、以下のようにHTML関連のデータ型を選択した場合とオブジェクト型(Object)ではどれもオブジェクト型(Object)を選択した方が処理速度が速い結果となりました。

ですので、こちらで解説している内容のほとんどはオブジェクト型(Object)を選択しています。特に変更してもらっても問題ありませんので、自由に変更してください。

回数・処理	オブジェクト型(Object)	HTMLParaElement型	HTMLDocument型
1回目	27.3418秒	31.6074秒	31.9866秒
2回目	28.3105秒	34.0234秒	33.9478秒

  Select Case methodType

    Case "name"
  
      Set objDoc = objIE.document.getElementsByName(elementName)
    
    Case "class"
  
      Set objDoc = objIE.document.getElementsByClassName(elementName)
    
    Case "tag"

      Set objDoc = objIE.document.getElementsByTagName(elementName)

  End Select

こちらでは、複数の条件分岐を設定するSelect Caseステートメントを利用して引数methodTypeの設定値で条件分岐させています。

こちらでは、getElementsByName・getElementsByClassName・getElementsByTagNameメソッドの中からどのメソッドを利用して抽出する要素を取得するかを選択しています。

こちらの条件分岐は極力処理速度の遅いgetElementsByTagNameメソッドを利用しないための処理です。一意のキーワードの要素にname・class属性が設定されている場合は、getElementsByName・getElementsByClassNameメソッドを利用するようにしましょう。

  For Each myDoc In objDoc

   （処理省略）

  Next

こちらでは、For Each～Nextステートメントのコレクションに設定し、オブジェクト変数objDocを設定しています。これにより先ほど取得した要素数だけループ処理を行っています。

    With myDoc

      If InStr(.outerHTML, keywords) > 0 Then
    
        Select Case valueType

          Case "innerHTML"

            tagValue = .innerHTML

          Case "innerText"
             
            tagValue = .innerText
      
          Case "outerHTML"
 
            tagValue = .outerHTML

          Case "outerText"

            tagValue = .outerText

        End Select

        Exit For

      End If
    
    End With

こちらではまず、Withステートメントのオブジェクト名に「myDoc」を設定しています。こちらは先ほど取得した要素コレクションのオブジェクトになります。

次にIf～Then～Elseステートメントを利用して要素内の文書ドキュメントに引数keywordsが含まれている場合に要素を抽出します。

「一意のキーワード」が含まれているかの確認は、指定したキーワードで最初に見つかった文字位置を返すInStr関数を利用しています。キーワードが含まれている場合は必ず「0」以上の値を返すので、比較演算子を利用して「0」以上の場合を条件式としています。

そして、取得した値を戻り値tagValueに代入演算子で格納したら処理が完了します。それでは、次にこちらのサブルーチンを利用して一意のキーワードを指定して特定の要素の文書ドキュメント取得してみましょう。

「tagValue」を利用して特定の文書ドキュメントを抽出するサンプルコード

こちらのVBAコードは、tagValueサブルーチンを利用して一意のキーワードが含まれるp要素の文書ドキュメントを取得するマクロです。

Sub sample()

  Dim objIE  As InternetExplorer
  
  'IE(InternetExplorer)でテストページを起動する
  Call ieView(objIE, "http://www.vba-ie.net/code/all.html")
  
  'getElementsByNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "name", "nametest3", "円(税込)", "innerText")
  
  'getElementsByClassNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "class", "classtest3", "円(税込)", "innerText")
  
  'getElementsByTagNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "tag", "td", "円(税込)", "innerText")
  
End Sub

取得対象のHTMLコード

解説

Sub sample()

  Dim objIE  As InternetExplorer

こちらはSubステートメントに引数の設定がないsampleプロシージャになります。まずは、変数宣言でメモリ領域を割り当てるDimステートメントを利用してオブジェクト変数objIEに「InternetExplorer型」を変数宣言しています。

  'IE(InternetExplorer)でテストページを起動する
  Call ieView(objIE, "http://www.vba-ie.net/code/all.html")

次に他のプロシージャを呼び出すCallステートメントを利用してieViewサブルーチンを呼び出しています。第一引数にはオブジェクト変数の「objIE」を第二引数には表示させるURL(アドレス)の「http://www.vba-ie.net/code/all.html」を設定しています。これによりInternetExplorerで本サイトのテストページが表示されます。

  'getElementsByNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "name", "nametest3", "円(税込)", "innerText")

こちらは、tagValueサブルーチンを利用してname属性「nametest3」で「円(税込)」が含まれる要素の文書ドキュメントを抽出しています。

VBAのIE制御でgetElementsByTagNameメソッドを利用してデータを抽出した結果

  'getElementsByClassNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "class", "classtest3", "円(税込)", "innerText")

こちらは、tagValueサブルーチンを利用してclass属性「classtest3」で「円(税込)」が含まれる要素の文書ドキュメントを抽出しています。

  'getElementsByTagNameメソッドで文書ドキュメントを抽出する
  MsgBox tagValue(objIE, "tag", "td", "円(税込)", "innerText")

こちらは、tagValueサブルーチンを利用してtdタグで「円(税込)」が含まれる要素の文書ドキュメントを抽出しています。

こちらは3つとも同じ処理になります。どのメソッドを利用しても結果は変わりませんが、処理速度を計測すると以下のような結果になります。

回数・処理	getElementsByName	getElementsByClassName	getElementsByTagName
1回目	18.8594秒	18.6211秒	30.7654秒
2回目	17.8475秒	17.9542秒	31.0094秒

getElementsByTagNameメソッドを利用すると処理速度が他に比べて遅くなるので、getElementsByTagNameメソッド以外で取得できる場合はそちらを利用しましょう。

ただし、何度も説明していますが、多くの処理を行うwebスクレイピングの場合に有効ですので、ログイン処理や短時間で済む処理の場合は簡単な方法を選択してください。

まとめ

今回は、一意のキーワードを指定して文書ドキュメントを抽出するサブルーチンの作成について解説しました。こちらは3つのメソッドを利用しましたが、getElementsByTagNameメソッドは処理速度が遅くなるので極力他のメソッドを利用して処理しましょう。次回は、指定した要素が存在するかチェックする方法について解説していきます。

次の記事：エクセルVBAで指定した要素が存在するかチェックする >>