あるWEBページの特定の数値を自動記録する方法(特定ページの特定箇所に記載。要ログイン)

Question

※具体的なサービス名まで参考までに書きましたが、知らなくても問題ありません。

フリーテルSIMのマイページに現在のデータ使用量が記載されています。
その数値を自動的に定期取得する方法はないでしょうか？

今月の使用量合計の最新値が記載されているだけなので、
過去の日単位での数字をさかのぼって見る事ができません。

日単位の使用量を知るには、毎日使用量合計値をエクセルに記録し、
昨日との差分から出す事になり、実際にできる限り毎日午前中に記録を取っていますが、
休日等の記録できなかったり記録し忘れてしまう日があります。
その場合は平均値で埋めるようにしていますが、
何か自動化する方法はないかなと思い、効率化に詳しい人に相談したく投稿させていただきました。

neKo_deux · Accepted Answer

自分だったらですが、UWSCを使用とか。
ＰＣを起動しっぱなしで、タスクスケジューラから毎日決まった時間なんかにスクリプトを実行。
取得してデータはテキストに落としてもいいし、Excelに追記も可能です。

下記はどこかのサイトのテーブルの中の不特定な位置から希望のデータを取得って例だそうです。

人力検索はてな - UWSCを使ってWEB上から必要なデーターを取る方法を教えて下さい。
http://q.hatena.ne.jp/1387280635

> フリーテルSIMのマイページに

自分はアカウント持ってないので、具体的にどうこうってのは言えないですが。

--
ただ、UWSCの公式サイトが現在アクセスできなくなってるみたい。

UWSC
http://www.uwsc.info/

2月にライセンスキーの再発行を依頼した際は速やかに処理していただきましたが。

neKo_deux · Answer

> 「2.40GB ～ 2.41GB」に見えますが、実はここが曲者で、
> 「～」この波線が環境依存文字を使っているのです。

あんまり経験ないパターンかも。
mojiって変数に「2.40GB ～ 2.41GB」(環境依存文字含む)が格納されてるとして、いくつか思いつく方法だと、

1)
// 半角文字に変換
moji = STRCONV(moji, SC_HALFWIDTH)

すると、「?」「~」とかの扱いやすい文字になってくれるかも。
(手元の環境で、UNICODEで変な文字入れてみたら、ダメっぽかったですが。)

2)
上の通りに数値の前後に半角空白があるなら、
moji1 = TOKEN(" ", moji) // mojiから空白で区切った1つ目を取り出し
moji2 = TOKEN(" ", moji) // 残ったmojiから空白で区切った1つ目(元々からだと2つ目)を取り出し
moji3 = TOKEN(" ", moji) // 残ったmojiから空白で区切った1つ目(元々からだと3つ目)を取り出し
で、
「2.40GB」
「～」(機種依存文字含む)
「2.41GB」
の3つに区切れます。

あるいは、SPLIT関数使うと一発で配列に格納できます。
Dim dat

dat = SPLIT(moji, " ")
print dat[0] + ", " + dat[2] // 「2.40GB, 2.41GB」ってなるハズ

配列を(区切り文字含めて)結合した文字列を作るJION関数と合わせて、CSVの処理とか簡単です。

3)
Google Maps - 「千代田区一丁目一番地」
https://www.google.co.jp/maps/?q=%E5%8D%83%E4%BB%A3%E7%94%B0%E5%8C%BA%E4%B8%80%E4%B8%81%E7%9B%AE%E4%B8%80%E7%95%AA%E5%9C%B0

のような日本語URLのエンコードを利用して、扱いやすいコードに変換

// UTF-8にエンコード、URLエンコード
moji = ENCODE(ENCODE(moji, CODE_UTF8), CODE_URL)

「2.40GB+%C9%B1+2.41GB」みたいな感じになるハズなので、
上の要領で「+」で区切ったり。

neKo_deux · Answer

> もし相談に乗っていただけるなら説明テキストを載せたいと思いますが、これはやめといた方がいいような。場合によっては、質問者さんのブラウザで表示されているサイトのbodyの中には、個人情報なんかが含まれる可能性もあります。単純な氏名以外にも、IPアドレスとか何とか。そういうのが確認できてるなら、参考URLにこの質問のURLをくっ付けて、新規に質問とかの方が良いかも。 -- > 取得した文字列に対して別の関数でさらに加工とかできるんですかね。 VBAと違うのでクセがある感じですが、機能は充実していると思います。 UWSCのヘルプが見れるなら、スクリプト-文字操作関連が簡潔にまとめられていて、有用な例なんかも付いています。 aとbを連結してcに格納する文字列の連結は、 c = a + b aから指定した文字の抜き出し(VBAだとMID関数)してcに格納は、 c = COPY(a, 5, 8) // aの5文字目から8文字をcにコピー aから置換で余計な"<余計>"と"<無駄>"を削除するには、 a = REPLACE(a, "<余計>", "") a = REPLACE(a, "<無駄>", "") だとか。

neKo_deux · Answer

ID、パスワードの主力は、IEオブジェクト使う場合はIESETDATAが簡単です。(サイトが対応するなら。)

uwscのメモ - IEで自動ログインにIESETDATAを使う
http://uwsc.36nyan.com/iesetdata/
UWSC コバヤシ式 - IESETDATA
http://canal22.org/kansu/iesetdata/

> ログインして、目的のページへ遷移して、必要な情報をCSVに書き出すところまでできました。

ならばもうちょっとでしょうか。

--
> ただ取得情報の場所特定テクニックが甘く、結構余計な情報まで取得してしまう仕様です。

取得したページ、bodyの内容が確認できれば絞り込み出来そうでしょうか？

// bodyのソース取得
body = IEGetSrc(IE, "BODY")
print body // <-この行を追記

とすると、ログウィンドウとログファイルに変数の中身を出力出来ます。
回答で提示したスクリプトの作りだと、処理終了するとログウィンドウは閉じちゃうんですが、
UWSCの右端の設定ボタン-[.INI/.LOG Folder]でログファイルの保存されているフォルダを開けるので、
UWSC.LOG
のファイルを開き、質問の補足にある画像の例だと「2.41」の数字を検索し、対象のタグや囲んでいる文字列を特定とか。

タグが分かるならIEGETDATA、

UWSCコバヤシ式 - IEGETDATA
http://canal22.org/kansu/iegetdata/

タグで取得できない、タグの順番が変わるとかなら、提示したサンプルと同様にBetweenStrで対象データの前後の文字から特定とか。

その他、ウィンドウの指定した座標の文字を取得するPOSACC関数とかありますが、こっちは非表示ウィンドウに対しては難しかったかもなので、根本的に見直す必要が出そう。

neKo_deux · Answer

> ・ブラウザはChromeですが、取得したいタブをアクティブにしておく必要があるのか。 UWSCだと、IEが使いやすいです。下の例だと、IEを非表示で起動、データ取得して閉じます。 > ・具体的に、取り込みたいページのキャプチャーを補足に貼りました。電話番号にだけモザイクかけてます。自分はアカウント持ってなくてログインできないので、具体的なコードは提示できないですが。代わりにというか、gooのサイトのトップから降水確率のデータ取得して、所定の場所のcsvに追記するってサンプルです。 Option explicit Dim IE, URL // IEオブジェクト、gooのURL Dim body // 取得するサイトのbodyの内容 Dim percent // 取得する降水確率 // URLを格納 URL="https://www.goo.ne.jp/"　// <-なんかダブルクオートが"ってなる。 // IEオブジェクトを作成 IE = CreateOLEObj("InternetExplorer.Application") // IEを表示(デバッグ時は表示した方がいいね) //IE.Visible = True // URLを開く IE.Navigate(URL) // 待つ BusyWait(IE) // bodyのソース取得 body = IEGetSrc(IE, "BODY") //

～

で囲まれた、最初に見つかる降水確率を取得 percent = BetweenStr(body, "

percent<#DBL>>", "

") // 降水確率をファイルに書き出す CSVWrite(percent) // IE終了 IE.Quit ExitExit // ファイル書き出し Procedure CSVWrite(percent) 　Dim fid // ファイルID 　Dim msgline // 書き込み文字列　// ファイルオープン c:\_Src\out.csv 　fid = FOpen("c:\_Src\out.csv", F_READ or F_WRITE ) 　// 現在日時を取得　GetTime() 　// 文字列生成　msgline = G_TIME_YY2 + "/" + G_TIME_MM2 + "/" + G_TIME_DD2 + " " + G_TIME_HH2 + ":" + G_TIME_NN2 + ", " + Trim(percent) 　// 日付と降水確率を書き込み　FPut(fid, msgline) 　// ファイルクローズ　FClose(fid) Fend // 待つ Procedure BusyWait(ie) 　Dim tm 　Sleep(0.5) // Wait 　Const TIME_OUT = 90 　tm = Gettime() 　repeat 　　Sleep(0.2) 　　ifb Gettime() - tm > TIME_OUT 　　　MsgBox("Time Out:BusyWait") 　　　ExitExit 　　endif 　until (! ie.busy) and (ie.readyState=4) 　Sleep(0.5) Fend 丁寧に作るなら、ログイン中かどうか確認、自動でログインとか。

あるWEBページの特定の数値を自動記録する方法(特定ページの特定箇所に記載。要ログイン)

自分だったらですが、UWSCを使用とか。

> 「2.40GB ～ 2.41GB」に見えますが、実はここが曲者で、

> もし相談に乗っていただけるなら説明テキストを載せたいと思いますが、

ID、パスワードの主力は、IEオブジェクト使う場合はIESETDATAが簡単です。

> ・ブラウザはChromeですが、取得したいタブをアクティブにしておく必要があるのか。

似たような質問が見つかりました

関連するカテゴリからQ&Aを探す

デイリーランキングこのカテゴリの人気デイリーQ&Aランキング

マンスリーランキングこのカテゴリの人気マンスリーQ&Aランキング