趣味プログラミングblog

大まかな手順は、以下の3ステップ。

1. ファイル分割で小さくして開く
2. ログの分類
3. 分類した項目のカウント

---

ファイル分割

テキストファイルでそんな大きいと何もできねぇし。ひとまずパワーシェルで1万行ごとにファイル分割して調べることにした。

ファイル分割はこのサイト
https://pasomaki.com/powershell-divide-text/

---

ログの分類

ログファイルは例によって 項目名=値 の形で保存されててオートフィルターとかは使えない。
並べ替えようにも日時情報から始まるからすでにソート済み。どうしたものか。。。


日付情報を消せば良いのか！

ログファイルから数値を全部消したものをソートすれば、どういうログが多いか見当がつく。

---

分類した項目のカウント

エクセルでログの横に数値を消した列を追加。
全く同じ処理を前にやっててマクロも作成済みだった。

http://aki.p-kin.net/vba/集計用列を挿入するマクロ

追加した数値を消した列を集計したところ、トップ3が同数で約2000件。うち1件はサイトへのアクセスがブロックされたログだった。
Windowsが標準的にアクセスするサイトをブロックしてたらそりゃ肥大化しますわなー。

ひとまず、制限を解除して様子見。

---

まとめ

今回は肥大化したテキストファイルを解析した。ポイントは3点。

1. 大きすぎると扱えないのでパワーシェルで分割する。
2. 要素を調べるなら数値情報を消してテキストだけを見てみる。
3. 項目数の多い順に確認する。