top of page


PowerShellでのデータ抽出とSQL
Pythonがインストールされていない環境において、PowerShellを活用して大容量のデータ抽出を行う際、記述が容易な「CSVパイプ処理(Import-Csv)」と、やや煩雑な「OLEDBによるSQL処理」のどちらを採用すべきか、実機検証を交えて徹底比較しました。数千行程度の手軽な処理であれば1行で直感的に記述できるパイプ処理が最適ですが、データ量が数万行から10万行を超える規模になると、全データをオンメモリで処理するパイプ方式ではメモリの大量消費や深刻な速度低下(フルスキャン)を引き起こすリスクがあります。一方で、OLEDBを介してデータベースエンジン側に処理を委任するSQL方式は、コードが冗長でOfficeのビット数(32bit/64bit)に依存する制約があるものの、必要なデータのみを最適化してスマートに取得できるため、劇的な省メモリと高速化を実現できます。本記事では、Excel 2007から最新のOffice 365環境における接続文字列の記述方法や、実務で嵌まりがちな環境依存のエラー対処法まで、データ量に応じた最適な住み分けの目安を
5月27日読了時間: 3分


フローさえ書ければ何でもできる
——元上司の言葉をPowerShellで実感した話 文字コードを扱うデータの中身を確認するために、PowerShellで簡単な解析スクリプトを作ってみた。 きっかけとしては、ファイル内の内容を人間が読める形で確認したい場面があり、せっかくなので勉強も兼ねて試してみた。実装自体はAIにある程度生成させているが、全体のフロー(一番下のPSファイルのコメント部分)とエンコードの前提は自分で与えている。 そのままでは理解が浅くなるため、改めてコードの中身を追いながら整理してみた。 ※現在はIT職ではありませんが、個人で継続的に学習しています。 --- PS Add-Type -AssemblyName System.Windows.Forms $dialog = New-Object System.Windows.Forms.OpenFileDialog PY import os dialog = tkinter.filedialog.Open() VBA CreateObject Set dialog = Application.FileDialog(
5月17日読了時間: 4分
bottom of page