Apache Parquetファイルの開き方・読み込み・変換

表形式のデータを列単位で保存するバイナリファイルです。行グループ内に列チャンクがあり、対応する読み取りツールは必要な列だけを取得できます。

PyArrowを利用できる環境でimport pyarrow.parquet as pqとtable = pq.read_table('file.parquet')を実行します。結果はArrowテーブルです。table.to_pandas()でpandasのDataFrameに変換できます。

WindowsのPython環境でPyArrowを利用し、pyarrow.parquet.read_table('file.parquet')で読み込みます。必要に応じてto_pandas()でDataFrameに変換します。ファイルが使用する機能への対応が必要です。

MacのPython環境でPyArrowを利用し、pyarrow.parquet.read_table('file.parquet')で読み込みます。columns=['column_name']で列を指定できます。読み取り側がファイルの使用機能に対応しているか確認してください。

ファイルをスマートフォンからコンピューターにコピーし、PythonとPyArrowのpyarrow.parquet.read_table('file.parquet')で読み込んでください。ここでは特定のスマートフォンアプリは推奨していません。

読み取り側がファイルのエンコーディングやData Page V2に対応しているか確認します。古い読み取り側は未対応の機能を復号できない場合があります。未知の論理型は基礎となる物理型で返される場合もあるため、必要な機能に対応したものを使います。

すべての列が必要なら表全体を読み込みます。一部の列だけならPyArrowのcolumns引数を使います。行グループ単位で読み込む方法もあり、毎回表全体を読む必要を減らせます。

PyArrowで読み込み、必要ならto_pandas()で変換した後、CSV出力対応ツールで書き出します。pandasのインデックスなど、アプリケーション固有の情報が失われる場合があるため、変換結果を確認してください。

元のpandasインデックスをArrowテーブル作成時に保持しなかった場合、Parquetに保存して読み直しても復元されません。保存前にインデックスの保持方法を確認し、読み込み後のDataFrameと元データを比較してください。

拡張子だけでは判断できません。機密情報を含む可能性があり、読み取り側に脆弱性がある場合もあります。CVE-2025-46762はparquet-avroのspecificとreflectを対象とし、1.15.2への更新を推奨しています。genericはこの脆弱性の影響を受けません。

読み取り側が使用されている暗号化機能に対応しているか確認します。列とフッターを別々に保護できる一方、平文領域が残る場合があります。AES CTR自体には認証がないため、暗号化だけで完全な整合性保護があるとは判断できません。