Queria
データセットショーケースAI チャットエリア分析
⌘K
データセット一覧府省の文書の全文検索
全文検索3
  • 文書
  • 文書のページの 2-gram
  • 文書のページ
Queriaについて料金ジオコーダー法人名寄せ API利用規約プライバシーポリシー特定商取引法に基づく表記お問い合わせコミュニティ (Discord)オープンデータマップデータを公開・提供する方へ

© 2026 FLOPS

gov_documents/search/pages文書のページ

説明

search.documents の PDF の本文をページごとにまとめたテーブルです。1 行が 1 つの PDF の 1 ページです。同じ中身の PDF は 1 回だけ持ちます。

  • text は各府省のデータセットが PDF から取り出して NFKC で正規化した本文です。段組みや図の中の文字は、読む順になっていないことがあります
  • chars は空白と改行を除いた文字数で、BM25 の文書の長さに使います
  • page_id は search.page_bigrams がページを指す番号です。ビルドのたびに振り直すので、ほかのデータセットからは sha256 と page で指してください
  • page_url で PDF の該当ページを開けます

列

列名
データ型
説明
ページの番号
INTEGER
search.page_bigrams がページを指す番号。ビルドのたびに振り直す
PDF の sha256
VARCHAR
-
ページ
INTEGER
PDF の 1 始まりのページ番号
ページラベル
VARCHAR
PDF に付いている印刷上のページ番号
本文
VARCHAR
-
文字数
INTEGER
空白と改行を除いた本文の文字数
ページの URL
VARCHAR
-
種別
テーブル
ライセンス
  • 公共データ利用規約(第1.0版)
元データ
https://rssystem.go.jp

テーブル定義

CREATE TABLE search.pages (
  page_id INTEGER,
  sha256 VARCHAR,
  page INTEGER,
  page_label VARCHAR,
  text VARCHAR,
  chars INTEGER,
  page_url VARCHAR
);
テーブル3リネージュ履歴イシュー変更リクエスト
queria/gov_documents府省の文書の全文検索
スター0