DHM 167【後編】

《連載》「英米文学と DH」第6回

「データカプセル上の分析」

データの取り込みと出力

前回までの連載で、ハティトラスト・リサーチセンター（以下 HTRC）のデータカプセルの概要、システム構成、書籍データの入手方法について示した[1]。ここまでの話で、読者がデータカプセルにアクセスし、分析したい書籍データを揃えることができたわけである。今回は用意した書籍データを分析するやり方について主に述べたい。はじめに、データ全般の取り込みと出力の仕組みについて理解した後、利用できる分析用ソフトウェアを紹介する。最後に共同利用のやり方についても触れる。

データカプセルへのデータ全般の取り込みについては制限はない。従って、分析したいデータを持ち寄り、グーグルドライブ等のクラウドサービスやメールなどを介して、書籍データや一般のデータをデータカプセルに取り込むことができる[2]。

一方で、データカプセルから外部へのデータの出力は大きな制約がある。著作権に配慮した非消費利用型研究ポリシーに基づき、書籍データの OCR テキストや画像、バイナリファイル、暗号化されたファイル、1MB を超える大きさのデータは出力できない。これらはすべて申請後人の目で確認される[2]。従ってかなりの期間待たされることもあるため注意が必要である。

分析結果などのデータの外部出力を行うには、セキュアモードに切り替えた後、releaseresults という独自のコマンドを使用する[3]。add および done というオプションがあり、外部出力を申請するファイルをaddオプションで専用のディレクトリに保存し、doneオプションで申請を行う。例えば、graph_a.svg および graph_b.svg という分析結果のファイルを出力したいとする。端末（ターミナル）を開き、該当のディレクトリに移動したうえで、

と入力して送信すれば、外部出力の申請となる。なおよくエラーが出るので、その場合は一度サーバーを再起動するとよい。HTRC の研究者による確認が行われた後、出力が認められれば、HTRC のウェブサイトの自分のプロジェクトのページの結果の欄にダウンロード可能な結果が掲載される（図1）。許可された場合、アクション欄のボタンを押してダウンロードできる。

利用できる分析用ソフトウェア

データカプセルにはあらかじめ種々のソフトウェアやライブラリが用意されている。代表的なものをあげれば表1のようになる[4]。

このうち、アナコンダ（Anaconda）とマレット（Mallet）について紹介する。

アナコンダはデータサイエンスや機械学習のためのプラットフォームであり、Python によるプログラム作成などを行うことができる[5]。Pythonを使うには、アナコンダの中のジュピターノートブックというソフトウェアを使うことが多いだろう。例えば、1740年から1840年に出版されたハティトラストに所収の書籍データの数量をグラフにしたいとする。ここで一つ注意する点は、インターネットが使えるのはメンテナンスモードのみであり、またハティトラストの書籍データを扱えるのはセキュアモードのみであるということである。生成AIでプログラムを作成させる場合など、インターネットを使う場合は都度メンテナンスモードに戻る必要がある。

まず、メンテナンスモードで端末を開き、以前の連載で紹介した詩のメタデータを以下のコマンドでダウンロードする[6]。

次に、セキュアモードに移動し、ダウンロードしたメタデータをセキュアモード専用のフォルダに移す。その後アナコンダに付属の Python 作成ツールであるジュピターノートブックをコマンドから開く。

最初の画面で、図2のようにジュピターノートブックを新規作成する。

次に、ジュピターノートブックの画面で、次のようにメタデータを読み込んでヒストグラムを描画するプログラムを作成する。

実行させると、図3のような結果が出る。1740年から1840年の所蔵書籍データの数量を表すヒストグラムである。

次にマレットの利用方法を紹介する。マレットはトピックモデリングの分析を行うソフトウェアである[7]。トピックモデリングは共起する語句ごとに重みを与える分類を行う。マレットは端末上でシェルコマンドを入力して操作する。初めに一回だけ、マレットの使用メモリを調整する必要がある。以下のようにシェルのエディタを利用して使用メモリの量を書き換える。

iキーを押して編集可能モードにしたのち、MEMORY=1g の行の1g を12g など上限に近いメモリ量に変更し、エスケープキー、:wq!と順に押して保存して戻る。

さてマレットの実行は、事前準備と分析実行の二段階に分かれる。初めにテキストの書籍データを読み込み、マレット専用の実行ファイルを作る事前準備を行なう。以下のように書籍データを読み込んだディレクトリと、必要なオプションを指定して、htrc run mallet コマンドを実行して事前準備を行う。

書籍データの量にもよるが、数時間から一日以上かかることもある。ブラウザを修了させ PC をシャットダウンして待っていてよい。HTRC のウェブサイトからデータカプセルを開くと、リモートの接続先のデータカプセルは処理を実行し続けていることがわかる。事前準備が終了したら、以下を参考にコマンドを実行して分析実行を行う。オプションの詳細はウェブサイトおよびマレットのヘルプファイルにある[8]。同様に長い時間がかかる点に注意である。

分析が終わったら、トピックごとの上位語句のリストやファイルごとのトピックの分布を利用して書籍データの分類の分析を行うことができる（図4）。トピックごとに、共起する語句のうち重みの大きい語句を調べて、人間がトピックにラベル付けをする。様々な角度からトピックを調べると分析の結果を得やすい。

共同利用の方法

データカプセルのプロジェクトは5人まで利用者を追加し共同で一つのプロジェクトを操作できる[9]。共同利用者を追加するには、プロジェクトのページで More data capsule functions のボタンを押し、Manage collaborators を選択するとよい（図5）。HTRCに登録している他の共同利用者のメールアドレスを入力して追加できる。承認後、他の共同利用者の役割を変更できる。詳細は HTRC のドキュメントを参照されたい[10]。

今回までの連載で、ハティトラスト・デジタルライブラリー、HTRC、データカプセル、データカプセルを用いた書籍データの入手と分析について紹介した。原稿執筆時点で、2026年12月末まで利用することが可能である。読者は大量の書籍データを用いた遠読などの分析を試されるとよいだろう。書籍データおよび分析環境を提供していただいているハティトラストおよび HTRC に深く感謝したい。

イベントレポート「DH 国際シンポジウム「デジタル画像とテキストの新展開：自動文字読み取りの最新動向とその利活用」参加録」

2025年6月3日、慶應義塾大学三田キャンパスにおいて DH 国際シンポジウム「デジタル画像とテキストの新展開: 自動文字読み取りの最新動向とその利活用」が開催された[1]。文部科学省人文学・社会科学のDX化に向けた研究開発推進事業・研究基盤ハブ（受託機関・慶應義塾ミュージアム・コモンズ）の主催で、共催として科研費特別推進研究「デジタル研究基盤としての令和大蔵経の編纂―次世代人文学の研究基盤構築モデルの提示(JP25H00001)」・科研費基盤研究(B)「人文学の研究方法論に基づく日本の歴史的テキストのためのデータ構造化手法の開発(JP23K28385)」が加わっている。なお、今回の参加録で大きな問題になるとは思っていないが、筆者は主催の研究基盤ハブに一員として加わっているほか、シンポジウムの総合司会も務めたため第三者として客観的な叙述には徹しきれないかもしれないことをお断りしておく。

今回のシンポジウムは、開催趣旨によれば、「フランス発のオープンソースの手書き文字認識プラットフォームプロジェクト eScriptorium の共同代表、Peter Stokes 教授と、国立国会図書館で古典籍 OCR の開発を推進する青池亨氏」とを迎えて開かれたものとのことであり、両氏の講演のほか、Stokes 氏の所属する PSL 大学関係者、そしてホスト側の関係者から発題があった。

冒頭は主催者から永崎研宣氏が「OCR の高度化とそれを利用した古典籍画像活用の可能性」と題されて趣旨説明と現状の見取り図の報告がなされた。また、氏の長年携わってこられた SAT 大蔵経プロジェクトにおける校勘事業——そこで OCR の活用をしていることが本シンポジウムの背景にあると言ってよい——の紹介があった。

つづいて、Peter Stokes 氏の講演が行われた。Peter Stokes 氏は、現在フランスの高等研究実習院（PSL 研究大学の一角をなす）の「西欧古代の文字・表記に対するデジタル・計算人文学応用」研究教授であり[2]、デジタル人文学を応用した古書体学(palaeography)・書物学(codicology)[3]の専門家である。eScriptorium[4]は、PSL 研究大学のプロジェクトである Scripta プロジェクトのデジタル人文学部門である eScripta チーム[5]が主導する、印刷資料および手書き資料の自動テキスト認識（Automatic Text Recognition: ATR）[6]をするためのプラットフォームであって、Stokes 氏はその共同代表である。

今回の講演では、氏が最近取り組んでおられる、多文字体系写本自動テキスト認識(multi-script automatic recognition)を中心に話が進められた[7]。eScriptorium では、当初より多言語・多文字体系対応を目指していたとのことで、そのためのATRエンジンkraken[8]の開発にも取り組まれてきた。講演では、多言語・多文字体系対応のシステムが抱える困難——Unicode 符号化の対応度、文字方向や表記形式の複雑さ、生成 AI の学習源とするには「学習データ」が不足していることなど——が具体的に紹介された。また、ATR からテキスト研究に向かうことの困難が指摘され、そのほかの活用法として、レイアウト分析や文字体系と言語との関係、テキストの同定、テキストと画像の対応付け、書き込みの検知などが挙げられた。レイアウト分析の実例として、ひとつの資料体のページ数が多くなるほど、行間注などの書き込みの粗密のばらつきが増えるということが示された。また、古書体学の研究にも有効に用いることができることが示されたが、最後に提起された「「a」という文字はなにによって「a」という文字たりうるのか」という知識モデルへの問いは似たような関心を持つ者として大いに触発された[9]。

そののちは、PSL 大学で Stokes 氏と協力関係にある面々からそれぞれの取組みについて短い発表がされた。Daniel Stockholm 氏は、”AI and Computer Vision Approaches to the Study of Animals in Medieval Illuminated Manuscripts（中世装飾写本に描かれた動物の研究へのAIおよびコンピュータビジョンの応用）”と題して中世装飾写本に描かれた動物についてのオントロジなどの紹介がされた[10]。ついで、Chahan Vidal-Gorène 氏からは、”Manuscript restoration using Generative networks（生成ネットワークを用いた写本の修復）”と題して、写本の欠損部分を生成AIで修復できないかというこころみが紹介され[11]、遠目にはそれっぽく見えることに驚かされた。Florian Cafiero氏からは、”Augmented Diplomacy: Transcription, Semantic Edition, and AI-Assisted Exploration of the Archives of Multilateralism（AI を活用した外交史料研究：多国間主義アーカイブの転写、意味的校訂、AI 支援による探索”と題して、外交史料に対する生成AIやオントロジ[12]の紹介と活用について述べられた。

つぎの部では、青池氏からの講演と、慶應義塾大学の安形麻理氏から日本の研究状況の紹介が行われた。青池亨氏は、国立国会図書館の司書であるが、次世代システム開発研究室において、同館のさまざまな新システムの開発に取り組まれておられ、とりわけ OCR 関係で大きな寄与をされてきたことは、すでに本月報でも紹介したことがあるし、ご本人によって本月報に巻頭言も寄せられているところである[13]。本シンポジウムとしては、Stokes 氏をふくめた聴衆への紹介という面が大きかったが、国立国会図書館内部の OCR システムと eScriptorium のシステム構成とが類似しており、容易に協力できそうであるとの指摘は興味深かった。

安形氏からは、安形輝氏との共同研究として、氏が長年取り組まれてきたグーテンベルク四十二行聖書活字の文字データセット抽出が紹介された[14]。グーテンベルク四十二行聖書活字をめぐっては、従来説を疑問視する研究結果が提出されてその後はかばかしい進展がなかったものが、両氏の検討では、さまざまな修正の余地があるという。着実な用例蒐集がものをいうということを実感させられた。

最後の討論では、分類の問題やAIと教育の問題などが話題となっていた。

全体として、分け入るということが知への冀求であるということをあらためて強く感じさせられたと同時に、いかに規模を大きくしていくかのトレードオフも問題になったと思う。多くの聴衆にとっては、ややこしさに恐れ入って終わってしまったかもしれないが、コンピュータを使って根本的な研究をしたいと願うとはこういうことだというものでなかっただろうか。