Googlebook の中核をなす AI 機能「Magic Pointer」において、画面上のデータがどのタイミングでクラウドへ送信されているのか、そのローカル処理とクラウド処理の具体的な役割分担が明らかになりました。
この情報は、Google の Alexander Kuscher 氏がポッドキャスト番組「Android Faithful」で語ったものです。
画面要素の認識はローカル (オンデバイス) で処理
Alexander Kuscher 氏によると、Magic Pointer を起動したときに「画面上のどの要素に対して操作が可能か」を判定・識別する初期処理は、すべて Googlebook 本体のローカル (オンデバイス) 上で完結します。
例えば、画面に表示されているテキスト、画像、あるいは受信メールなどの要素を自動で認識してハイライトする段階では、データが Google のクラウドサーバーへ送信されることはありません。
アクションを指示して初めてクラウドに送信
データがクラウドの AI モデルへ送られるのは、ユーザーが対象の要素を選択し、Gemini に対して指示 (解析・翻訳・要約・確認など) を実行したタイミングのみです。
Kuscher 氏は具体例として「受信したメールが迷惑メールかどうかを判定する」操作を挙げ、画面上のオブジェクトが「メールである」と認識する段階まではローカルで処理され、ユーザーがそのメールを選択して Gemini に解析を依頼した時点で初めて、該当するコンテンツがクラウドへと引き渡されると説明しました。
つまり、Magic Pointer が有効であっても画面上の情報が常時クラウドへ送信されるわけではなく、実行する段階になってデータが送信されるため、プライバシーとセキュリティに配慮した設計となっています。
マウスカーソルは「ユーザーの関心」を示す重要シグナル
また、Kuscher 氏は開発時のエピソードとして、Google 社内での検証において社内ユーザーが 1 日の作業中にマウスカーソルを移動させた距離が、平均で約 1 マイル（約 1.6km）にも達していたことを明かしました。
この分析により、マウスカーソルは「ユーザーが画面のどこに関心を持っているか」を示す極めて重要なシグナルであることが改めて確認され、単なる位置入力機能ではない「Magic Pointer」の開発へと結びついたとのことです。
なお、「Magic Pointer」は Googlebook に組み込まれた AI 機能となるため、Google AI の有料プランに加入していなくても利用できることも明らかになりました。