naoyaの日記

■ entrylist の仕様 08:16

• http://d.hatena.ne.jp/myrmecoleon/20090207/1233999855
• http://b.hatena.ne.jp/entry/http://d.hatena.ne.jp/myrmecoleon/20090207/1233999855

の件ですが、一部誤解があるようです。現在の仕様はどうなっているかと言いますと

• URL がルートドキュメントだった場合 (例: http://www.example.com/) → top K で処理 (現在 K = 10,000)
• URL がルートドキュメントでない場合 (例: http://d.hatena.ne.jp/naoya/) → 全件処理

となっています。

ですので、例えばみなさんのはてなダイアリーなどでは全ドキュメントに対して遡ることができます。また http://blog.livedoor.jp/dankogai/ のような場合も同様です。

http://finalvent.cocolog-nifty.com/ のような場合は、そのドメインのエントリーのうち、直近 10,000 件しか遡れません。ただし、国内トップサイトのようなサイトでない限り 10,000 エントリー以上ブックマークされたエントリーがあるサイト (合計 10,000 件以上ブックマークを集めたサイト、ではありません) はまずありません。

という仕様ですので、個人が自分のサイトを調べる分に、制限されることはまずありません。またベテランのブログの記事を辿りたいという場合も同様です。

問題になるのはニコニコ動画全体、はてなダイアリー全体、といった特定のサービスを全体にわたって過去に遡る場合です。この場合、数十ページから数百ページ以降は表示されないこともあります。ただし、これが辿れなくて問題になるのはプログラムからアクセスした場合で、ヒューマンアクセスで問題になることはまずないでしょう。

例えば Google の検索結果は 1,630,000 件ヒットしても実際には 500 件程度までしかページングできませんが、それで困る人はまずいません。それと同じです。

残る問題はプログラムで過去のデータを分析したい、というユースケースです。こういった場合には URL とブックマークの件数データを、生データを公開するなどで今後、対応していきたいと思っています。プログラムから統計情報を利用したいという限定された利用のために、通常のアクセスの速度を犠牲にするのは、サービス運営上難しいです。そういったトレードオフがあるということをご理解ください。(そもそも、ロボットで過去のデータをクローリングして統計情報として利用するという利用ケースは推奨していません。過剰アクセスは通常のユーザーアクセスに悪影響を与えるので、制限せざるを得ません。新バージョンのベータ公開時にサイトがダウンしたことがありましたが、原因はこの機能でした。旧バージョンで動作していたのは、スケールしていたからではなく、たまたまです。旧バージョンでも頻繁に、この機能が原因でサイトがダウンすることがありました。)

過去のデータの蓄積から検索したりといったことがブックマークの目的ではないかというのは、その通りです。ですので、できうる限り蓄積したデータは提供していますし、検索もできます。

「集合知」というのはロングテールのデータをロボット等で取り出せるように公開しておく、ということだとは思いません。ロングテールにあるデータも含めて、何かしらの仕組みで情報要求通りに順位付けをした上で提示することだと思います。そのために検索や、関連エントリーなど(人気エントリー、新着エントリーといった限定された範囲のデータを対象にしたものではなく)広範囲のデータに対するアプローチがあります。今後もその辺りを継続的に強化していくつもりです。