インタラクション2008、半順序式査読採点手法

昨日・今日とインタラクション2008が開催された。インタラクションも参加者６００名余の巨大学会になってしまった。口頭発表だけではなく、デモ発表の件数も多いのだが、今回はデモセッション中の人口密度がちょっと異常なほど高かった。今までだと、セッション開始時は人が殺到してても、少し間合いを取って見に行けばそこそこ空いている感じがしたのだが、今回はセッション時間終了まで常に人で溢れていた。

ここ数年、デモセッションなどの投稿件数が増してきており、それに対処するために査読をきちんとやって件数を絞るという方向でやってきていた。しかし今年の感じだと件数を絞ることで逆に参加者の（発表一件あたりの）密度は高くなっている。特に参加者に実際に体験してもらうタイプのデモ発表には長い待ち行列ができてしまった。人気があって盛況なのはいいのだが、そろそろ物理的にハンドリングが難しくなってきている気もする。

インタラクション2008の内容そのものは多分いろんな方々が紹介すると思うのでちょっとそれに関連した別ネタを書いておく。学会というと論文査読がつきものだ。通常は査読者がスコアをたとえば5段階でつけて、複数査読者によるスコアの平均値を発表投稿の素点とする。もちろん単純にスコア順に採録ということではなく、各論文ごとに審議するのだが、それでもスコアが採否のための重要な情報であることには代りはない。

しかしこのスコアリングというのがなかなか曲者で、点数を辛めにつける人甘めにつける人など査読者ごとのばらつきは当然あるし、ある程度以上の論文数を査読しないと、その学会における投稿水準が見えてこないこともある。そういうスコアを単純に算術平均して使っていいものだろうか。たまたま「辛めにつける査読者」に割当たってしまった論文は不利ではないか、など色々問題がある。総合評価の採点だけだと不安だからか、「新規性」「有用性」「論文の完成度」とかいろいろ採点するカテゴリを増やすこともあるが、多次元尺度になると話はさらに複雑になるし、査読者の負担も増してしまう。

そこでどうするかという話題だが、以下のような方法はどうだろうか：

そもそもシンポジウムの査読は「論文の絶対的価値」を判定するものではなく、有限時間で開催されるシンポジウムで発表可能な件数分だけ、投稿論文からセレクトするのが目的だと考える。

とすれば、論文に絶対値としてのスコアを割り当てる必要は必ずしもなく、「論文Aよりも論文Bのほうが優れている」といった論文間の序列で判定することはできないだろうか。たとえば査読者は、割り当てられた論文（複数）に対して3とか４などの数値でスコアをつけるのではなく、

A < B
A < C
B < D
A < D

などの序列関係を列挙することにする。これは査読者が担当する複数論文の間に半順序関係を定義することになる。もちろんジャンルが異なっている論文間など、優劣を判定しがたいものもある。ので全順序ではなく半順序になる。*1

このようにして各査読者が定義した半順序関係をすべて集計して、もし全順序が導き出せれば、論文採否はその順に上位から発表可能な件数だけを採録と決定すれば済んでしまうのではないだろうか。もちろん複数査読間から矛盾する半順序関係が出てくる可能性もあるので論文ごとの審議は依然必要なのだが。

半順序方式のいいところは、投稿論文すべてに目を通しているわけではない査読者に、比較的明確に論文の序列を定義してもらえるところだろう。論文間の序列は、判定する人が正確に論文の価値を理解するという前提では、査読者の基準が辛い・甘いに関わらず同じ論文（群）に対して同じ半順序関係の集合が得られる。

従来の絶対値スコア方式の場合、たまたま割り当てられた論文の価値が A < B だとしても、それはA=3 B=4 なのかも知れないし、A=1 B=2　なのかも知れない。A < Bは確かだとしても、具体的にどうスコアをつければいいのかは曖昧なままである。さらに、仮にA=3とつけた場合、それは他の査読者が同じようにして別の論文につけたC=2などの数値と単純に比較されてしまう。だれもAとCの優劣を直接検討したわけではないのに。半順序のみを与える査読であれば、点数の曖昧性・属人的な点数の揺らぎからは解放されるのではないだろうか。

一方で、査読者に論文を割り当てるときに、最終結果が全順序になりやすいような割り振り方などは研究の余地があるだろう。たとえば全体を集計した半順序関係が、複数のクラスターに分かれてしまうと、クラスター間の優劣を判定手段がなくなってしまうので。

変形としては、論文の優劣判定にも重みづけを入れることも考えられる。たとえば

A <<<<<< B
A << C
B < D
A << D

のように。

というアイデアを学会の反省会などで主張しているのだが、今回は結構賛同してくれる人が多かったので、もしかすると次のインタラクションかWISSの査読で採用（少なくとも絶対値方式と併用）されるかも知れない。うまくいくと結構画期的な査読手法となるような気がするのだがどうでしょう。

階層分析法 - Wikipedia
《AHP一対比較法》 - ORWiki

*1:「A=B」というのもありかもしれない。これは「Aを通してBを通さないのはおかしい、その逆も同様」みたいな感じ。これはAB間が未定義というのとは別ものとなる。