早押しクイズ自動正誤判定(仮)

問題に別解・△・×・注記をどう書くか

正誤判定基準ガイド

自動判定に問題を渡すときの、別解の入れ方のコツと注意点です。技術的な話は省き、問題を書く人の目線でまとめています。列の名前は問題 CSV の見出し(問題・正解・読み・別解・△・×・早め△・早め△まで・注記)に合わせています。

まず押さえる 3 つのこと

  1. 判定機は知識を持ち出しません。 愛称・本名・別名・旧称で正解にしたいものは、書いてある分だけが正解になります。書いていない別名を AI が思い出して正解にすることは、わざと止めています(人間が気づけない間違いになるため)。書かれていない名前で答えられると「審判へ」に回りやすくなります。
  2. 読みを書けば即決になります。 解答が「読み」と一致すれば、AI に聞かずにその場で正解になります。読みが無い問題は、正解を言われても毎回 AI 判定になり、遅く、ぶれます。ただし、カタカナだけの正解・別解(「ウォンバット」など)は読みを書かなくてもそのまま一致します。読みが要るのは漢字・英字・数字を含む答えです。
  3. △ と × に書いた答えは原則より強い。 △・× の列に書いた答え(△ に 「豊臣」、× に 「森鴎外」 など)は、AI の判断に関係なくそのとおりに確定します。判定が甘すぎる・辛すぎると感じたら、原則をいじるより △× に足すのが早道です。△・× に漢字や英字の答えを書くときは、かなも並べます(△ の列に 「空条承太郎」「くうじょうじょうたろう」)。解答は、音声認識の出力(ふつう漢字かな混じり)でもキー入力でも、届いた表記のまま照合されます。漢字を読みに開くことはしないので、漢字とかなの両方を並べておけば、どちらの形で届いてもその場で確定します。届いた形が並んでいないと AI に「読みが同じか」を聞くことになり、遅く、まれに外します。

各列の役割

列 書くもの 書かなくてよいもの
正解 代表となる表記を 1 つ
読み 正解と別解すべての読み(かな)。数字や英字を含む答えは、読み方も 長音・小書きの母音(ぁぃぅぇぉ)・「ヴ」と「バ行」・「ぢ/じ」「づ/ず」「を/お」の揺れ(自動で吸収します。ゃゅょ・っ の有無は吸収しません)。カタカナだけの正解・別解の読み(「ウォンバット」に「うぉんばっと」など)
別解 同じものを指す別の名前。表記違い・略称・旧称・正式名称と通称・英語名・本名と芸名 ひらがな/カタカナの違い、スペースや記号の有無(自動で吸収します。漢字とかなの違いは「読み」で吸収)
△ 惜しいので言い直させたい答え。姓だけ・名だけ、単位なし、上位概念、一部だけ
× 誤答にしたい答え。音が近い別の語、定番の誤答、同姓の別人、前段階や関連するが違うもの
早め△ 早く押したときだけ △ にしたい答え。問題の途中までなら別の答えもありえた、というもの
早め△まで 早め△の切れ目。問題文からそのまま写した一節を 1 つ
注記 判定の方針を短く。「フルネーム必須」「単位必須」「順不同」「県名でも○」など 解答例そのもの(それは別解・△・× に)。別の名前(現地名・通称・略称)は別解に

読み・別解・△・×・早め△ の列には複数の値を書けます。

  • 値は 「A」「B」 のように、ひとつずつ「」で囲んで並べます(「なつめそうせき」「なつめきんのすけ」)。
  • 囲みの中には / や 、 などどんな記号も書けます(「Fate/stay night」「フェイト」)。
  • 答えの中に「」があるときは、外側をもう一組の「」か『』で囲みます(『「お前ごときが魔王に勝てると思うな」と勇者パーティを追放されたので、王都で気ままに暮らしたい』)。

丸括弧「()」は、読み・別解・△・× の列では意味を持ちません。丸括弧の中を読み仮名や省略できる部分としては扱わず、括弧の記号だけを外した 1 本の文字列として照合します。

  • 空条承太郎(くうじょうじょうたろう) と △ に書くと、「空条承太郎くうじょうじょうたろう」という 1 つの答えになります。解答が「空条承太郎」でも「くうじょうじょうたろう」でも一致しません。読みを添えたいなら 「空条承太郎」「くうじょうじょうたろう」 と 2 つの値として書きます。
  • (東京)スカイツリー と別解に書くと、「東京スカイツリー」という 1 つの答えになり、「スカイツリー」とは一致しません。省略した形も正解にしたいなら、別解に スカイツリー を別の値として足します。

別解のコツ

同じものを指す別の名前だけを入れます。「これも正解にしてよい」と「惜しい」は分けて、惜しいものは △ へ。

入れるとよいもの:

  • 別名・現地名: エベレスト → チョモランマ、サガルマータ
  • 略称・通称: 古今和歌集 → 古今集
  • 旧称・正式名称: 現在の名前と、問題文の時点の名前
  • 英語名・学術名: 金 → ゴールド、ビタミンC → アスコルビン酸
  • 本名と芸名、ペンネーム
  • ことわざ・慣用句の一部を聞く問題で、全文で答えても正解にするなら全文

入れなくてよいもの:

  • 表記の揺れ(ベートーヴェン/ベートーベン、スペースや中黒の有無、全角半角)。正規化で同じ扱いになります
  • 「もう一度」にしたいもの(△ へ)
  • 「これ以外は×」のような注意書き(効きません。下の注記を参照)

別解を足したら、その読みも「読み」に足すのを忘れずに。読みが無い別解は、かなで答えられたときに即決になりません。

△ のコツ

  • 人名: 東洋人名(日本・韓国・中国など)はフルネームで正解、姓だけ・名だけは △ が原則です。原則と違う扱いにしたい問題だけ書きます。名で一意に決まる武将なら別解に「秀吉」、△ に「豊臣」、同姓の有名人がいて姓だけでは決められないなら × に姓を書く、のように。
  • 単位: 「何メートル」と聞く問題で単位なしを △ にしたいなら、△ の列に「340」のように数だけを書きます。「何度」「何人」のように単位が答えの本質でない問題は、書かなければ単位なしでも正解になります。
  • 上位概念・部分: 枝豆と大豆、県と市のような関係は、問題文の読まれた範囲で判断されます。迷わせたくないものは △ に書きます。
  • 数字を含む固有名詞: 「ザンボット3」の「3」を「すりー」としか読ませたくないなら、読みに「ざんぼっとすりー」だけを書き、△ に「ざんぼっとさん」を足します。「ドラゴンクエスト3」のように「さん」でも「すりー」でもよいナンバリングは、読みに両方を書きます。
  • 漢字や英字の答えには、かなも並べる: △ の列に 「空条承太郎」「くうじょうじょうたろう」 のように、それぞれを「」で囲んで並べます。空条承太郎(くうじょうじょうたろう) とは書けません。括弧は読みを添える印にはならず、意図どおりには読まれません(括弧の扱いは各列の役割を参照)。
  • △ のあと何回言い直せるかは、判定を使う側の設定で決まります。判定の部品の既定は何度でも、このデモサイトのトップページは 1 回、早押しクエストは何度でもです。

× のコツ

  • 音が近い別の語は必ず × に。七転八起に対する七転八倒など。近い語を AI が正解と言った場合は自動で「審判へ」に落とす仕組みがありますが、× に書いておけばその場で誤答に確定します。
  • 定番の誤答: 首都を聞いて最大都市が返るような、出題者が予想できる誤答。
  • 西洋人名の同姓の別人: 西洋人名は姓だけで正解が原則です。同じ姓の別人と取り違えられる問題は × の列で名指しします(原則側では区別できません)。
  • 前段階・派生: 日本シリーズに対するクライマックスシリーズのような前段階、作品名に対する続編名など。

西洋人名の自動判定

「西洋人名は姓だけで正解」の原則は、次の形の問題では AI に聞かずにその場で決めます。

  • 効く条件: 正解か別解が、「・」(半角の「・」でも可)で区切ったカタカナだけの名前(アルベルト・アインシュタイン、ジャン=ポール・サルトル)のとき。最後の要素(アインシュタイン、サルトル)と一致する解答をその場で正解にします。= では区切らないので、ジャン=ポール は 1 つの要素です。
  • = でつないだ複合姓(サン=テグジュペリ)は複合姓の全体で答えます。片方だけ(テグジュペリ)は自動では正解になりません。
  • 効かないもの: 漢字や英字を含む表記、「・」の無い名前(= だけでつないだ名前を含む)。これらは AI が原則で判断します。
  • 止める書き方: 注記に「フルネーム」「ファーストネーム」「苗字」「名字」「姓」「名前」のどれか、または「韓国」「中国」「台湾」「東洋」などの国・地域の語があると、この自動判定は使わず AI 判定になります。同じ姓の別人と取り違えられる問題は、× の列にその姓を書けば、自動判定より先に × で確定します。
  • 落とし穴: 「モロボシ・ダン」のように姓が先に来るカタカナ名では、最後の要素は名なので「ダン」だけで正解になってしまいます。作品のキャラクター名でこの形なら、注記に「姓名どちらかで○」「フルネーム必須」のように姓名の語を書いて自動判定を止め、正解にしたい形は別解に書きます。
  • 判定を使う側の設定でも切れます(このデモサイトのトップページでは「カタカナ人名は姓だけで正解」)。

早め△のコツ

早く押したときだけ △ にしたい答えがある問題は、早め△ と 早め△まで の 2 つの列を組で書きます。

列 書くもの
問題 真ん中が空洞になった外観は正八胞体を思わせる、日本では「新凱旋門」とも称されるパリ郊外の高層ビルは何でしょう?
正解 グランダルシュ
早め△ 「新凱旋門」
早め△まで 思わせる、
  • 早め△の列には、問題の途中までなら答えとしてありえた言い方を書きます。この問題では「新凱旋門」がそれです。問題を最後まで聞いてから「新凱旋門」と答えるのは、問題文に出てきた言葉を返しただけなので × です。
  • 早め△までの列には、問題文の一節をそのまま写します。「ここまでしか読まれていないなら、早め△の答えを言ってもまだ問題の取り違えではない」という最後の一節です。この問題では「日本では「新凱旋門」とも称される」が読まれた時点で、答えが「新凱旋門」ではないと分かるので、その直前の 思わせる、 までが切れ目です。
  • 判定は次の 3 通りです。
    • 「…思わせる、」まで読まれた時点で「新凱旋門」 → △
    • 「…思わせる、日」と、一節の次の文字が 1 文字でも読まれてから → ×
    • 全文を読み終えてから → ×
  • 1 問に切れ目は 1 つで、早め△の答えが複数あっても同じ切れ目を使います。一節は問題文の中で最初に出てくる場所で見るので、何度も出てくる語句は前後を足して 1 か所に決まるようにします。問題文を直したら切れ目も合わせてください。
  • 早め△はその場で確定します(AI には聞きません)。

注記のコツ

注記を読むのは AI だけです。判定は 正解との一致 → 早め△ → △・× の列 → AI の順に進み、手前の段階で確定した解答に注記は関係しません。注記の文を機械的に照合することもありません。例外は、判定機の用心をゆるめる合図として決まった語を見る 2 つだけです(下の「フルネーム」などの語と「大意」などの語)。

  • 注記は、その問題に限って原則を書き換えます。 判定機には、問題ごとの指定が無いときに使う共通の決まり(原則)があります。「東洋人名はフルネームで正解、姓だけ・名だけは △」「西洋人名は姓だけで正解」「単位が本質の問題で単位なしは △」「上位概念や一部だけは △」「問題文に出てきた語をそのまま答えたら ×」「漢字の読み違いは △」などです(全文は判定原則)。注記に原則と違うことを書けば、その問題では注記のほうが勝ちます。原則では姓だけが △ になる問題に「姓だけでも○」と書けば ○ になり、原則では姓だけで ○ になる西洋人名の問題に「フルネーム必須」と書けば姓だけは △ になります。原則と食い違わない注記(「順不同」など)は、そのまま判断の材料になります。
  • 方針だけを短く書きます。1 行の言い切りが一番よく効きます。
    • 答えの形の条件: 「フルネーム必須」「単位必須」「順不同」「2 つとも必要」「西暦で答える」
    • 許す範囲: 「県名でも○」「後者だけでも○」「作品名だけなら△」「大意が合っていれば○」
  • 別の名前で正解にしたいもの(現地名・通称・略称・本名など)は、注記ではなく別解の列に書きます。「現地の呼び名でも○」「通称でも○」と注記に書いても、どの名前がそれに当たるかを AI は知識で持ち出さない決まりなので、別解に無い名前で答えられると「審判へ」に回ります。
  • 「これ以外×」「別解なし」は注記として残るだけで、判定を厳しくする効果はありません。誤答にしたい答えがあるなら × に具体的に書きます。
  • 「「A」が出れば○」「「A」も○」「「A」でも○」のように注記の中で答えを名指しするより、別解の列に A を書くほうが確実に効きます。注記の名指しは AI が読んで判断するだけで、機械的な照合には使われません。
  • 早めに押したときだけ △ にしたい答えは、注記ではなく早め△の列に書きます(上の「早め△のコツ」を参照)。
  • 注記に「フルネーム」「苗字」「名字」「姓」「名前」と書くと、カタカナ西洋人名を姓だけで正解にする自動判定が止まり、その問題は AI 判定になります。作問者が姓名の扱いに触れている以上、機械が勝手に決めない、という意図です。西洋人名を普通に姓だけで正解にしたい問題では、これらの語を注記に書かないでください(仕組みは西洋人名の自動判定を参照)。
  • 注記に「大意」「だいたい」「趣旨」と書くと(問題文の【だいたいでOK】「どんなもの」「なぜ」「何故」も同じ)、短い言い方や語順の違いを「音が近い別の語」として「審判へ」に回す用心もしなくなります。
  • 韓国・中国などの人名を「キム・ヨナ」のようにカタカナで書く問題では、注記に「韓国の人名なのでフルネーム必須」のように、国・地域と姓名の扱いを書いてください。書かないと西洋人名と区別できず、最後の要素(「ヨナ」)だけで正解になってしまいます。答えを漢字(金妍兒)で書き、読みに「きむよな」を入れる形でも構いません。

「審判へ」が多いときの直し方

「審判へ」は自動判定が確信を持てなかった印です。閾値を緩める前に、データ側を見直します。

起きていること 直し方
正解を言っているのに審判へ 読みが無い、または別表記が読みに無い。読みを足す
別名で答えたら審判へ 別名を AI の知識に頼っている。別解と読みに書く
近い語を言ったら審判へ 近い語を × に書く(誤答に確定させる)
姓だけで答えたら審判へ 注記に「名前」「苗字」などの語がある。意図がなければ消す。意図があるなら別解・△・× で明示する
単位なしで審判へ △ に数だけを書く

最後のチェックリスト

  • 正解と別解のすべてに読みがある
  • 数字・英字を含む答えは、読み方(すりー/さん など)を決めて読みに書いた
  • 音が近い別の語、定番の誤答を × に書いた
  • △・× に漢字や英字で書いた答えには、かなも並べた
  • 人名は、原則(東洋人名はフルネーム、西洋人名は姓だけ)と違う扱いにしたいものだけ別解・△・× に書いた
  • 単位が本質の答えは、△ に数だけを書いた
  • 早め△を書いた問題には、早め△までに問題文の一節を写した
  • 注記は方針だけで、解答例は別解・△・× に移した(「「A」が出れば○」の A も別解に)