「４－３．問題選定フロー」の編集履歴（バックアップ）一覧はこちら

「４－３．問題選定フロー」(2016/10/25 (火) 06:19:32) の最新版変更点

追加された行は緑色になります。

削除された行は赤色になります。

&color(red){*まだ検討中につき、細部はまだ決まっておりません。また下記の部分も変更の可能性があります。}

*【大前提】
・&color(red){「幅の広い、多くの人数が、少しずつ問題を出す（1～30問）」}仕組みで問題を集めます。
・そうやって集めた問題を、&color(red){「競技」として納得性ある問題群として調整します}。

*【今大会の特有の事情と、懸念】
|今大会の特有の事情|懸念|解決策|
|問題を作り慣れていない人による問題が多数集まる|「裏取りが不十分」「ミスリードを誘う」「聞きにくい」問題になるリスク|１．「選定」「裏取り」「調整」の３段階制|
|今までの「競技クイズ」の枠から外れたジャンルの問題も集まる|「どうやって選定するか」ジャッジが他の大会とは異なり、難しい|２．合議制（ポイント制）の導入|
|「今までとは違う」問題を意識するあまり、難しすぎる問題が集まる|難しい問題ばかりが集まり、当日盛り上がらないリスク|３．問題収集方法の見直し、事前リハのフィードバック|

***＜解決策１．「選定」「裏取り」「調整」の３段階制＞
・問題Aスタッフを「選定班」「裏取り班」の２つの職務に分けます（兼務してもよい）。それぞれ業務をする期間が異なります。
・また、最終の出題問題の決定、並び替え、問題文の調整を行う「問題チーフ」を１人以上置きます。
・「選定」段階で絞り込み、出したいと思った上位300問を重点的に「裏取り」します。

***＜解決策２．合議制（ポイント制）の導入＞
・「選定段階」で各選定担当が得点をつけ、合計点が高かったものを中心に出題します。
・ただし、合計点が低くても高得点をつけた人が多い問題については出題の可能性があります。

***＜解決策３．問題収集方法の見直し、事前リハのフィードバック＞
・問題選定方法については現在見直し中です。
・大会開催１か月前に「事前リハ」を行い、そこで当日出題予定の問題を出題します。
・ここでの参加者（Bスタッフ）からの指摘・反応（難易度・ジャンル等）をもとに、最終調整します。

*選考の基準

　従来、
「ジャンルが偏りがち。アカデミックなジャンルは点数が入りにくく、企業・漫画・室内遊戯あたりが「へーっ」と言いやすいのでどうしても多くなってしまう」
「傾向も偏りがち。難しめの知識をストレートに聞くものは点数が入りにくく、前フリで簡単なところに落ちる問題が点数が入りやすい 」
「簡単目の問題も必要であるが、”今までクイズで聞いたことがあるから”という理由ではねられることがある」
「全般的に、どこに焦点を当てて点数をつけていいかわからない」
　という声が聞かれました。

　'14より、下記のように選考の基準を変更しました。今回についても基本的にはこの流れで行う予定です。

　選定の基準としては、以下の三つです。
　Ａ選定＝面白さ。問題を聞いて「へー」と言えるか、（知らないジャンルだとしても）答えを聴いて興味を持てるか。
　Ｂ選定＝簡単さ。最後まで聞けば答えが出やすいかどうか。ただ、「クイズでよく出ているから」という基準ではなく、「マスコミや学校などで取り上げられているから、知名度が高いであろう」という基準。
　Ｃ選定＝出題意義。難しいし多くのリアクションは期待できないが、ジャンルの幅の広さを守るために必要。アカデミックなジャンル、マイナーなジャンル等。

　流れとしては、「Ａ選定で200問前後選んだ」後に、残りの問題を「Ｂ選定」「Ｃ選定」で選んでいく形になります。

*【問題選定スケジュール】

|時期|担当|項目|注意点|問題数|
|4/15-6/30||問題作成（第一次）|問題提出ファイルはこちら→&ref(ms16_questions_yourname.xlsx)||
|7/1-8/10|選定班|Ａ選定|・出題者を伏せた状態で、全員に問題を送付。&br()・まずＡ（面白さ）の基準で、「2点（ぜひ出したい）」「1点（できれば出したい）」をつける。&br()　1人あたり、2点は100問以下、2点＋1点は300問以下。&br()・合計点の上位200問前後をまず「仮採用」とする。ただしジャンルのかぶりなどによっては、上位でも採用にならない場合がありうる。&br()・また、点数をつけていただくにあたり、「ここをこうすれば出したい」というのがあったら、そのむねコメント記入した上で、「修正されたとしたら」の点数をつける。&br()・なお、この時点で裏取りの必要はないが、明らかにおかしい問題は「おかしいのでは？」とコメント欄にて疑問提示する。|約800（平均20問×40人）|
|7/3-31||問題作成（第二次）|足りないジャンルについてのみ募集||
|8/10-9/20|選定班|Ｂ・Ｃ選定|・残った問題のうち、Ｂ（簡単さ）とＣ（出題意義）のそれぞれで、「2点」「1点」をつけていってもらう。&br()・何問に対してつけていただくか、仮採用の問題のジャンルバランス（特にこのジャンルが不足している等）は事前に明示。|300|
|8/1-9/20|裏取り班|裏取り|・300問を約30問×10セットに分け、その30問については主担当としてwikipedia以外の注釈をつける。１セットにつき２人以上担当がつくのが望ましい。&br()・裏取りの際は、「正しいか否か」だけではなく、「その業界で知られているか」を注意してチェックする。&br()・「その業界では知られていないが、クイズでは既存の大会・問題集で出たためベタ扱い」の問題（例：カイロノミー、ラッコの皮など）が入らないよう特に注意する。&br()・その他の問題については注釈はつける必要はないが、疑義があったら指摘。&br()・問題文について、「これだとミスリードを誘う」「こうした方が聞きやすい」というのがあったら、修正案を出す。|300|
|9/20|問題チーフ|選定|・裏取りされた問題の中から、ジャンル・難易度も加味し、問題順を決定。&br()・また、裏取り班からの修正案をもとに、問題文について修正。|300（260+予備40）|
|9/下||問題リハ|・実際に問題リハの場で出題（選定班・裏取り班が出題、Ｂスタッフが解答する）&br()  そこでの反応をもとに、「指摘事項があった問題」「難しすぎる」があったら一部差し替える。||
|10/上|問題チーフ|問題送付|大会１週間前には問題を揃え、各地区スタッフに送付。|250+予備10|

[[トップページへ戻る>トップページ]]




----

*【大前提】
・&color(red){「幅の広い、多くの人数が、少しずつ問題を出す（1～30問）」}仕組みで問題を集めます。
・そうやって集めた問題を、&color(red){「競技」として納得性ある問題群として調整します}。

*【今大会の特有の事情と、懸念】
|今大会の特有の事情|懸念|解決策|
|問題を作り慣れていない人による問題が多数集まる|「裏取りが不十分」「ミスリードを誘う」「聞きにくい」問題になるリスク|１．「選定」「裏取り」「調整」の３段階制|
|今までの「競技クイズ」の枠から外れたジャンルの問題も集まる|「どうやって選定するか」ジャッジが他の大会とは異なり、難しい|２．合議制（ポイント制）の導入|
|「今までとは違う」問題を意識するあまり、難しすぎる問題が集まる|難しい問題ばかりが集まり、当日盛り上がらないリスク|３．問題収集方法の見直し、事前リハのフィードバック|

***＜解決策１．「選定」「裏取り」「調整」の３段階制＞
・問題Aスタッフを「選定班」「裏取り班」の２つの職務に分けます（兼務してもよい）。それぞれ業務をする期間が異なります。
・また、最終の出題問題の決定、並び替え、問題文の調整を行う「問題チーフ」を１人以上置きます。
・「選定」段階で絞り込み、出したいと思った上位300問を重点的に「裏取り」します。

***＜解決策２．合議制（ポイント制）の導入＞
・「選定段階」で各選定担当が得点をつけ、合計点が高かったものを中心に出題します。
・ただし、合計点が低くても高得点をつけた人が多い問題については出題の可能性があります。

***＜解決策３．問題収集方法の見直し、事前リハのフィードバック＞
・問題選定方法については現在見直し中です。
・大会開催１か月前に「事前リハ」を行い、そこで当日出題予定の問題を出題します。
・ここでの参加者（Bスタッフ）からの指摘・反応（難易度・ジャンル等）をもとに、最終調整します。

*選考の基準

　従来、
「ジャンルが偏りがち。アカデミックなジャンルは点数が入りにくく、企業・漫画・室内遊戯あたりが「へーっ」と言いやすいのでどうしても多くなってしまう」
「傾向も偏りがち。難しめの知識をストレートに聞くものは点数が入りにくく、前フリで簡単なところに落ちる問題が点数が入りやすい 」
「簡単目の問題も必要であるが、”今までクイズで聞いたことがあるから”という理由ではねられることがある」
「全般的に、どこに焦点を当てて点数をつけていいかわからない」
　という声が聞かれました。

　'14より、下記のように選考の基準を変更しました。今回についても基本的にはこの流れで行う予定です。

　選定の基準としては、以下の三つです。
　Ａ選定＝面白さ。問題を聞いて「へー」と言えるか、（知らないジャンルだとしても）答えを聴いて興味を持てるか。
　Ｂ選定＝簡単さ。最後まで聞けば答えが出やすいかどうか。ただ、「クイズでよく出ているから」という基準ではなく、「マスコミや学校などで取り上げられているから、知名度が高いであろう」という基準。
　Ｃ選定＝出題意義。難しいし多くのリアクションは期待できないが、ジャンルの幅の広さを守るために必要。アカデミックなジャンル、マイナーなジャンル等。

　流れとしては、「Ａ選定で200問前後選んだ」後に、残りの問題を「Ｂ選定」「Ｃ選定」で選んでいく形になります。

*【問題選定スケジュール】

|時期|担当|項目|注意点|問題数|
|4/15-6/30||問題作成（第一次）|問題提出ファイルはこちら→&ref(ms16_questions_yourname.xlsx)||
|7/1-8/10|選定班|Ａ選定|・出題者を伏せた状態で、全員に問題を送付。&br()・まずＡ（面白さ）の基準で、「2点（ぜひ出したい）」「1点（できれば出したい）」をつける。&br()　1人あたり、2点は100問以下、2点＋1点は300問以下。&br()・合計点の上位200問前後をまず「仮採用」とする。ただしジャンルのかぶりなどによっては、上位でも採用にならない場合がありうる。&br()・また、点数をつけていただくにあたり、「ここをこうすれば出したい」というのがあったら、そのむねコメント記入した上で、「修正されたとしたら」の点数をつける。&br()・なお、この時点で裏取りの必要はないが、明らかにおかしい問題は「おかしいのでは？」とコメント欄にて疑問提示する。|約800（平均20問×40人）|
|7/3-31||問題作成（第二次）|足りないジャンルについてのみ募集||
|8/10-9/20|選定班|Ｂ・Ｃ選定|・残った問題のうち、Ｂ（簡単さ）とＣ（出題意義）のそれぞれで、「2点」「1点」をつけていってもらう。&br()・何問に対してつけていただくか、仮採用の問題のジャンルバランス（特にこのジャンルが不足している等）は事前に明示。|300|
|8/1-9/20|裏取り班|裏取り|・300問を約30問×10セットに分け、その30問については主担当としてwikipedia以外の注釈をつける。１セットにつき２人以上担当がつくのが望ましい。&br()・裏取りの際は、「正しいか否か」だけではなく、「その業界で知られているか」を注意してチェックする。&br()・「その業界では知られていないが、クイズでは既存の大会・問題集で出たためベタ扱い」の問題（例：カイロノミー、ラッコの皮など）が入らないよう特に注意する。&br()・その他の問題については注釈はつける必要はないが、疑義があったら指摘。&br()・問題文について、「これだとミスリードを誘う」「こうした方が聞きやすい」というのがあったら、修正案を出す。|300|
|9/20|問題チーフ|選定|・裏取りされた問題の中から、ジャンル・難易度も加味し、問題順を決定。&br()・また、裏取り班からの修正案をもとに、問題文について修正。|300（260+予備40）|
|9/下||問題リハ|・実際に問題リハの場で出題（選定班・裏取り班が出題、Ｂスタッフが解答する）&br()  そこでの反応をもとに、「指摘事項があった問題」「難しすぎる」があったら一部差し替える。||
|10/上|問題チーフ|問題送付|大会１週間前には問題を揃え、各地区スタッフに送付。|250+予備10|

[[トップページへ戻る>トップページ]]




----