GPT-4で診断士2次試験を解く
GPTの最新バージョン、GPT-4ではGPT-3.5に比べ様々な試験に対するパフォーマンスが向上したということなので、中小企業診断士の2次試験を解かせてみました。
お題は令和4年度 2次試験 事例1です。GPT-4の出力は私の再現答案と比較して評価します。ちなみに私の答案は本番の採点で77点。合格ラインの60点を超えた答案です。
中小企業診断士2次試験では架空の企業を題材とした3000字程度の「与件文」が与えられ、それに対して4~5個の質問がされます。本来ならばGPT-4は25000字の入力を受けられるはずですが、現在は2000文字程度に制限されているため、いったん与件文を分割して入力し1000字に要約してもらい、その後、本番の質問をする。という作戦を立てました。
プロンプトは下記のリンク先を参考にしました。
https://chatgpt-lab.com/n/n27192235310c
試験開始！
それではやっていきましょう。
与件文は3000文字近くあるので3回に分けて投入していきます。これに対してChatGPTの反応。
ちゃんと指示通り動いてくれています。次の与件文を投入。
OK。最後の与件文を投入していく。
あれ？まだ要約しろって指示してないのに勝手にようやくし始めたぞ？しかも成長戦略の助言が始まった。
回答が途中で途切れて終わったので、続きを聞いてみました。
この時点でかなり高品質の要約と助言が出力されています。 GPT−4の出力が一区切りしたので、勝手に始めないように注意します。
出力された要約文は215文字で1000文字を大幅に下回りました。このあたり文字数に対する指示は無視されがちでした。プロンプトを改善した方が良いかもしれません。
一応、与件文を一通り入力できたようなので本番の質問をしていきます。プロンプトでは「与件文の情報と一般的な知識」を使って回答するように指示しました。
解いた人ならわかると思いますが、一問目からかなり良い線の回答です。ちなみに私の回答は下記です。
強みは①有機JAS、JGAP等の認証。②菓子メーカーとの共同開発による菓子が人気。弱みは①社員教育や役割分担が不十分。②社員が定着せず採用難で人材不足。③繁忙と閑散の差が大きく品質と出荷量が不安定。
しかし、文字数が150字と制約条件を満たしてません。また後半は単にキーワードを羅列しているだけで文章が乱れているところも気になります。しかし、重要なキーワードを拾い出し、強みと弱みを分けてわかりやすく回答しています。やりますね。
文字数については、もう一回「100字でまとめ直して」と指示すれば解決する問題なので今回はあまり気にせず、回答内容のみ着目することにします。
続いて2問目です。
私の回答は下記です。
施策は①社内研修等の社員教育を行う。②役割分担を明確化し担当業務に集中させる。③代休等の働きやすい制度導入。④地域との交流会を開き新人をなじみやすくする。以上で新人の獲得と定着を行う。
はい、GPT-4の回答は私の回答と完全に一致しました。文句ないです。こちらも文字数が超過しているので試験では減点ですが、回答方針としては十分ではないでしょうか。
私の回答は下記です。
中食業社の要求に応えることで成長が見込め、売上が確保できるメリットを活用しつつ、売上が過度に依存し経営が不安定化したり他事業へのリソースが不足することを防ぐため、直営店や他業者との取引を開拓する。
ここはかなり回答内容が異なるように見えますが、この質問は与件文にはっきりとヒントが示されていないため、実際の試験でもかなり回答にばらつきがあったのではないかと予想します。私の回答もあまり自信がありません。その上でGPT-4の回答に明らかにおかしいものは無いように思います。
継続して取引を発展させながら、リスク分散を行う、という点で大まかにはGPT-4と私の回答は一致しているとも考えられます。
私の回答は下記です。
設問1：農業、直営店等の事業毎の事業部制とすべき。役割分担と利益責任を明確化し意思決定を速めて売上増を狙う。
設問2：①直営店は後継者から若手社員に段階的に権限委譲し、後継者の時間的余裕を確保する。②現経営者から後継者に農業法人全体の事業を継承していく。以上で社員のモラール向上と組織活性化、後継者の育成を行う。
設問1は「事業部制」というキーワードが出ていないものの、示されている方針は妥当と思います。設問2も私の回答主旨とほとんど変わらないですね。やるじゃん。
GPTの時代に資格試験の持つ意味は？
やってみた感想：GPT-4は中小企業診断士の2次試験 事例１〜３を十分合格できるレベルにあると思います。事例4はGPTが不得意とされる計算問題なので、おそらく合格できないと思いますが他のAIを援用すれば対応できるのではないでしょうか。
以前からChat GPTを試していたのでこれぐらいは余裕でやってのけると予想していましたが、私とほぼ同じ回答を出力したのは驚きました。もう少しChatGPTの登場が早く、試験前に触れていたら診断士の勉強を諦めたかもしれません。心折られていたかも。
今回の実験でGPT−4は中小企業診断士の2次試験を合格する実力があることがわかりました。しかし、中小企業診断士の資格やその他の資格の勉強が全て無駄になるわけではないと思います。
原理的に GPT−4は入力となるデータに対して、最も「もっともらしい出力」を返しているだけです。GPTの回答が妥当なものである保証はありません。現状は「ハルシネーション」という全くのデタラメが出力されるケースもあります。 GPTの出力内容を解釈して採用に値するかどうか、GPTを使用する人間が責任を持って判断する必要があります。
ネット上で調べた情報を鵜呑みにしてはいけない、というのは基本的なネットリテラシーですがChatGPT等のAI技術についても同じことが言えるでしょう。 GPTの回答が妥当であるか、信頼に値するか判断するためには、バックグラウンドとなる知識、常識、経験が必要です。それを身に着けるため、また身に着いたか確認する、さらに身についていることを他者に示す、という意味で資格は今後も意味を持ち続けるでしょう。少なくとも当面の間は。(この分野の進歩は本当に早いので、いつ覆されるかはわかりません。)
中小企業診断士の資格取得を目指す者はむしろGPTを自分の相棒として、フルに有効活用するべきです。特に2次試験は公式の解答例が存在せず、正解が何かわからない中で対策する試験です。 GPT-4の回答がある程度妥当であることがわかったので、自分の解答の方向性が間違っていないか確認する、あるいは自分の発想以外にどのような回答が可能か確認するために活用可能です。もちろんSWOT分析などのフレームワークを使わせても強力でしょう。
最後にGPT−4に今後も資格の勉強をする意味を問うてみました。
この回答を妥当と考えるかどうかは、ChatGPTを使う私やあなたの判断力に委ねられています。
