生成AIエンジニアの参画初月にやること｜現場で信頼される進め方

生成AIエンジニアの参画初月は、利用者と業務、使えるデータと環境の範囲をつかみ、評価の土台を作って現状を測り、月末に「現状の見立て」と「改善の案」を出して合意を取るところまでを目標にします。最初の1か月で求められるのは、目を引くデモを作ることより、この人に任せれば品質を確かめながら進めてくれると発注側が判断できる材料を示すことです。

参画前の契約・環境の準備は参画が決まってから開始日までにやること、職種を問わない最初の1週間の進め方は参画初日から最初の1週間でやることで解説しています。この記事では、生成AIエンジニアならではの初月の動き方に絞ります。

初月のゴールを3つに分ける

初月にやることは多く見えますが、次の3つに分けると優先順位がつけやすくなります。

1週目：前提を資料と人から集める

最初に確かめる資料

既存の仕組みがある案件では、次の資料を先に読みます。

• 仕組みの構成図と、使っているモデル・サービスとその版
• 指示文（プロンプト）と設定、その変更の記録
• 検索の対象にしている文書の一覧と、更新の仕組み
• 既存の評価データや、利用者からの問い合わせ・苦情の記録
• 利用料と応答時間の推移
• 生成AIの利用に関する取引先の規程や、契約の条項

新しく作る案件では、業務の手順書や、対象にしたい文書の見本、これまでの検討資料から読み始めます。

使ってよいデータと環境を確かめる

生成AIの案件で、初週にもっとも大切なのがここです。どのサービスに、どの情報を入力してよいか、作業する端末やアカウントは何を使うかを、発注側の窓口と確かめます。承認に時間がかかる場合は、承認を待つ間に進めることを決めておきます。契約上の扱いは業務での生成AIの利用に関する契約条項で整理しています。

関係者と短く話す

発注側の担当者だけでなく、実際の利用者、文書やデータを管理する部門、情報システムやセキュリティの担当とも短く話します。利用者には「どんな質問をしたいか」「どんな誤りが困るか」を聞くと、評価の質問を集める材料になります。

2週目：評価の土台を作り、現状を測る

評価の質問と望ましい回答を集める

利用者への聞き取りや問い合わせの記録をもとに、想定される質問と望ましい回答の組を集めます。最初から多く集める必要はありません。業務でよく出る質問、誤りが許されない質問、答えられないのが正しい質問を混ぜておくと、仕組みの弱点が見えやすくなります。

採点の基準を発注側と合わせる

「正しい回答」の基準は、人によって違います。根拠の文書を示しているか、言い回しの違いはどこまで許すか、答えられないときに答えないのは正解か、などを発注側と言葉で合わせます。ここを飛ばすと、月末の報告で数字の意味が伝わりません。

現状を測り、記録の仕組みを置く

集めた質問で今の仕組みを測り、結果を表にします。あわせて、指示文や設定、モデルの版を変えたときに、日付と理由を残す記録の仕組みを置きます。以後の改善は、この記録と評価の表を使って説明します。

3〜4週目：見立てを出し、改善案に合意を取る

現状の見立てをまとめる

評価の結果から、弱い点とその原因の見立てをまとめます。たとえば、次のように分けると打ち手が選びやすくなります。

• 検索の問題：必要な文書が見つかっていない、古い版の文書が混ざっている
• 指示の問題：根拠を示さない、答えられないときに推測で答えてしまう
• データの問題：文書そのものに答えがない、文書どうしで内容が食い違っている
• 使い方の問題：利用者の質問の仕方が想定と違う、確認の手順がない

改善案は選択肢で出す

改善の案は一つに決め打ちせず、効果の見込み、手間、費用、リスクを並べた選択肢で示します。モデルの切り替えのように費用や情報の扱いに関わる案は、発注側に判断してもらう材料として出すのが基本です。

次の1〜2か月の進め方を引く

合意した案をもとに、何をどの順で試し、どの時点で評価の表を更新して報告するかを決めます。範囲が広がりそうな場合は、契約の業務範囲と照らし合わせます。考え方は業務範囲が変わったときの記事をご覧ください。

案件の型によって初月の重心は変わる

試作・検証の案件

期間が短いことが多いため、初月のうちに試作と評価の結果まで出すことを求められる場合があります。その場合も、うまくいった例だけでなく、弱い点と本番に向けて必要なことを並べて報告します。

既存の仕組みを改善する案件

前任者の記録や評価データが残っているかで、初月の進め方が大きく変わります。引き継ぎが少ない場合は、評価の土台づくりに時間を多めに割きます。引き継ぎの受け方は引き継ぎの記事で整理しています。

本番に向けて新しく作る案件

構成を決める前に、データと環境、費用と応答時間の条件、権限の範囲を確かめることに重心を置きます。ここで決めたことは後から変えにくいため、決めた理由を記録に残します。

初月に避けたい動き

• いきなりモデルや道具を入れ替える：評価の土台がないまま入れ替えると、良くなったかを説明できません
• 自分のアカウントでデータを扱う：取引先が認めた環境とアカウントで作業します
• うまくいった例だけでデモをする：期待が膨らみ、あとで誤りが見つかったときに信頼を失います
• 指示文を記録なしに直し続ける：何をいつ変えたかが分からなくなります
• 費用と応答時間を見ない：試作では気にならなくても、利用者が増えると問題になります

1か月の終わりに振り返ること

月末には、次の点を自分で振り返ると、2か月目の進め方が定まります。

1. 利用者と業務、使えるデータと環境の範囲を、言葉で説明できるか
2. 評価の質問と採点の基準を、発注側と合意できているか
3. 現状の結果と、弱い点の原因の見立てを示せたか
4. 改善の案と、次の1〜2か月の進め方に合意を取れたか
5. 指示文・設定・モデルの版の変更を、記録に残せているか

足りない点があれば、2か月目の最初の週に埋めます。参画後につまずきやすい場面は生成AIエンジニアのつまずきやすい点の記事で整理しています。

よくある質問

前任者の評価データや記録がほとんどありません。何から始めればよいですか？

まず、利用者への聞き取りや問い合わせの記録から、よく出る質問と誤りが困る質問を集め、小さな評価の表を作るところから始めてください。指示文や設定は、今の状態をそのまま記録に残し、そこを出発点として変更を管理します。

参画初月から「すぐに精度を上げてほしい」と求められたら、どうすればよいですか？

すぐに試せる改善があれば進めつつ、変更の前後を比べるための評価の表を並行して作ってください。評価がないまま直すと、良くなったかを説明できず、かえって時間がかかります。採点の基準を合わせることの必要性を、短く説明して合意を取ることをおすすめします。

データへのアクセスの承認がなかなか下りません。その間は何をすればよいですか？

評価の観点の整理、公開されている資料を使った試作、構成と権限の設計など、データに触れなくても進められる作業を決めて進めます。進めた内容と、承認が下りたらすぐに始めることを短く報告しておくと、発注側も状況をつかみやすくなります。リモートでの進め方は生成AIエンジニアのリモート案件の記事も参考になります。