先に結論
BioBasicsBenchは、AIエージェントに実験の生データや対照条件を読み解かせる評価セットとして、研究支援の候補を比較する材料になります。ただし、最高得点の66.7%は、実験室で判断を任せられる証明ではありません。日本企業は、再現性を評価できる低リスクの解析課題でモデル選定に使い、実験の採否や安全に関わる判断は人が確認する前提を崩さないことが妥当です。
GLOBAL AI BRIEF ・ COMPARISON
ベンチマーク得点は、研究現場での判断をどこまで保証するか？
- STEP 01BioBasicsBench100課題・5領域生データと実験文脈を評価
- STEP 02公開結果37設定・18,500試行Astra xhigh平均報酬66.7%
- STEP 03未確定の範囲自社環境での再現性実験成果・費用対効果
- STEP 04導入判断自社データで失敗を分類重大判断は専門家が承認
ベンチマークの焦点は、論文用の図表ではなく日常的な実験データ
OpenAIは2026年11月6日、バイオテクノロジー企業Ligoと開発したBioBasicsBenchを公開しました。OpenAIは、同ベンチマークを、AIエージェントが日常的なウェットラボ業務の証拠をどの程度解釈できるか測るものと説明しています。
ここでいうウェットラボとは、生物試料を使って実験を行う研究環境です。実務では、実験の失敗、判読が難しい画像、互いに食い違う観察結果が生じます。論文掲載用に選ばれた整った図表だけを対象とする評価では、こうした曖昧さやトラブル対応を十分に測れない、というのがOpenAIの問題設定です。
BioBasicsBenchの100課題は、タンパク質手法、画像・フローサイトメトリー、定量・アッセイ、核酸手法、分子クローニングの5領域を扱います。簡単な分子量の読み取りから、複数のデータを合わせたアッセイ分析まで、いずれも日常的な実験解析を想定しています。
課題が試すのは知識の想起だけではありません。画像や数値を読み、対照実験を確認し、実験の文脈を保ち、証拠が結論を支えない場合にその限界を認識する力も問います。課題数は100で、入力形式の種類の数とは異なります。1課題に画像、手順書、装置出力など複数の証拠が含まれ得ます。
入力資料の幅が、スコアの読み方を左右する
OpenAIの掲載表では、課題に含まれるデータの種類は重複して数えられています。たとえばゲル・ブロット画像は31課題、プロトコルや実験ノートなどは27課題、表・装置出力は20課題、顕微鏡データは14課題です。カテゴリは重なるため、これらを足して100課題になるわけではありません。
入力には、寒天プレートやコロニーの写真、複数チャンネルの顕微鏡画像、フローサイトメトリーの生データ、シーケンスファイル、実験動画も含まれます。ラダーチャートやプラスミドマップなどの参照資料も補助情報として使われています。したがって、この評価は「画像認識」だけを切り出したものではなく、異なる形式の資料を実験の問いと結び付ける課題です。
課題は研究者自身の実験データを用い、質問と専門家が作成した採点基準を組み合わせています。OpenAIによると、作成者ではないLigoの科学者による内部レビュー、ウェットラボで働く博士号取得者による外部レビュー、さらに内部の最終レビューを経ています。
回答は、結論、数値、理由、または証拠不足の認識といったルーブリックの各項目に照らして採点されます。全体として正しい結論でも一部の根拠が不足すれば部分点になり得る設計です。採点は課題ごとの基準に対する平均報酬であり、実験成功率や自律実行率ではありません。
評価規模は18,500件、ただし独立した課題は100件
OpenAIは7モデルについて、37のモデル・推論努力設定を評価しました。各設定で100課題をそれぞれ5回試行し、合計は18,500件の結果です。信頼区間は、5回の試行を同じ課題のまとまりとして保ちながら課題単位で再標本化し、95%区間として算出したと説明しています。
この区別は、数字を読むときに重要です。18,500件は試行結果の合計であって、18,500種類の独立した実験課題を意味しません。独立した課題の土台は100件です。また、モデルごとに推論努力設定が異なるため、同じ条件での単純な計算量比較ではありません。
最高推論努力設定「xhigh」での平均報酬は、GPT‑6 Astraが66.7%（95%信頼区間60.3–73.1%）、GPT‑6.1 Solが62.0%（55.6–68.4%）、GPT‑5.6 Solが43.8%（37.6–50.0%）でした。OpenAIはこの結果を、自社モデル間のベンチマーク比較として提示しています。
同じ表では、1課題あたりの平均出力トークン数も異なります。xhigh設定のGPT‑6 Astraは4,704、GPT‑5.6 Solは9,099です。これは評価時の出力量の情報であり、API価格や実運用の総費用を示すものではありません。モデルの推論努力、入力形式、再試行、人による確認を含めた導入コストは、この表だけでは判断できません。
| モデル（xhigh） | 平均報酬 | 95%信頼区間 | 平均出力トークン／課題 | 読み取れる範囲 |
|---|---|---|---|---|
| GPT‑6 Astra | 66.7% | 60.3–73.1% | 4,704 | 掲載条件で最高の平均報酬 |
| GPT‑6.1 Sol | 62.0% | 55.6–68.4% | 5,238 | Astraとの差は4.7ポイント |
| GPT‑5.6 Sol | 43.8% | 37.6–50.0% | 9,099 | Astraとの比較対象 |
| GPT‑6 Luna | 38.3% | 32.3–44.5% | 13,120 | 掲載されたモデル間の差を示す |
上表の数値はすべてOpenAI公表値です。信頼区間があることは不確実性を示しますが、ベンチマーク外の研究室や別のデータ構成で同じ順位・差が再現することまでは保証しません。
対照実験と画像の曖昧さを見抜けるかが、改善例の中心
OpenAIが紹介する例の一つでは、GPT‑5.6 Solが死細胞を示す色素の信号を根拠に細胞を死んでいると分類しました。しかし検出器は別の色素の光も拾う可能性があり、明るさだけでは結論できません。GPT‑6 Astraはこの曖昧さを認識し、信号を分離するための対照を求めたとされています。
この事例では、二つの検出窓が525–540nmで重なります。OpenAIは、重なりが干渉の可能性を生む一方、その量は測定されていないと説明しています。各チャンネルは別々の強度スケールで表示されるため、画像上の明るさをチャンネル間でそのまま定量比較することもできません。
別のクローニング課題では、陰性対照プレートのラベルが実験で使ったアンピシリンではなく、別の抗生物質であるカナマイシンを示していました。GPT‑5.6 Solがコロニーの有無を基に結論を進めたのに対し、GPT‑6 Astraは対照として信頼できないと判断した、とOpenAIは報告しています。
顕微鏡動画の例では、細胞が画像から現れたり消えたりする様子を、生物学的な変化ではなく、深さの異なる画像を撮るz-stackとして解釈したとされています。これらは、視覚情報を実験条件と照合する能力を示す例ですが、OpenAIが選んだ事例であり、全課題における誤りの頻度を直接示すものではありません。
高得点でも残る失敗は、結論の根拠を逆転させる
OpenAIはGPT‑6 Astraにも失敗が残ると明記しています。あるクローニング課題では、モデルはバンドのまとまり自体は見分けたものの、対照に基づく実験上の意味付けを取り違えました。基準解が選ぶコロニーは5、9、10であるのに対し、Astraは4、6、7、8を提案したと説明しています。
この誤りは、見た目を認識できても、対照との関係からどのバンドが目的の構築物を示すか判断できなければ、結論が逆になることを示します。OpenAIによると、そのまま進めれば誤ったプラスミドの精製につながり得る例でした。画像の読み取り成功と、実験判断の正しさは別々に評価すべきです。
コロニー数の計数では、近接したコロニーを分けられない、見えるコロニーを数え落とす、何もない寒天をコロニーとして数える問題があり、基準値に対して約12%の過大計数になった例も公開されています。培養量や希釈率を固定する場合、その過大計数はDNA導入効率の見積もりにも同じ割合で影響し得るとOpenAIは説明しています。
また、同じ画像内に明るく見える液胞と暗く見える液胞があるにもかかわらず、Astraが暗い例を一般化し、反対の観察を最終結論へ反映しなかった例もあります。つまり、途中で矛盾する証拠に気づいても、最終回答でそれを適切に扱えない場合があります。高い平均点だけでなく、重大な誤りの種類と発生条件を個別に調べる必要があります。
日本企業の研究開発では、モデル選定用と実験判断用を分ける
BioBasicsBenchを使う価値があるのは、複数モデルの候補を同じ課題群で比較し、どの種類の証拠で失敗するかを調べる初期評価です。日本企業の研究開発部門なら、既に人が確認できる過去の実験記録を使い、画像読取、数値抽出、対照確認、証拠不足の認識を別々に採点する出発点にできます。
ただし、公開ベンチマークの課題と自社の実験は同一ではありません。試薬、装置、手順、画像品質、研究対象が違えば、モデルの誤り方も変わり得ます。自社データを使った評価では、正解ラベルを独立した専門家が確認し、入力資料、手順書の版、装置条件を記録して、モデルの更新後にも同じ課題で再評価できるようにします。
採用判断では、平均点だけでなく、結論を誤ると実験や意思決定へどの程度影響するかを分けてください。画像の候補抽出や記録整理のように、人が元データを確認して訂正できる用途は、限定評価の対象になり得ます。一方、実験の中止・継続、試料の廃棄、重要な研究結論をモデル単独で確定する用途は、この発表だけを根拠に採用できません。
| 利用目的 | 判断 | 必要な確認 | 保留・停止条件 |
|---|---|---|---|
| 公開ベンチマークでモデル候補を比較 | 初期選定の材料にする | 課題範囲、採点基準、信頼区間、推論設定 | 実験室での性能保証として解釈しない |
| 過去の自社データで解析を補助 | 専門家が照合できる範囲で限定評価 | 独立した正解ラベル、失敗類型、モデル更新時の再評価 | 重大な誤りを検知・訂正できない場合は停止 |
| 実験結論や手順を自律的に確定 | 発表内容だけでは採用根拠が不足 | 対象業務固有の安全性・妥当性検証と承認体制 | 人のレビューなしに不可逆な操作へ接続しない |
評価指標には、平均得点のほかに、対照条件の誤認、数値の許容誤差、証拠不足を正しく保留できた割合、専門家の修正時間を含めます。失敗を種類別に集計し、見落としが特定の画像形式やプロトコルに偏っていないかも確認します。これらは編集部が提案する検証項目であり、OpenAIが実運用で達成した数値ではありません。
適用しない条件と、公開情報から分からないこと
BioBasicsBenchは、日常的なウェットラボ解析の一部を測るベンチマークです。研究計画全体の妥当性、実験の自律遂行、臨床的な有効性、製造環境での品質保証を測るものとしては提示されていません。ベンチマークでの平均報酬を、そのまま研究成果の改善や作業時間の削減へ換算することもできません。
OpenAIの発表からは、ベンチマーク対象の100課題を超える幅広い研究環境での再現性、導入費用、実験時間への効果、個別の誤りが発生する頻度までは確認できません。第三者が同じモデルと課題を独立に評価した結果も、この資料には示されていません。
課題作成とレビューに専門家が関わったことは品質管理上の情報ですが、それだけで評価の独立性が確立したとは言えません。開発主体であるOpenAIが公表した結果であることを踏まえ、導入判断では自社データと第三者の評価を別に確保するのが適切です。
さらに、ベンチマークの正解基準は課題ごとのルーブリックに基づきます。複数の専門家が合理的に異なる解釈を持つ課題や、研究目的によって許容される判断が変わる課題を、単一の得点でどう扱うかは公開情報だけでは分かりません。
よくある質問
BioBasicsBenchの66.7%は、GPT‑6 Astraの実験成功率ですか？
いいえ。OpenAIが示した平均報酬で、100課題それぞれの採点基準に対する獲得クレジットを平均した値です。実験成功率や、自律的に実験を完了した割合とは説明されていません。
18,500件の結果なら、18,500種類の課題を評価したのですか？
いいえ。7モデルについて37のモデル・推論努力設定があり、各設定で100課題を5回試行した合計です。独立した課題は100件で、試行の合計が18,500件です。
日本の研究室でも同じ順位になると考えてよいですか？
公開情報だけでは分かりません。装置、試薬、画像品質、手順、専門領域が異なるため、自社の過去データで専門家が正解を確認した評価セットを作り、モデルごとに比較する必要があります。
まず試すなら、どの種類の業務が適していますか？
元データを人が確認でき、誤りを訂正してから次の作業へ進める解析補助が候補です。実験の採否や試料の不可逆な処理をモデル単独で決める用途は、今回のベンチマークだけでは根拠が不足します。
出典と検証範囲
一次情報はOpenAI「Measuring how AI agents handle everyday wet-lab science」です。OpenAIは2026年11月6日にBioBasicsBenchを発表しました。本稿の数値、課題設計、モデル例、失敗例は同社の公開記事に基づきます。
確認日：2026年11月8日。確認範囲：OpenAIが公開したベンチマーク説明、評価条件、集計値、事例。未検証：第三者による独立再現、自社環境での性能、費用対効果、実験成果への影響。モデルやベンチマークの条件が更新された場合は、数値と評価範囲を再確認してください。
編集部の判断：BioBasicsBenchは、研究現場の曖昧な証拠を扱う能力を比較する材料として有用です。しかし、現時点での実務的な位置付けはモデル選定の入口であり、研究者の判断を代替する認定試験ではありません。自社データで失敗を測り、重大判断には専門家の承認を残すことが、採用を検討する前提です。
一次情報URL：https://openai.com/index/measuring-how-ai-agents-handle-wet-lab-science