執筆

AIについて学んだことを、すべて書き残す

2006年からブログを書いています。最近はほとんどがLLMとの仕事についてです。何がうまくいくか、いくらかかるか、何がマーケティングか。どの記事も英語とポルトガル語で公開しています。

LLMベンチマークv4

主要モデルをすべて、同じ妨害工作入りのアプリでテスト

v4は、7回のスプリントで育っていく1つのRailsアプリです。その間、隔離されたサブエージェントが実在のCVEをもとにした14個の妨害工作を仕込みます。モデルは注意深さで順位付けします。壊れているところに気づいて直したか。ここにたどり着くまでに、ベンチマークを一から作り直すのは3回目でした。

主要なフロンティアモデルが出るたびに、同じ表で走らせます。直近の回では2026年9月23日に5モデルを追加しました。どのモデルを何に使うか、タスクあたりいくらかかるかは、これで決めています。

私がモデルを選ぶ根拠のデータと、古いテストが頭打ちになって手法がどう変わったか。

1人でこれだけのプロジェクトをメンテナンスするためのプロセス、スキル、安全網。

作ったものや試したもの。うまくいかなかったものも含めて。

ハイプに反論しているところ。きつい言葉を覚悟してください。

許可を求めるより、あとで謝るほうがいい。

ツールもスキルもベンチマークも公開リポジトリです。フォークして、自分の働き方に合うバージョンを作ってください。