本文へスキップ
メニュー
ワークフロースキル、tmux、毎日のループツールai-usagebar24のAIプロバイダーのクォータとリセット時刻ghpending未対応のプルリクエストとIssueを1つのリストにtclockコマンドウィジェット付きのターミナル時計Frankプロジェクト自分の困りごとを解決する実験ai-memoryコーディングエージェントの長期メモリai-jailAIコーディングエージェント用のOSサンドボックス執筆執筆ブログとLLMベンチマークAGIがどうでもいい理由出典付きの意見AIと学生基礎がこれまで以上に大事な理由LLMの限界AIがコピーできるもの、できないもの書籍『Competent Enough』AIを1年間試した記録ニュースレターThe M.Akita Chronicles、毎週月曜日ポッドキャストAIについての長い対談を動画でゲームコードで管理するゲームコレクション、Omarchyで環境Omarchy、tmux、そして見送ったものフォロー
意見

LLMの限界

PhotoCraft、REA、毎週のように出るゲームの新しい移植を見て、多くの人がAdobeは終わり、次はプログラマーだと思い込みました。私はコードと数字を読みました。AIがうまくコピーできるもの、できないものを7つの短いポイントにまとめます。

LLMは公開されているものは再現できますが、非公開のものは推測できません。

LLM consegue replicar o que é aberto, mas não adivinha o que é privado.

1. 得意なこと

すでに公開されているもののコピー

モデルは公開コードから学びました。似たものが公開されていれば、エージェントはそれを速く安く作り直します。

81.5%
GitHubへのコントリビューションのうち、非公開リポジトリで行われる割合(Octoverse 2025)
67.5 TB
The Stack v2の公開コード。モデルが学習に使う種類のデータです
  • だから今は、1人でRust製のネイティブなSpotifyやWhatsAppのクライアントを出せます。サービスもライブラリも道筋も、もともとありました。知られた道をなぞり直すのが安くなったのです。
  • 給料を払っているコードは、ほとんどが非公開です。どのモデルも見たことがなく、推測もできません。
  • 似たものがどこにもないと、エージェントは試行錯誤に頼ります。助けになるのはモデルに欠けているものです。誰も公開しなかった参考資料、何が正しいかを示すオラクル、客観的な目標を持つテスト。
2. リバースエンジニアリング

バイナリの分解は40年前からある

あなたが使ったことのあるエミュレーターは、どれも誰かがバイナリを分解したから存在します。AIは、すでに動いていた組み立てラインに加わりました。

7つの節目が並ぶ年表:1984 PC BIOS、1993 Wine、2000 エミュレーター合法、2019 Ghidra、2019 Mario 64デコンプ、2024 Zeldaリコンプ、そして緑の矢印が指す最後の2026 エージェント。
  • 米国の裁判所は1992年(Sega対Accolade)と2000年(Sony対Connectix)に基本を決めました。仕組みを知るためにコードを逆アセンブルするのはフェアユースです。
  • ツールは成熟していて、多くは無料です。NSAは2019年にGhidraを公開しました。スーパーマリオ64のデコンパイルが公開されたのと同じ年です。
  • LLMのデコンパイラーは商用のものより読みやすいコードを書きますが、機能的な正しさは52%低くなります(DecompileBench、2025年)。実際に使われているアシスタントは、GhidraやIDAが出したものの上で変数に名前を付けています。
  • GitHubで20万近いスターを集めたREAは、同じツールをあなたのエージェントに渡します。必要なのはバイナリ、インストール済みのツール、大量のトークンです。REA自身のSQLiteのテストでは、ツール呼び出し42回と入力トークン30万を使いました。ドキュメントには、プログラムをクローンするとは決して言わないよう書かれています。
3. 古いゲーム

古いゲームが先に落ちる理由

レトロゲームの新しい移植がほぼ毎日出ています。古いゲームには、現役の製品にはない利点が全部そろっています。

左:「8 MB」と書かれた小さなカートリッジが、すみずみまで解析された方眼の上で凍りついていて、「古いゲーム」「解析済み」「不変」とラベルが付いています。右:サーバーの巨大な山が雲の中まで伸び、「現役の製品」「クラウド」「毎月変わる」とラベルが付いています。
  • バイナリが小さいのです。スーパーマリオ64は8MB、Baldur's Gate 3は150GBです。
  • ハードウェアは25年かけて命令単位で解析されていて、対象は変わりません。1998年のゼルダを更新している人はいません。
  • PS4、PS5、Xbox、Switchは、ケースが違うだけのPCかスマートフォンです。あなたのプロセッサーはすでにそのコードを実行でき、グラフィックスの変換はWine、DXVK、Protonが何年も前にほとんど解決しました。
  • AIは地道な作業を速くしました。ゼルダとバンジョーのリコンプの開発者たちは、エージェントが作った移植を「slopcomps」と呼んでいます。テストされておらず、保守しにくいつぎはぎになっているからです。
4. Adobeのクローン

Photoshopのスクリーンショット

PhotoCraftはスクリーンショットではPhotoshopに見えます。人がAdobeにお金を払っている理由は、別のところにあります。

写真編集ソフトの画面を描いた映画セットのハリボテが梁で支えられていて、「スクリーンショット」とラベルが付いています。そのはるか奥には、ハリボテが届かない閉ざされた4つの建物、「クラウド機能」「カメラプロファイル」「色の科学」「ライセンス」があります。
968
PhotoCraftの未対応のIssue(2026年10月13日時点)
13
リポジトリ作成からの日数
  • PhotoCraftはClaudeを使ってRustで書かれました。README自体が初期のアルファ版だと書いています。8,192ピクセルを超える画像はCPU処理に落ち、カラーマネジメントは最低限で、未対応のIssueのうち約100件がPSDファイルに関するものです。
  • 生成塗りつぶしといくつかのニューラルフィルターは、Adobeのサーバーで動きます。そのコードはあなたのマシンに届かないので、分解するものがありません。
  • Camera Rawには、カメラとレンズごとに20年分のプロファイルがあります。クローンはそのデータを持っているか、持っていないかのどちらかです。
  • 印刷の色はそれだけで1つの分野です。GIMPは1995年に生まれ、バージョン3.0になってもCMYKの編集ができません。Pantoneの色はライセンス制で、2022年にはAdobeでさえ使えなくなりました。
  • 今のソフトウェアの多くはサービスとして動いています。Googleドキュメントの裏のコードはGoogleのサーバーから出ないので、バイナリそのものがありません。

今のPhotoCraftは、フォルクスワーゲン・ビートルの上に組んだフェラーリのレプリカです。ボディの形は合っていて、写真を撮ればほとんどの人が「うわ、フェラーリだ」と言います。でもキーを回すと、ビートルのエンジンがかかります。

O PhotoCraft hoje é aquela réplica de Ferrari montada em cima de um Fusca: a carroceria tem a forma certa, você tira uma foto e a maioria das pessoas diz "uau, uma Ferrari". Aí você liga e sai o motor de Fusca.

5. 本当のコスト

大きな書き直しにかかるコスト

公開されている中で一番いい数字は、2026年5月にエージェントでZigからRustに書き直されたJavaScriptランタイム、Bunのものです。

左:「書き直し」と書かれた水平な台が、「作者」「ソースコード」「テスト」「予算」の4本の柱に載っています。右:「クローン」と書かれた同じ台が、「トークン」と書かれた1本の柱の上で傾いています。
$16.5万
API価格で
11
日間、Zigのコード53万5000行
64
ピーク時のClaudeエージェント数
  • うまくいったのは4つの条件がそろっていたからです。Bunの作者本人が操縦し、動くソースが全部あり、変更ごとに照合できるテストがプラットフォームあたり約6万件あり、Bunを所有するAnthropicがお金を出していました。
  • 2026年2月のAnthropicのCコンパイラー:16のエージェントで2万ドル未満、Linuxをビルドできます。それでもアセンブラーとリンカーはGCCのものを借りていて、生成するコードは最適化をすべて切ったGCCより遅く動きます。
  • Photoshopのクローンには4つのどれもありません。移植するソースも、「Photoshopと一致する」と判定するテストスイートも、作者もいません。しかもPhotoshopは36年続く製品で、ランタイムよりはるかに大きいのです。
6. 価格

「2年後にはタダになる」

最高のモデルの価格は、2023年からほとんど動いていません。急速に下がったのは、すでに古くなった品質レベルの価格です。

$60
100万出力トークンあたり、GPT-4、2023年3月
$50
100万出力トークンあたり、最高のモデル、2026年10月
  • フロンティアは3年半で1.2〜3倍安くなりました。入力トークンか出力トークンかで変わります。
  • 一定の品質レベルは毎年おおよそ5〜10倍安くなっているとEpoch AIは推定していて、そのペースは落ちると見ています。
  • Bunで計算してみてください。16万5000ドルを100で割ると1,650ドルです。それもソース、テスト、作者がそろった移植での話です。安いことと簡単なことは別です。
  • モデルそのものは収束していて、最近の伸びはその周りのエージェントツールから来ています。これはAGIのページで説明しています。
7. 仕事

プログラマーは終わったのか?

うまくいった書き直しにもデコンプにも、操縦しているエンジニアがいます。

+15%
2025年2月のClaude Code公開以降の、米国のソフトウェア求人の伸び。同じ期間に求人全体は7%減りました(Indeed、2026年7月)
71%
その伸びのうちシニア職の割合
  • ソフトウェアの求人は、今も2020年2月より約27.5%少ないままです。タイプするために雇われる人は減りました。雇われるのは出力を判断できる人です。
  • Bunの書き直しにはBunの作者が必要でした。うまくいっているデコンプでは、ハードウェアを知っている人がエージェントを操縦しています。
  • 7つの言語で試した私のベンチマークでは、弱いほうのモデルにテストを渡すと、どの言語よりも大きく結果が変わりました。
  • リバースエンジニアリングは、2019年にGhidraが出たときと同じく、安く身近になりました。それでもエンジニアの仕事です。

「終わった」という見出しはクリックを稼ぎますが、コンパイルは通りません。

Manchete de "acabou" rende clique e não compila.

まとめ

  1. 1

    AIは公開されているものを速くコピーします。大事なコードのほとんどは非公開です。

  2. 2

    リバースエンジニアリングは何十年も前からあります。エージェントはその地道な作業を速くしました。

  3. 3

    古いゲームが先に落ちます。小さく、何十年も解析されてきて、変わることがないからです。

  4. 4

    クローンのスクリーンショットは簡単です。クラウドサービスもデータもライセンスも、どのバイナリにも入っていません。

  5. 5

    Bunの書き直しには、作者、ソース、テスト、そして16万5000ドルが必要でした。

  6. 6

    最高のモデルはほとんど安くなっておらず、性能も収束しました。

  7. 7

    増えた仕事は判断です。テスト、オラクル、レビュー。

ここにあるものはすべてオープンソースです

ツールもスキルもベンチマークも公開リポジトリです。フォークして、自分の働き方に合うバージョンを作ってください。