From ef97ea64322c9b3a632bf34c9b8f54672932dba3 Mon Sep 17 00:00:00 2001 From: g-kari Date: Tue, 17 Nov 2026 03:49:12 +0900 Subject: [PATCH] Improve readability of All Code Is Slop summary page --- public/all-code-is-slop.html | 132 ++++++++++++++++++++++++----------- 1 file changed, 90 insertions(+), 42 deletions(-) diff --git a/public/all-code-is-slop.html b/public/all-code-is-slop.html index 7104420..9f14bb5 100644 --- a/public/all-code-is-slop.html +++ b/public/all-code-is-slop.html @@ -7,41 +7,58 @@ @@ -62,7 +79,29 @@

all code is slop (except mine)
月11,000 PRを「
タイトルスライド。右下のちびキャラは彼女のトレードマーク
-

他人の書いたコードを見て「全部ゴミ(slop)だ」と思ったことはあるはず。でも、その slop は金に変えられる——。SpaceXAI で AI チャットアプリ Grok Bot の開発を率いる Lauren Tan は、エージェントに大量のコードを書かせながら、むしろ品質を上げていく方法を語った。このページは、その講演の要点を彼女の手描きスライドとともにまとめたもの。

+

他人の書いたコードを見て「全部ゴミ(slop)だ」と思ったことはあるはず。でも、その slop は金に変えられる——。

+

SpaceXAI で AI チャットアプリ Grok Bot の開発を率いる Lauren Tan は、エージェントに大量のコードを書かせながら、むしろ品質を上げていく方法を語った。このページは、その講演の要点を彼女の手描きスライドとともにまとめたもの。

+ +
+
3行で言うと
+
    +
  1. エージェントのミスを直すとき、プロンプトに言葉を足すのではなく、lint・型・API設計のような決定論的なチェックに落とし込む。
  2. +
  3. 検証(実行・スクリーンショット・形式的検証)にトークンの約7割を使い、レビューは「検証の成果物を見る仕事」にする。
  4. +
  5. 土台が整えば、月11,000 PRでもリバート率は約0.5%。自動化は土台のあと。
  6. +
+
+ +
3,000
本人が先月出したPR
@@ -72,20 +111,22 @@

all code is slop (except mine)
月11,000 PRを「
6か月
信頼できる環境づくりにかけた期間

-

slopを金に変える0:00〜

+

1. slopを金に変える0:00〜

タイトルスライド「all code is slop」、poteto (aka lauren tan)
「poteto」としても知られる Lauren Tan のタイトルスライド
-

エージェントの登場で、誰もが「週末に大規模プロダクトを書き直すような伝説のエンジニア」並みの生産量を持てるようになった。だからこそエンジニアの仕事は、品質を維持・改善しながら生産性を桁違いに上げる方法を見つけることに移る。

-

彼女はこれを「ソフトウェアファクトリー」ではなく信頼の問題だと捉える。盲目的な信頼ではなく、エージェントが正しいことをすると信頼できるよう、環境そのものに投資する。その状態にたどり着くのに彼女は6か月かけたが、道筋が分かればもっと短くできるという。

+

エージェントの登場で、誰もが「週末に大規模プロダクトを書き直すような伝説のエンジニア」並みの生産量を持てるようになった。

+

だからこそエンジニアの仕事は、品質を維持・改善しながら、生産性を桁違いに上げる方法を見つけることに移っていく。

+

彼女はこれを「ソフトウェアファクトリー」ではなく、信頼の問題だと捉える。盲目的な信頼ではない。エージェントが正しいことをすると信頼できるよう、環境そのものに投資するのだ。

+

その状態にたどり着くのに彼女は6か月かけた。ただし、道筋が分かればもっと短くできるという。

-

信頼の「potetoピラミッド」2:03〜

+

2. 信頼の「potetoピラミッド」2:03〜

逆ピラミッド図「the poteto pyramid」。上から codebase、static analysis、verification、prose、human review
どうすればエージェントをもっと信頼できるか — 逆さピラミッドの土台が主役
-

信頼を積み上げる層は、下(土台)から順にこうなる。

+

信頼を積み上げる層は、土台から順にこうなる。

-

上の層ほどコストが高い。だから決定論的に効く下の2層を厚くし、判断がブレる prose の層は薄くするのが原則になる。エージェントの出力は入力で決まり、コードベースは最大の入力のひとつだ。

+

上の層ほどコストが高い。だから原則は、決定論的に効く下の2層を厚くし、判断がブレる prose の層は薄くすること。

+

エージェントの出力は入力で決まる。そしてコードベースは、最大の入力のひとつだ。

コードベースは庭のようなもの。悪いパターンや技術的負債は、次のエージェントにコピーされて雑草のように広がる。だから常にきれいに保ち、良いものだけがコピーされるようにする。エンジニアの仕事はガーデニングに近づいている、というのが彼女の見立てだ。
-

Dune:問題を「カテゴリーごと」消す5:00〜

+

3. Dune:問題を「カテゴリーごと」消す5:00〜

「dune: a framework for agents」。app framework + one folder per feature、strict import bans、no comments in code
Dune:アプリの土台に「機能ごとに1フォルダ」「厳格なimport禁止」「コード内コメントなし」を組み込んだフレームワーク
-

Grok Bot のために作ったクライアントフレームワーク「Dune」は、デスクトップアプリ開発の教訓を大量の制約と lint ルールとして埋め込んでいる。代表例は3つ。

+

Grok Bot のために作ったクライアントフレームワーク「Dune」は、デスクトップアプリ開発の教訓を、大量の制約と lint ルールとして埋め込んでいる。代表例は3つ。

「nuance tends to lead to slop / just design better APIs」というスライド @@ -119,18 +161,21 @@

Dune:問題を「カテゴリーごと」消す5:00〜< 「quick fixes considered harmful」。9月9日の場当たり的なタイマーが10月3日に共有モジュールへコピーされ、10月17日には183個に増殖した図
場当たり的な修正の増殖:「ちらつきを直す」タイマーが共有モジュールにコピーされ、約1か月で183個に

-

命令型タイマーを多用する場当たり的な修正に、エージェントがコメントで正当化を書き添え、それがコピーされて性能が悪化した——という実例がコメント禁止の背景にある。代わりに用意したのは、根本原因を直すよう促す良いエラーメッセージを出す lint ルールだ。

+

命令型タイマーを多用する場当たり的な修正に、エージェントがコメントで正当化を書き添える。それがコピーされて広がり、性能が悪化した——。この実例が、コメント禁止の背景にある。

+

代わりに用意したのは、根本原因を直すよう促す、良いエラーメッセージを出す lint ルールだ。

一般原則はシンプルで、エージェントのミスを直すたびに、プロンプトやルール文書に1行足すのではなく、決定論的なチェック(lint・型・API設計)に落とし込むこと。これを繰り返すとレビューで気にすることが減り、やがてエージェントが自分のPRのほとんどを自分でマージできるようになる。
-

検証にトークンの7割を使う10:10〜

+

4. 検証にトークンの7割を使う10:10〜

「runtime verification」というスライド
実行時検証:エージェントが自分の仕事を自分で確かめる仕組み
-

もうひとつの柱が検証だ。最も基本的なのは、エージェントにコードを自分で実行させ、開発者用デバッグツールで挙動を確認させること。検証用のスキルには「feature map」(ユーザー視点での全機能の地図)が含まれ、共通の語彙でアプリを指し示せる。カスタムCLIも使い回し、毎回同じ手順で検証できるようにしてトークン消費を抑える。

-

さらに最近は形式的検証も始めた。TLA+ で通知のような主要フローをモデル検査し、Lean で自作の仮想化ライブラリを証明してちらつきやジッターがないことを確かめる。プロパティベーステストも含め、すでにいくつかバグを捕まえているという。コードレビューは、コードを読む仕事から、動画・スクリーンショット・図・形式的検証といった検証の成果物を見る仕事へと縮小した。彼女の体感では、トークンの約70%は検証に使われている。

+

もうひとつの柱が検証だ。最も基本的なのは、エージェントにコードを自分で実行させ、開発者用デバッグツールで挙動を確認させること。

+

検証用のスキルには「feature map」(ユーザー視点での全機能の地図)が含まれ、共通の語彙でアプリを指し示せる。カスタムCLIも使い回し、毎回同じ手順で検証できるようにして、トークン消費を抑える。

+

さらに最近は、形式的検証も始めた。TLA+ で通知のような主要フローをモデル検査し、Lean で自作の仮想化ライブラリを証明して、ちらつきやジッターがないことを確かめる。プロパティベーステストも含め、すでにいくつかバグを捕まえているという。

+

こうしてコードレビューは、コードを読む仕事から、動画・スクリーンショット・図・形式的検証といった検証の成果物を見る仕事へと縮小した。彼女の体感では、トークンの約70%は検証に使われている。

-

成果:速くても、壊れない13:32〜

+

5. 成果:速くても、壊れない13:32〜

「everyone is more productive」。PRを出す人が6月の15人から10月の227人へ増えた積み上げ棒グラフ
PRを出す人は6月の15人から10月には227人へ。コアメンバーだけでなく「ついで寄稿」も増えた
@@ -145,10 +190,13 @@

成果:速くても、壊れない13:32〜

  • これだけの量でもリバート率は約0.5%で安定
  • 起動(-39%)、タイピング(中央値-26%、長文-65%)、チャット切替(-44%)など、体感性能も改善した
  • -

    リリースのたびにアプリ全体をファズテストし、実際のユーザーのように使ってバグを見つけ、修正PRを開いて自動マージする仕組みまで回っている。土台が良いので、PRはデフォルトで良いものになり、深い人間レビューはほとんど要らないという。

    +

    リリースのたびにアプリ全体をファズテストし、実際のユーザーのように使ってバグを見つけ、修正PRを開いて自動マージする仕組みまで回っている。

    +

    土台が良いので、PRはデフォルトで良いものになり、深い人間レビューはほとんど要らないという。

    -

    結論:自動化は、土台のあと15:11〜

    -

    「ソフトウェアファクトリー」を作って何でも自動化する前に、まずコードベースを改善すること。内側のコーディングループが slop を出すなら、それを自動化しても slop が増えるだけで、トークンを際限なく投げる高くつく仕組みになる。逆に、コードベース・静的解析・実行時と形式的検証に投資しておけば、その上にファクトリーは簡単に築ける。

    +

    6. 結論:自動化は、土台のあと15:11〜

    +

    「ソフトウェアファクトリー」を作って何でも自動化する前に、まずコードベースを改善すること。

    +

    内側のコーディングループが slop を出すなら、それを自動化しても slop が増えるだけだ。トークンを際限なく投げる、高くつく仕組みになる。

    +

    逆に、コードベース・静的解析・実行時と形式的検証に投資しておけば、その上にファクトリーは簡単に築ける。