今回のポッドキャストの概要:
Googleのローカル向け新モデル「Gemma 4」、KVキャッシュを6分の1に圧縮するGoogleの新アルゴリズム「TurboQuant」、日本でも展開予定のメガネ型XRデバイス「Ray-Ban Meta」などについて話しました。

• Gemma 4：Googleのローカル向けオープンウェイトモデル
• E2B / E4B / E26B / A4B / E31B の5サイズ構成
• E2B/E4B はエッジ・スマホ/ノートPC向けの軽量モデル
• A4B は Mixture of Experts（26B中アクティブ4B）で、精度と速度のバランスを追求
• マルチモーダル対応（画像・音声入力）、140以上の言語対応、コンテキスト長は25万6千トークン

• 4bit量子化であれば16〜18GB程度のメモリでローカル実行可能という目安や、Qwen 3.5 とのベンチマーク比較、日本語での“触り心地”の話など

• TurboQuant：KVキャッシュを6分の1に削減する新量子化手法

• トランスフォーマーの Q/K/V と KVキャッシュの役割を整理しつつ、「モデルの重み」ではなく「推論時のKVメモリ」を削る仕組みであることを解説
• VキャッシュはMSE（平均二乗誤差）を最小化する通常の量子化でOKだが、KキャッシュはQとの内積精度が重要というポイント
• PolarQuant：
  • ランダム直交回転でベクトルの分布を“均す”
  • デカルト座標→極座標に変換して長さと方向を分離し、方向を -1〜1 に正規化
  • そのうえで2bit程度まで量子化しても精度を保ちやすくする手法
• QJL：
  • PolarQuant後のKと元のKの内積差（残差）を、Johnson–Lindenstraussの補題を使ったランダム写像で圧縮
  • 残差は符号（±）のみ1bit保持し、PolarQuantの2bitと合わせて実質3bitで内積精度を確保

• 計算時には逆変換して内積を計算するため計算量はほぼ変わらないが、KVメモリを大幅に削減でき、より長いコンテキストを扱えるようになるという話、圧縮研究の観点から見ても新しいアイデアである点など

• https://speakerdeck.com/tohikakuyoshi/turboquant

  Ray-Ban Meta：メガネ型XRデバイス日本展開へ

• レイバンとMetaのコラボによるスマートグラス「Ray-Ban Meta」シリーズ
• 499ドル（約8万円）前後で、度付きレンズ対応モデルが登場予定
• メガネとして常用しつつ、Instagramリール撮影、Spotify操作、リマインダー・天気・カレンダー表示、ハンドトラッキングや手首バンドによるゲーム操作（2048やテトリス）、ニューラル手書き機能、リアルタイム音声翻訳などが利用可能に
• 数ヶ月以内に日本・韓国・シンガポールなどで展開予定とされていること、スマホアプリ連携やSDKによる自作アプリへの期待、8万円という価格や最近のハードウェア値上がり（PS5やPC価格）の話を交えながら、「感覚をアップデートしつつ、稼ぐ力も上げていこう」という締めのトーク

次回もお楽しみに。

今回のポッドキャストの概要:
AI文字起こしモデルの比較・選定、OpenAIによるAstral買収と開発者ツールの話、Metaの脳活動予測モデルTribe v2、映画『閃光のハサウェイ』第2部やマンガ・小説の感想、ふるさと納税×コンビニ受け取りの新サービス、そして「Nice to have」な仕事観について話しました。

• 文字起こしAIに求める要件とfaster-whisper採用の話
• faster-whisper
• Cohere Transcribe

• Qwen3 ASR / Forced Aligner

• OpenAIによるAstral買収と開発者ツールのこれから

• OpenAI to acquire Astral

• MetaのTribe v2：脳活動を予測するAIモデル

• Tribe v2 デモ

• 映画『機動戦士ガンダム 閃光のハサウェイ』第2部「キルケーの魔女」感想

• 公式サイト

• 紳士向け同人RPG風マンガ『さほこクエスト』の話

• さほこクエスト（ヤングチャンピオン）

• 小説『エピクロスの処方箋』と前作『スピノザの神殺し』の読書感想

• エピクロスの処方箋（Amazon）

• ふるさと納税×コンビニ受け取り：いいちこをセブンで引き換え

• プレスリリース（PR TIMES）

• 「Nice to have」な仕事はやるか・やらないか問題（GPIF退職エントリ）

• ナイストゥーハブはやらない – 退職エントリ

• （触れきれなかった参考メモ）TurboQuant: Googleの超圧縮AIモデル

• TurboQuant: Redefining AI Efficiency
• arXiv: TurboQuant 論文

次回もお楽しみに。

今回のポッドキャストの概要:
Claude 1Mコンテキスト正式リリースの話から、Qwen 3.5を使った「なんちゃってClaude Code」ローカル環境、そしてCodexとClaude Codeの使い分けについて話しました。

• Claude 1M Context 一般提供開始
• OPUS 4.6 / SONNET 4.6で1ミリオントークンのコンテキストが正式リリース
• 256Kを超える長コンテキスト利用時の「割増レート」が撤廃され、1Mコンテキストでも通常レートに
• PDF/画像入力が従来の約100ページから600ページへ拡張
• MRCRv2ベンチマークで、長いコンテキストでもClaude OPUS / SONNETがGPT系・Gemini系より高スコアという話
• コンテキストあふれ時のコンパクティングで指示が失われがち、というこれまでの不満と、その改善期待

• 大規模コードベースを読むコードエージェント用途での有利さについて雑談

• Qwen 3.5で「Claude Code 風」ローカル環境

• 中国発オープンLLM「Qwen 3.5」を量子化してローカル実行する試み
• 35Bモデルを量子化し、24GBメモリのMacでもClaude Code風環境が動く、という話題
• Claude Codeのセッション先頭に入るハッシュ値（アトリビューションヘッダ）がKVキャッシュを無効化してしまい、
  そのまま真似すると推論速度が90%以上低下するので削った方がいい、というTips
• 本家仕様変更に依存するため「継続的に使えるかはかなり怪しい」一時的ハックであること
• バックエンドにはllama.cpp系（RAM CPPと呼んでいた）を使っている模様、サーバ分離構成の話

• MシリーズMac（24GB以上）でローカルLLMをガッツリ動かす未来と、Mac Studio / Mac mini / 新しい安価なMac NEOの話題

• Codex はいかが？（ChatGPT Codex と Claude Code の使い分け）

• ChatGPTのコーディングエージェント「Codex」をProプランで試用中
• CLI版とアプリ版（codex app）の両方を利用、基本はCLI中心
• 新規プロジェクトではCodexで始めてみて、cloud.mdが無い状態からどう構成するかを確認する使い方
• Claude Codeを実装のメイン、Codexをレビュー・比較・追加アドバイス役として併用
• Claude Code：出力がコンパクトで実務寄り、対話の雰囲気が好み
• Codex：説明が長くてディテール豊富、理論説明や専門的な話をさせるときに強い印象
• 「喋り方がちょっとキモい」と感じるので、直接ベラベラ話させるより裏方の専門家として使う、というスタイル
• 研究用途ではGeminiも併用しており、ネット検索込みの情報探索には便利
• Codexサブスクは「そこそこ良い」ので来月も継続予定だが、将来的にはローカルLLMへの移行も視野に

次回もお楽しみに。