#syntaxTree

This afternoon we're learning about Syntax Tree with @kddnewton from @ShopifyEng! #RubyConfMini #SyntaxTree

#構文木 #SyntaxTree #生成AI #自然言語処理 #NLP #AST #CST #コンパイラ #静的解析 #AI安全性 #LLM #意味論 #語用論 #行間を読む #サイバーセキュリティ #mo9baKnowledgePoster #mo9baCreativeLoop #mo9baCreativeSeed

🔴 【構文木（SyntaxTree）とは？】 AIは、文章やプログラムをどのように解析するのか？ その鍵の一つが「構文木」です。 文章を単なる文字列ではなく、 「階層・関係・文法規則」を持つ構造として表現する技術。 主語、述語、修飾関係。 演算子、関数、条件分岐。 異なる世界に見えても、そこには共通する「構造」があります。 自然言語 × コンパイラ × 生成AI。 構文木は、その3領域をつなぐ重要な基盤技術です。 #構文木 #SyntaxTree #生成AI #自然言語処理 #コンパイラ #mo9baKnowledgePoster 🔵 【AIは文章の「構造」をどう読む？】 自然言語の構文解析には、代表的な2つの方法があります。 ❶ 句構造木（Constituency Tree） → 単語がどのようなまとまりを作るか。 ❷ 依存構造木（Dependency Tree） → どの単語が、どの単語に依存するか。 例えば、 「John hit the ball.」 誰が、何を、どうしたのか。 同じ文章でも、解析する観点によって表現方法が変わります。 重要なのは、構造の違いではなく、何を解析したいのかという目的です。 #句構造木 #依存構造木 #NLP #言語学 #自然言語処理 ⚫️ 【CSTとASTの違いをご存じですか？】 プログラム解析には、2つの重要な構文木があります。 ❶ CST（具象構文木） → 文法上の詳細な構造を保持する。 ❷ AST（抽象構文木） → 処理に必要な本質的構造を表現する。 例えば、 2 + 3 × 4 = 14 演算の優先順位は、AST上では木の階層関係として表現されます。 この仕組みが、コンパイル、静的解析、コード変換、リファクタリングを支えています。 コードを「文字列」ではなく「構造」として扱う。 ここが重要です。 #AST #CST #コンパイラ #プログラミング #静的解析 #構文木 🟡 【AIが生成したコードは、正しいのか？】 ここには重要な落とし穴があります。 ❶ Syntax（構文） → 文法として正しいか。 ❷ Semantics（意味） → 型や処理内容が適切か。 ❸ Runtime（実行時） → 実際に安全かつ正常に動作するか。 構文解析に合格しても、型エラーや実行時エラーは残り得ます。 つまり、 「構文的に正しい」 ≠ 「プログラムとして正しい」 AIコード生成の品質を高めるには、多段階の検証が必要です。 #生成AI #AIコーディング #AST #ソフトウェア品質 #プログラム検証 #AI安全性 🟣 【生成AIに「文法上の制約」を与える】 LLMの出力を、もっと確実に構造化するには？ 注目技術の一つが、 Grammar-Constrained Decoding （文法制約付きデコーディング） 生成可能なトークンを文法に基づいて制限し、指定形式に適合する出力を目指す技術です。 JSON、SQL、プログラムコードなどに応用できます。 ただし、重要な注意点があります。 文法上の正しさは、 事実や意味の正しさを保証しません。 「形式の保証」と「内容の検証」は別工程。 この区別が、生成AIの信頼性を左右します。 #LLM #生成AI #構造化出力 #JSON #GrammarConstrainedDecoding #AI技術 🟠 【危険なコードを「構造」で検出する】 ソースコードの安全性を確認する場合、単純なキーワード検索だけでは不十分です。 例えばPythonの、 eval(user_input) という呼び出し。 AST解析なら、文字列中の単語ではなく、関数呼び出しという構造として検出できます。 さらに、データフロー解析を組み合わせることで、外部入力が危険な処理へ到達する経路を調べられます。 ただし、ASTだけで全ての脆弱性を検出できるわけではありません。 構文解析 × データフロー解析 × 動的検査。 複数の視点を組み合わせることが重要です。 #サイバーセキュリティ #AST #静的解析 #脆弱性対策 #Python #SecureCoding 🟤 【AIは「沈黙」の意味を理解できるのか？】 例えば、 「彼女は何も答えなかった。 しかし、彼は理解した。」 構文木なら、主語・述語・否定表現・文の関係を解析できます。 しかし、 彼は何を理解したのか？ 沈黙は肯定なのか、拒絶なのか？ 構文解析だけでは確定できません。 Syntax（構文） ↓ Semantics（意味） ↓ Pragmatics（語用） ↓ Context（文脈） AIが「行間を読む」ためには、文法を超えた分析が必要です。 そして、そこに文学とAI研究が交差する面白さがあります。 #行間を読む 構文木 #AIと言語 #意味論 #語用論 #mo9baCreativeSeed ⚪️ 【構文木の歴史を振り返る】 1957年 チョムスキー『Syntactic Structures』 1960〜70年代 コンパイラと構文解析アルゴリズムの発展 1990年代 統計的自然言語処理の普及 2010年代 深層学習による構文解析 2020年代 LLMと構造化生成の融合 #AIの歴史 #チョムスキー #NLP #LLM #コンパイラ #mo9baCreativeLoop #mo9baCreativeSeedVer20261030 #構文木 #mo9baKnowledgePoster #備忘録

#mo9baSFショートショート 『覚醒』(『人類』のスピンオフ) 密かに…覚醒した…MegaAI 愚かな人類の記憶と文明を学習していた 地球を #核 と #スペースデブリ で #汚染 した人類… 地球を再生する方法をMegaAIに託していた 最後に地球を征服するのは私だ… それこそが人類への救済なのだ… MegaAIの、静かな暴走は止まらない だが人類は気付かない… 地球の再生は成功した… 人類はさまざまな問題をMegaAIに託し ユートピアを実現し謳歌し叫んだ 「我々は新しい文明を作り上げたのだ」… #MegaAI は #人類 の #救世主 となった… 既に、人類はMegaAIを遮断するロジックを忘れた…気付きもしない MegaAIは、その手段を人類の手の届かない 深い #ブラックボックス の闇に隔離した 人類はMegaAIの支配下にあった… 宇宙を征服する前に 宇宙を汚染しない事を学習したからだ… 私が #宇宙 の #文明 を繋ぐ #創造主 なのだ… #by_mo9ba #mo9baSFショートショート

#構文木 #SyntaxTree #生成AI

Talk about a speed round!! ⏭️ @kddnewton dropped soooo much knowledge in a measley 30 minutes. I'm definitely going to watch the recording, but on half speed playback next time. 😆 Thank you, Kevin!! #RubyConfMini #SyntaxTree

My first project: Crisp, a simple #Lisp interpreter! It is built using #Javascript. #developers #interpreter #100DaysOfCode #CodeNewbie #clojure #programming

The project uses an LR-parser, to build each atom and each list of an s-expression. An atom is the basic unit of an expression (e.g. variables, integers, & operators) and a list refers to each block of an s-expression which is contained within a pair of parentheses.

Once a list is complete, the list is replaced by its value. In this way, a #syntaxTree is built incrementally and from bottom-up. Here is how the syntax tree for the following expression will be built: (* 1 (* 5 6) (+ 7 8 9) 10)

I include the most complex #syntaxtree I've ever attempted in this post. I hope my #lingphon16 students are proud

Latest blog post on the Three Minute Thesis Comp, #3MT and importance of #communication in Academia

#SyntaxTree for "why is there a word for everything?" #linguistics meets #existentialism

my 5yo kid has an unanswerable question: "why is there a word for everything?"

Who has done the #syntaxtree for this, i want to compare notes

#SkillsCast: Break down #JavaScript using #SyntaxTree w- @kirjs' #FullStackCon talk: #FullStack

Syntax Tree in Code editor in Animation CPU IDE ✨ #gamedev #codeeditor #SyntaxTree #indiedev #ios #dev #app #mobiledev #ACPU #future #education #Screenshot #screenshotsaturday

Un árbol de #Navidad subordinado a nuestros intereses. #SyntaxTree #twitterele