מילון מונחים

כל הגדרה היא בת משפט אחד עד שלושה משפטים ומפנה לפרק הבעלים. המילון הוא אינדקס; ההסבר המלא, הדוגמה והסייג נמצאים בפרק.

חישוב — computation (C001)

חישוב הוא כלל מוגדר שהופך קלט לפלט. פעולה מוגדרת על ייצוגים פרק בעלים: 001.

סקלר — scalar (C002)

סקלר הוא מספר יחיד שמייצג גודל אחד. מספר יחיד פרק בעלים: 002.

וקטור — vector (C003)

וקטור הוא רשימה סדורה של סקלרים. רשימה סדורה של סקלרים פרק בעלים: 003.

מכפלה פנימית — dot product (C004)

מכפלה פנימית מכפילה רכיבים תואמים ומחברת לתוצאה סקלרית. פרק בעלים: 004.

מטריצה — matrix (C005)

מטריצה היא טבלת מספרים שיכולה למפות וקטור אחד לאחר. פרק בעלים: 005.

טנזור וצורה — tensor shape (C006)

shape מספר כמה איברים יש בכל ציר של tensor. פרק בעלים: 006.

פונקציה — function (C007)

פונקציה משייכת לכל קלט חוקי פלט לפי כלל. פרק בעלים: 007.

התפלגות הסתברות — probability distribution (C008)

התפלגות הסתברות מחלקת משקל לא-שלילי בין אפשרויות כך שהסכום הוא 1. פרק בעלים: 008.

לוגריתם והפתעה — logarithm and surprisal (C009)

-log(p) הופך אירוע פחות סביר לעונש גדול יותר. פרק בעלים: 009.

נגזרת וגרדיאנט — derivative and gradient (C010)

גרדיאנט מצביע על קצב וכיוון השינוי של פונקציה ביחס לפרמטרים. פרק בעלים: 010.

שכבה ליניארית — linear layer (C011)

שכבה ליניארית מחשבת שילוב נלמד y=xW+b. פרק בעלים: 011.

שפה כרצף מזהים — language as an ID sequence (C012)

כדי לחשב על שפה מייצגים אותה כרצף מזהים מספריים. פרק בעלים: 012.

טוקן — token (C013)

token הוא יחידת רצף שה-tokenizer מעביר למודל. פרק בעלים: 013.

טוקניזציה byte-level BPE — byte-level BPE tokenization (C014)

byte-level BPE מתחיל מ-bytes וממזג זוגות שכיחים ל-tokens ארוכים יותר. פרק בעלים: 014.

אוצר מילים ומזהה — vocabulary and token ID (C015)

אוצר מילים הוא המיפוי הדו-כיווני בין tokens ל-IDs. פרק בעלים: 015.

הטמעה — embedding (C016)

embedding lookup מחליף ID בשורה נלמדת של וקטור. פרק בעלים: 016.

הטמעת מיקום — position embedding (C017)

GPT-2 מוסיף embedding נלמד של מיקום לכל token embedding. GPT-2 learned absolute position פרק בעלים: 017.

זרם שיורי — residual stream (C018)

residual stream הוא ייצוג משותף שאליו sublayers מוסיפים תיקונים. פרק בעלים: 018.

נרמול שכבה — layer normalization (C019)

LayerNorm מנרמל את features של כל token בנפרד. פרק בעלים: 019.

רשת הזנה קדימה — feed-forward network (C020)

ה-MLP מערבב ערוצים של כל token בלי לערבב positions. פרק בעלים: 020.

לוגיטים וראש שפה — logits and language-model head (C021)

logits הם ציונים לא-מנורמלים, אחד לכל token באוצר המילים. פרק בעלים: 021.

מטרת next-token — next-token objective (C022)

מטרת next-token משווה בכל position את התחזית ל-token הבא האמיתי. כולל cross-entropy כניסוח שקול פרק בעלים: 022.

Decoder-only GPT-2 — decoder-only GPT-2 (C023)

GPT-2 הוא stack של decoder blocks סיבתיים בין embeddings לראש השפה. פרק בעלים: 023.

דגימה — sampling (C024)

sampling הוא כלל הבחירה הבא שמופעל על התפלגות הטוקנים. כולל temperature/top-k/top-p כאסטרטגיות פרק בעלים: 024.

קשב עצמי — self-attention (C025)

self-attention מאפשר לכל position לבנות פלט מתוכן positions באותו רצף. פרק בעלים: 025.

שאילתה — query (C026)

query הוא וקטור שמייצג מה position מחפש בקריאת attention. פרק בעלים: 026.

מפתח — key (C027)

key הוא וקטור שמתאר כיצד תוכן position יכול להתאים ל-query. פרק בעלים: 027.

ערך — value (C028)

value הוא הווקטור שהתוכן שלו מעורבב לאחר חישוב המשקלים. פרק בעלים: 028.

ציון קשב — attention score (C029)

attention score הוא מכפלה פנימית בין query ל-key לפני normalization. פרק בעלים: 029.

סקייל שורש ממד — attention scaling (C030)

חלוקה ב-√d_k ממתנת גדילת dot products כאשר ממד המפתח גדל. פרק בעלים: 030.

מסכה סיבתית — causal mask (C031)

causal mask חוסם score של key עתידי לפני softmax. פרק בעלים: 031.

softmax של קשב — attention softmax (C032)

softmax הופך שורת scores למשקלים חיוביים שסכומם 1. פרק בעלים: 032.

סכום ערכים משוקלל — weighted value sum (C033)

מכפלת משקלי attention ב-values נותנת סכום משוקלל לכל query. פרק בעלים: 033.

צורות קשב מקצה לקצה — end-to-end attention shapes (C034)

מעקב shapes מונע שגיאות שקטות ב-attention מקצה לקצה. פרק בעלים: 034.

קשב רב-ראשים — multi-head attention (C035)

multi-head attention מריץ כמה מרחבי Q/K/V במקביל. פרק בעלים: 035.

הקרנת פלט קשב — attention output projection (C036)

output projection מערבב מחדש את ה-heads לאחר concatenation. פרק בעלים: 036.

teacher forcing מקביל — parallel teacher forcing (C037)

teacher forcing מאפשר לחשב את כל positions של training במקביל עם targets ידועים. פרק בעלים: 037.

הסקה אוטורגרסיבית — autoregressive inference (C038)

inference אוטורגרסיבי חייב לדעת את הטוקן שנבחר לפני בניית הצעד הבא. פרק בעלים: 038.

חישוב חוזר ב-decode — decode recomputation (C039)

ללא cache, append של token גורם לחישוב מחדש של projections לעבר. פרק בעלים: 039.

מטמון KV — KV cache (C040)

KV cache שומר בכל שכבה את keys וה-values של positions קודמים. פרק בעלים: 040.

נפח מטמון KV — KV-cache footprint (C041)

נפח KV cache נקבע ממספר שכבות, tokens, KV heads, head dimension ו-bytes. פרק בעלים: 041.

prefill — prefill (C042)

prefill מעבד prompt רב-טוקני ובונה cache לכל שכבה. פרק בעלים: 042.

decode — decode (C043)

decode עם cache מעבד בדרך כלל token חדש אחד וקורא הקשר ארוך. פרק בעלים: 043.

FlashAttention — FlashAttention (C044)

FlashAttention מחשב full softmax attention בדיוק אלגוריתמי בעזרת tiles ו-online normalization. פרק בעלים: 044.

תנועת זיכרון — memory traffic (C045)

תנועת זיכרון היא מספר הבתים שעוברים בין רמות זיכרון, לא מספר פעולות החשבון. פרק בעלים: 045.

FLOPs ועצימות חשבונית — FLOPs and arithmetic intensity (C046)

FLOPs סופרים arithmetic; arithmetic intensity מחלקת FLOPs ב-bytes. פרק בעלים: 046.

latency ו-throughput — latency and throughput (C047)

latency מודד זמן לבקשה; throughput מודד עבודה ליחידת זמן. פרק בעלים: 047.

batching — batching (C048)

batching מאגד רצפים כדי לנצל parallel hardware טוב יותר. פרק בעלים: 048.

kernel attention — kernel attention (C049)

kernel attention מגדיר similarity באמצעות מכפלה של feature maps. פרק בעלים: 049.

מפת תכונות — feature map (C050)

feature map מעתיקה Q ו-K למרחב שבו kernel מתפרק. פרק בעלים: 050.

אסוציאטיביות של כפל — associativity reordering (C051)

אסוציאטיביות מאפשרת לחשב (QK^T)V בתור Q(K^TV) כאשר אין nonlinearity באמצע. פרק בעלים: 051.

state רקורסיבי — recurrent state (C052)

state רקורסיבי צובר outer products של keys ו-values עד הזמן הנוכחי. פרק בעלים: 052.

עדכון וקריאה סיבתיים — causal recurrent read/write (C053)

ב-linear attention סיבתי סדר ה-update וה-read קובע אם token רואה את עצמו. פרק בעלים: 053.

מנרמל linear attention — linear-attention normalizer (C054)

normalized linear attention שומר גם סכום keys ממופים כדי לחלק בסכום המשקלים. פרק בעלים: 054.

סיבוכיות linear attention — linear-attention complexity (C055)

linear attention ליניארי ב-T רק כאשר ממדי feature/head מוחזקים קבועים. פרק בעלים: 055.

קיבולת state קבוע — fixed-state capacity (C056)

state קבוע דוחס מספר הולך וגדל של associations למספר קבוע של תאים. פרק בעלים: 056.

הפרעת זיכרון — memory interference (C057)

memory interference נוצר כאשר keys חופפים וכתיבות משפיעות על אותה קריאה. פרק בעלים: 057.

חוזה מול kernel — attention contract versus kernel (C058)

softmax ו-linear attention יכולים שניהם ליצור סכום values מנורמל אך להשתמש kernels שונים. פרק בעלים: 058.

משקולות מהירות — fast weights (C059)

fast weights הם state שמשתנה בתוך רצף, בניגוד לפרמטרים המתעדכנים בין batches. פרק בעלים: 059.

כתיבת מכפלה חיצונית — outer-product write (C060)

outer product kv^T כותב association לכל זוג רכיבי key ו-value. פרק בעלים: 060.

זיכרון אסוציאטיבי — associative recall (C061)

associative recall קורא value דרך התאמה בין query ל-key שנכתב. פרק בעלים: 061.

משטר עודף קיבולת — overcapacity regime (C062)

overcapacity הוא משטר שבו דרישות האחזור עולות על יכולת ההפרדה האפקטיבית של state. פרק בעלים: 062.

כלל דלתא — delta rule (C063)

Delta Rule כותב את השגיאה בין value רצוי לבין הקריאה הנוכחית. פרק בעלים: 063.

קריאה-לפני-כתיבה — read-before-write correction (C064)

read-before-write מבטיח שה-correction מחושב מול state הישן. פרק בעלים: 064.

עוצמת כתיבה beta — beta write strength (C065)

β הוא שער write strength בין אי-כתיבה לתיקון מלא. פרק בעלים: 065.

תנאי overwrite — overwrite conditions (C066)

overwrite מדויק דורש תנאים על key, β ועל תוכן state. פרק בעלים: 066.

מטריצת מעבר rank-one — rank-one transition matrix (C067)

פתיחת Delta Rule נותנת מעבר identity-minus-rank-one על state. פרק בעלים: 067.

מעבר דמוי Householder — Householder-style transition (C068)

המעבר נקרא Householder-style כי הוא identity פחות rank-one, אך אינו תמיד reflection. לא בהכרח reflection אורתוגונלי פרק בעלים: 068.

עיבוד chunkwise — chunkwise processing (C069)

chunkwise processing שומר recurrence בין chunks ומקביל פעולות בתוך כל chunk. פרק בעלים: 069.

מקביליות DeltaNet — DeltaNet parallel algorithm (C070)

DeltaNet המקביל מחשב pseudo-values בתוך chunk ומעדכן state רק בגבולות. פרק בעלים: 070.

שכחה יזומה — controlled forgetting (C071)

שכחה יזומה מפנה השפעה ישנה כאשר ההקשר משתנה. פרק בעלים: 071.

שער decay — decay gate (C072)

decay gate מכפיל state קודם ב-retention לפני הוספת קלט חדש. פרק בעלים: 072.

Mamba selective SSM — Mamba selective SSM (C073)

Mamba עושה פרמטרי state-space מסוימים תלויי-קלט כדי לבחור מה להעביר. פרק בעלים: 073.

Mamba-2 ו-SSD — Mamba-2 and SSD (C074)

SSD מציג SSM ו-attention-like matrix כשתי תצוגות של מבנה semiseparable. פרק בעלים: 074.

Gated DeltaNet — Gated DeltaNet (C075)

Gated DeltaNet משלב decay רחב עם Delta Rule ממוקד. פרק בעלים: 075.

שכחה גלובלית מול עריכה מקומית — global decay versus local edit (C076)

decay רחב פועל על state גדול; Delta edit פועל בעיקר בכיוון key. פרק בעלים: 076.

מכפלת decay מצטברת — cumulative decay product (C077)

השפעת decay ישן היא מכפלת כל retention factors שבדרך. פרק בעלים: 077.

Kimi Delta Attention — Kimi Delta Attention (C078)

KDA מוסיף retention נפרד לכל channel של key state. פרק בעלים: 078.

Kimi Linear hybrid — Kimi Linear hybrid (C079)

Kimi Linear משלב שלוש שכבות KDA עם שכבת global attention תקופתית. הפרק מתאר שכבת global attention תקופתית; MLA מוגדר ונקרא בשמו רק בפרק 081 פרק בעלים: 079.

תנאי benchmark ארוך-context — long-context benchmark conditions (C080)

מספרי 6× ו-75% של Kimi Linear הם תוצאות מחברים בתנאי benchmark, לא חוק. פרק בעלים: 080.

Multi-head Latent Attention — Multi-head Latent Attention (C081)

MLA שומר latent דחוס לכל token במקום K/V מלאים לכל head. פרק בעלים: 081.

שחזור K/V מ-latent — latent KV reconstruction (C082)

MLA factorizes projections כך שניתן לשחזר או לספוג K/V מן-latent. פרק בעלים: 082.

תערובת מומחים — Mixture of Experts (C083)

MoE מחליף FFN אחד בקבוצת experts שרק חלקם פועל לכל token. פרק בעלים: 083.

router — router (C084)

router ממפה hidden vector לציון לכל routed expert. פרק בעלים: 084.

ניתוב Top-K — Top-K routing (C085)

Top-K routing בוחר את K scores הגבוהים ומנרמל את משקליהם לפי השיטה. פרק בעלים: 085.

מומחים משותפים — shared experts (C086)

shared experts פועלים לכל token לצד routed experts. פרק בעלים: 086.

איזון עומס — load balancing (C087)

load balancing מונע expert חם אחד ו-experts ריקים. פרק בעלים: 087.

מקביליות מומחים — expert parallelism (C088)

expert parallelism מחלק weights של experts בין devices ומעביר tokens אליהם. פרק בעלים: 088.

מומחים במרחב latent — latent-space experts (C089)

LatentMoE מפעיל routed experts בממד קטן מן-hidden width ומקרין חזרה. פרק בעלים: 089.

חשבונאות מומחי K3 — K3 expert accounting (C090)

ב-K3 יש 896 routed experts, top-16, ועוד 2 shared בכל שכבת MoE. פרק בעלים: 090.

דילול PreNorm — PreNorm dilution (C091)

PreNorm dilution מתאר ירידת ההשפעה היחסית של תוספת חדשה בתוך residual מצטבר. פרק בעלים: 091.

Attention Residuals — Attention Residuals (C092)

AttnRes מחליף סכום עומק קבוע ב-softmax attention על ייצוגים קודמים. פרק בעלים: 092.

Block AttnRes — Block Attention Residuals (C093)

Block AttnRes מסכם layers בתוך blocks ושומר פחות ייצוגי עומק. פרק בעלים: 093.

Gated MLA — Gated MLA (C094)

Gated MLA מכפיל את פלט ה-global attention בשער channel-wise תלוי-קלט. פרק בעלים: 094.

SiTU-GLU — SiTU-GLU (C095)

SiTU-GLU מרכך וחוסם את שני הענפים המוכפלים של GLU. פרק בעלים: 095.

ארכיטקטורת Kimi K3 — Kimi K3 architecture (C096)

K3 מחבר token mixing היברידי, depth routing ו-sparse latent channel mixing. נכון ל-commit הרשום ב-S030 פרק בעלים: 096.

סיווג ראיות — evidence classification (C097)

סיווג ראיות מפריד אמת פורמלית ממדידה, טענת מחבר, הסקה ואי-ודאות. FORMAL/MEASURED/AUTHOR_CLAIM/INFERENCE/UNCERTAIN פרק בעלים: 097.

ביקורת מאמר וקוד — paper and code audit (C098)

audit של מאמר מול קוד מקבע version, shapes, orientation ו-semantics לפני הסקת מסקנה. פרק בעלים: 098.

שחזור benchmark — benchmark reproduction (C099)

שחזור benchmark הוגן נועל workload, environment, baseline ומדדי שונות. פרק בעלים: 099.

Capstone ביקורתי — critical capstone (C100)

Capstone ביקורתי מחבר claim, מקור, נוסחה, קוד וניסוי למסקנה מסויגת אחת. שילוב ללא מושג מנגנוני חדש פרק בעלים: 100.

קטלוג מקורות

תאריך גישה ואימות אחרון לכל המקורות: 2026-07-28. מזהה מקור נשאר קבוע בכל הקורס. FORMAL מציין מקור להגדרה או לגזירה; AUTHOR_CLAIM מציין שמספר ניסויי נלקח מדיווח המחברים ולא משחזור עצמאי. קישורי arXiv מצביעים לגרסה הרשומה במפורש.

יסודות, GPT-2 ו-Transformer

• S001 — Alec Radford et al., Language Models are Unsupervised Multitask Learners, OpenAI, 2019. דוח רשמי, סעיפים 2–2.3 וטבלה 2. PDF רשמי. סוג ראיה: FORMAL + AUTHOR_CLAIM.
• S002 — OpenAI, openai/gpt-2, קוד ומודל רשמיים, commit 9b63575ef42771a015060c964af2c3da4cf7c8ab; במיוחד src/model.py, src/encoder.py והערת תיקון ספירת הפרמטרים ב-README. מאגר. סוג ראיה: קוד רשמי.
• S003 — Ashish Vaswani et al., Attention Is All You Need, arXiv:1706.03762v7, 2017/2023. סעיפים 3.1–3.5. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM.
• S004 — Jimmy Lei Ba, Jamie Ryan Kiros, Geoffrey Hinton, Layer Normalization, arXiv:1607.06450v1, 2016. סעיפים 2–3. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM.
• S005 — Diederik P. Kingma, Jimmy Ba, Adam: A Method for Stochastic Optimization, arXiv:1412.6980v9, 2014/2017. אלגוריתם 1. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM.
• S006 — Rico Sennrich, Barry Haddow, Alexandra Birch, Neural Machine Translation of Rare Words with Subword Units, arXiv:1508.07909v5, 2015/2016. סעיף 3. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM. היישום byte-level הספציפי ל-GPT-2 מתועד ב-S001/S002.
• S007 — Ari Holtzman et al., The Curious Case of Neural Text Degeneration, arXiv:1904.09751v2, 2019/2020. סעיף 3.1. arXiv. סוג ראיה: AUTHOR_CLAIM + MEASURED.
• S008 — PyTorch, torch.nn.functional.scaled_dot_product_attention, תיעוד main שנגיש ב-2026-07-28. תיעוד רשמי. סוג ראיה: תיעוד API רשמי; התנהגות backend עשויה להשתנות בין גרסאות.

מערכות הסקה ויעילות

• S009 — Tri Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, arXiv:2205.14135v2, NeurIPS 2022. סעיפים 3–4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S010 — Tri Dao, FlashAttention-2: Faster Attention with Better Parallelism and Work Partitioning, arXiv:2307.08691v2, ICLR 2024. סעיפים 2–3. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחבר.
• S011 — Samuel Williams, Andrew Waterman, David Patterson, Roofline: An Insightful Visual Performance Model for Multicore Architectures, CACM 52(4), 2009, DOI 10.1145/1498765.1498785. רשומת LBL. סוג ראיה: FORMAL.
• S012 — NVIDIA, CUDA C++ Best Practices Guide, release 13.3, סעיפים 8–10, נגיש ב-2026-07-28. תיעוד רשמי. סוג ראיה: תיעוד חומרה/תוכנה רשמי.
• S013 — Reiner Pope et al., Efficiently Scaling Transformer Inference, arXiv:2211.05102v1, 2022. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S014 — Woosuk Kwon et al., Efficient Memory Management for Large Language Model Serving with PagedAttention, arXiv:2309.06180v1, SOSP 2023. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.

Linear attention, fast weights ו-DeltaNet

• S015 — Angelos Katharopoulos et al., Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention, arXiv:2006.16236v3, ICML 2020. סעיפים 3.1–3.4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S016 — Imanol Schlag, Kazuki Irie, Jürgen Schmidhuber, Linear Transformers Are Secretly Fast Weight Programmers, arXiv:2102.11174v2, ICML 2021. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S017 — Songlin Yang et al., Parallelizing Linear Transformers with the Delta Rule over Sequence Length, arXiv:2406.06484v6, 2024/2025. סעיפים 2–4 ונספחים. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S018 — Albert Gu, Tri Dao, Mamba: Linear-Time Sequence Modeling with Selective State Spaces, arXiv:2312.00752v2, 2023/2024. סעיפים 2–3. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S019 — Tri Dao, Albert Gu, Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality, arXiv:2405.21060v2, ICML 2024. סעיפים 2–6. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S020 — Songlin Yang, Jan Kautz, Ali Hatamizadeh, Gated Delta Networks: Improving Mamba2 with Delta Rule, arXiv:2412.06464v3, ICLR 2025. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S021 — Kimi Team, Kimi Linear: An Expressive, Efficient Attention Architecture, arXiv:2510.26692v2, 2025. סעיפים 2–4, טבלאות 1–3 ותרשימי היעילות. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM + MEASURED בידי המחברים.
• S022 — Moonshot AI, Kimi-Linear, commit 8c1d85eb6b5f8fcefb15758691b0ce50b0827ce3. מאגר רשמי. סוג ראיה: קוד רשמי.

MLA, MoE וארכיטקטורת Kimi K3

• S023 — DeepSeek-AI, DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model, arXiv:2405.04434v5, 2024. סעיף 2.1 ונספח C. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM + MEASURED בידי המחברים.
• S024 — Noam Shazeer et al., Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, arXiv:1701.06538v1, ICLR 2017. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S025 — William Fedus, Barret Zoph, Noam Shazeer, Switch Transformers, arXiv:2101.03961v3, JMLR 2022. סעיפים 2–3. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S026 — Damai Dai et al., DeepSeekMoE: Towards Ultimate Expert Specialization in Mixture-of-Experts Language Models, arXiv:2401.06066v1, 2024. סעיפים 2–3. arXiv. סוג ראיה: FORMAL + MEASURED בידי המחברים.
• S027 — Venmugil Elango et al., LatentMoE: Toward Optimal Accuracy per FLOP and Parameter in Mixture of Experts, arXiv:2601.18089v1, 2026. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM + MEASURED בידי המחברים.
• S028 — Kimi Team, Attention Residuals, arXiv:2603.15031v1, 2026. סעיפים 2–4. arXiv. סוג ראיה: FORMAL + AUTHOR_CLAIM + MEASURED בידי המחברים.
• S029 — Moonshot AI, Attention-Residuals, commit 85e22310fe5ee860b4a023de312d791de8a5a5e6. מאגר רשמי. סוג ראיה: קוד רשמי.
• S030 — Kimi Team, Kimi K3: Open Frontier Intelligence — Technical Report, Moonshot AI, 2026, קובץ k3_tech_report.pdf ב-commit 0797decb18ab079de86f991b87a64b81ec15a3c2; במיוחד סעיפים 2.1–2.3, 3.2, 5.1.1 ו-5.4. PDF ומאגר רשמי. סוג ראיה: FORMAL + AUTHOR_CLAIM + MEASURED בידי המחברים.
• S031 — Moonshot AI, moonshotai/Kimi-K3, model card ו-config.json, snapshot שנבדק ב-2026-07-28; הארכיטקטורה תואמת 93 שכבות, 69 KDA, 24 MLA, 896 routed ו-2 shared experts. model card · config. סוג ראיה: ארטיפקט רשמי; אין hash קבוע ב-URL ולכן תאריך הגישה מהותי.

הערת שימוש

מספר ניסויי מקבל בקורס את הסיווג MEASURED רק כאשר מתוארת מדידה. אם המדידה נעשתה בידי מחברי השיטה, הטקסט מציין זאת; אין בכך שחזור בלתי תלוי. טענות Kimi K3 נכונות לגרסת המקורות לעיל ביום האימות ועלולות להשתנות ב-commit מאוחר יותר.