Bedingtes Gedächtnis durch skalierbare Suche: Eine neue Achse der Sparsität für große Sprachmodelle

Autor: Xin Cheng; Wangding Zeng; Damai Dai; Qinyu Chen; Bingxuan Wang; Zhenda Xie; Kezhao Huang; Xingkai Yu; Zhewen Hao; Yukun Li; Han Zhang; Huishuai Zhang; Dongyan Zhao; Wenfeng Liang

Zusammenfassung

#

WAS: Engram ist ein konditionales Speichermodul, das klassische N-Gram-Embeddings für O(1)-Lookup modernisiert und in große Sprachmodelle (LLMs) integriert, um die Effizienz bei der Verwaltung statischer Wissensbasis und lokaler Abhängigkeiten zu verbessern.

WARUM: Engram löst das Problem der Ineffizienz von Transformer-Modellen bei der Simulation des Wissensabrufs durch Berechnung, indem es eine neue Achse der Sparsität bietet, die das Paradigma der bedingten Berechnung (MoE) ergänzt. Dies verbessert die Leistung in verschiedenen Bereichen, einschließlich Wissensabruf, allgemeines Schließen und Codierungs- und Mathematikaufgaben.

WER: Die Hauptakteure sind die Forscher und Ingenieure von DeepSeek-AI und der Peking University, die Engram entwickelt haben, sowie die AI-Forschungsgemeinschaft, die fortschrittliche Sprachmodelle studiert und implementiert.

WO: Engram positioniert sich im Markt der großen Sprachmodelle (LLMs) und integriert sich in bestehende Architekturen wie Mixture-of-Experts (MoE), um die Effizienz und Leistung zu verbessern.

WANN: Engram ist eine aufstrebende Technologie, die aufgrund ihres Potenzials, die Leistung von Sprachmodellen zu verbessern, an Aufmerksamkeit gewinnt. Ihre Reife befindet sich in der Entwicklungsphase, mit laufenden Studien und Implementierungen.

GESCHÄFTLICHE AUSWIRKUNGEN:

• Chancen: Engram kann in den bestehenden Stack integriert werden, um die Leistung von Sprachmodellen zu verbessern, die Rechenkosten zu senken und die Effizienz des Wissensabrufs zu steigern.
• Risiken: Der Wettbewerb mit anderen Technologien für konditionale Speicherung und die Einführung neuer Sprachmodellarchitekturen könnte eine Bedrohung darstellen.
• Integration: Engram kann leicht in bestehende MoE-Architekturen integriert werden und bietet sofortige Leistungsverbesserungen, ohne dass die Modelle vollständig neu aufgebaut werden müssen.

TECHNISCHE ZUSAMMENFASSUNG:

• Kern-Technologie-Stack: Engram verwendet modernisierte N-Gram-Embeddings, Tokenizer-Kompression, Multi-Head-Hashing, kontextualisierte Gating und Multi-Branch-Integration. Das Modell ist in Python implementiert und verwendet Deep-Learning-Frameworks wie PyTorch.
• Skalierbarkeit und Architekturgrenzen: Engram kann bis zu Milliarden von Parametern skalieren, mit einer Modellgröße von 175B Parametern. Seine Effizienz wird in Szenarien des groß angelegten Pre-Trainings und der Inferenz demonstriert.
• Wichtige technische Differenzierer: Engram bietet O(1)-Lookup für statische Muster, reduziert die für den Wissensabruf erforderliche Rechentiefe und befreit die Aufmerksamkeit für den globalen Kontext. Seine infrastrukturelle Effizienz ermöglicht das asynchrone Prefetching von Embeddings, wodurch der Kommunikationsaufwand reduziert wird.

Technische Details:

• Engram-Pipeline: Die Engram-Pipeline umfasst zwei Hauptphasen: Abruf und Fusion. In der Abrufphase werden lokale Kontexte über deterministisches Hashing auf statische Speichereinträge abgebildet. In der Fusionsphase werden die abgerufenen Embeddings dynamisch vom aktuellen verborgenen Zustand moduliert und durch leichte Faltung verfeinert.
• Anwendungsbeispiele:
  • Wissensabruf: Engram verbessert den Wissensabruf in Benchmarks wie MMLU, CMMLU und MMLU-Pro.
  • Allgemeines Schließen: Zeigt signifikante Gewinne in Benchmarks für allgemeines Schließen wie BBH, ARC-Challenge und DROP.
  • Codierung und Mathematik: Verbessert die Leistung in Benchmarks für Codierung und Mathematik wie HumanEval, MATH und GSMK.
  • Langer Kontext: Verbessert die Fähigkeiten zum Abruf und Schließen in langen Kontexten, wie in Benchmarks wie LongPPL und RULER gezeigt.
• Verwendungsbeispiele:
  • Pre-Training: Engram wurde in groß angelegten Pre-Training-Modellen wie Engram-B und Engram-B verwendet, die signifikante Verbesserungen gegenüber MoE-Baselines gezeigt haben.
  • Inferenz: Während der Inferenz ermöglicht Engram das asynchrone Prefetching von Embeddings, wodurch der Kommunikationsaufwand reduziert und die Effizienz gesteigert wird.
  • Gating Visualisierung: Die Visualisierung des Gating-Mechanismus von Engram zeigt, dass das Modul stereotype Sprachmuster wie Multi-Token-Entitäten und formelhafte Phrasen effektiv identifiziert und abruft.

Anwendungsfälle

#

• Private AI-Stack: Integration in proprietäre Pipelines
• Client-Lösungen: Implementierung für Kundenprojekte

Ressourcen

#

Original-Links

#

Artikel empfohlen und ausgewählt vom Human Technology eXcellence Team, erstellt mit KI (in diesem Fall mit LLM HTX-EU-Mistral3.1Small) am 2026-01-27 12:30 Quelle:

Verwandte Artikel

#

• Nanochat - Python, Open Source
• LoRAX: Multi-LoRA-Inferenzserver, der auf Tausende feinabgestimmter LLMs skaliert - Open Source, LLM, Python
• Alles über Transformers - Transformer

Die HTX-Perspektive

#

Dieses Thema steht im Mittelpunkt dessen, was wir bei HTX entwickeln. Die hier diskutierte Technologie — ob KI-Agenten, Sprachmodelle oder Dokumentenverarbeitung — repräsentiert genau die Art von Fähigkeiten, die europäische Unternehmen benötigen, aber zu ihren eigenen Bedingungen eingesetzt.

Die Herausforderung ist nicht, ob diese Technologie funktioniert. Das tut sie. Die Herausforderung ist, sie einzusetzen, ohne Unternehmensdaten an US-Server zu senden, ohne die DSGVO zu verletzen und ohne Lieferantenabhängigkeiten zu schaffen.

Deshalb haben wir ORCA entwickelt — einen privaten Unternehmens-Chatbot, der diese Fähigkeiten auf Ihre Infrastruktur bringt. Gleiche Leistung wie ChatGPT, aber Ihre Daten verlassen nie Ihren Perimeter.

Möchten Sie wissen, ob Ihr Unternehmen bereit für KI ist? Machen Sie unser kostenloses Assessment — 5 Minuten, personalisierter Bericht, umsetzbare Roadmap.