Entschlüsselnprompt
Wenn Sie die plötzliche Ankunft von LLM Sie frustriert fühlen, können Sie auch Ihre Strategien für die Überlebensstrategien für die Waffen für depressive KI -Akademiker im Heimverzeichnis auswählen. Star, um auf dem Laufenden zu bleiben ~
LLM -Ressourcenzusammenfassung
- Open Source -Modelle und Überprüfungslisten
- Open Source -Argumentation, Feinabstimmung, Agent, Rag, Propmt Frameworks
- Open Source SFT, RLHF, Vorbereitungsdatensätze
- Zusammenfassung der Anwendung in verschiedenen Bereichen von AIGC
- Schnelle Tutorials, klassische Blogs und KI -Konferenzinterviews
Lesen Sie Papiere mit Ihrem Blog
- Entschlüsseln
- Entschlüsseln Sie die prompt
- Entschlüsseln
- Entschlüsseln
- Entschlüsseln Sie die ProPT -Serie 5. Ape+Self = automatisierte Anweisungssatzkonstruktionscode -Implementierung
- Entschlüsseln
- Decrypt-Eingabeaufforderung Serie 7. Präferenzausrichtung RLHF-Openai · DeepMind · Anthropic Vergleichsanalyse
- Entschlüsseln
- Entschlüsseln Sie die Eingabeaufforderung der Serie 9. COT: Modellkomplexe inferenz-basisches Denken und fortgeschrittene Wiedergabe
- Entschlüsseln Sie die schnelle Serie 10. COT: Erforschung des Prinzips der Denkkette Cot
- Entschlüsseln
- Entschlüsseln Sie die Eingabeaufforderung der Serie 12.
- Entschlüsseln Sie die Eingabeaufforderung der Serie 13.
- Entschlüsseln
- Entschlüsseln Sie die Eingabeaufforderung der Serie 15. LLM Agent Database Application Design: DIN & C3 & SQL-Palm & Bird
- Entschlüsseln Sie die schnelle Serie 16. Die weniger Daten in der LLM -Ausrichtungserfahrung, desto besser? Ltd & Lima & Alpagasus
- Entschlüsseln
- Entschlüsseln Sie die Welt der prompt -Serie 18. LLM Agent des Agenten mit nur Agenten
- Entschlüsseln Sie die Eingabeaufforderung der Serie 19. Anwendungen im Bereich der Datenanalyse des LLM-Agenten: Data-Copilot & InsightPilot
- Entschlüsseln Sie die prompt
- Entschlüsseln Sie die Eingabeaufforderung der Serie 21.
- Decrypt Prompt Series 22. Rags Reflexion: Hat es Komprimierung oder Intelligenz aufgegeben?
- Entschlüsseln
- Entschlüsseln Sie die ProPT-Serie 24. Trainingsstrategien für neue RLHF-Lösungen: SLIC-HF & DPO & RRHF & RSO
- Entschlüsseln
- Entschlüsseln Sie die schnelle Serie 26. menschliches Denken gegen Modelldenken: abstraktes und unterschiedliches Denken
- Entschlüsseln Sie die ProPT -Serie 27. Wie kann der allgemeine Leistungsverlust in der LLM -Ausrichtungserfahrung reduziert werden
- Entschlüsseln
- Entschlüsseln
- Entschlüsseln
- Entschlüsseln Sie die Eingabeaufforderung der Serie 31. LLM Agent kontinuierliches Lernen der Beweglichkeit
- Entschlüsseln Sie die Eingabeaufforderung der Serie 32. LLMs Tabellenverständnis - Textmodal
- Entschlüsseln Sie die Eingabeaufgabe der Serie 33. LLM's Diagrammverständnis - Multimodales Kapitel
- Entschlüsseln Sie die ProPT -Serie 34. Das RLHF
- Entschlüsseln Sie die ProPT -Serie 35. Die schnelle Standardisierung ist im Gange! DSPY -Papierspieße und Codebeispiele
- Entschlüsseln
- Entschlüsseln Sie die prompt
- Entschlüsseln Sie die Eingabeaufforderung der Serie 38. Multi-Agent Routing-Richtlinie
- Entschlüsseln Sie die ProPT-Serie 39.
- Entschlüsseln Sie die ProPT -Serie 40. LLM Argumenting Skaling Law
- Entschlüsseln Sie die ProPT -Serie 41. Ist Graphrag wirklich eine Silberkugel?
- Entschlüsseln Sie die ProPT -Serie 42. LLMs Weg zur dynamischen komplexen Denkkette
- Entschlüsseln Sie die ProPT -Serie 43. LLM Selbstkritiker
- Entschlüsseln Sie den Propt -Serie 44. RAG Exploration -Modus? Deep Denkmodus?
- Entschlüsseln Sie die schnelle Serie 45. Erforschen
- Entschlüsseln Sie die ProPT -Serie 46. LLM Structured Output Code Beispiele und Prinzipanalyse
- Entschlüsseln Sie die ProPT -Serie 47. Einige Merkmalsanalysen von O1 Long Thought
Zusammenfassung der Papiere
Papierliste
- https://github.com/dongguanting/in-context-learning_paperlist
- https://github.com/thunlp/promptpapers
- https://github.com/timothyxxx/chain-of --houghtspapers
- https://github.com/thunlp/toolarningpapers
- https://github.com/mlgroupjlu/llm-eval-survey
- https://github.com/thu-coai/paperforonlg
- https://github.com/khuangaf/awesome-chart-verstanding
Kette des Denkens (prompt_chain_of_thought)
- Einfache und fortgeschrittene Nutzung
- °
- 【Wenig-Shot-Cot-】-Denkkette, die die Bekanntheit von Denkkette in Großsprachenmodellen ausgelöst hat
- 【Selbstkonsistenz】 verbessert die Kette des Denkens in Sprachmodellen
- °
- 【TOT】 TREE OF OF DEM INTERSUCHE: Absichtliche Problemlösung mit großen Sprachmodellen
- 【Plan-und-Solve】 Aufforderung: Verbesserung der Kette des durchdachten Kettens durch große Sprachmodelle
- 【Überprüfung und Aufbau】: Ein Wissenskettenrahmen für die kenntnisverstärkte Kette
- °
- 【TOMT】 MIXED-TAME-DISSION: Kombinieren Sie schnelles und langsames Denken für visuelle Argumentation von Multi-Hop
- 【Lambada】: Rückwärtskettung für automatisiertes Denken in der natürlichen Sprache
- 【AOT】 Algorithmus der Gedanken: Verbesserung der Erforschung von Ideen in großen Sprachmodellen
- 【Got】】 Graph of Thee
- 【PHP】 Progressive-Hint-Aufforderung verbessert das Denken in großen Sprachmodellen
- 【HTT】 Großsprachige Modelle können Regeln lernen
- 【Divse】 Denkvielfalt verbessert die Argumentationsfähigkeiten großer Sprachmodelle
- 【Cogtree】 von komplex zu einfach: enträtselt den kognitiven Baum zum Denken mit kleinen Sprachmodellen
- 【Einschritt】 Machen
- 【OPRO】 Großsprachige Modelle als Optimierer
- 【Bot】 Gedankenpuffer: Gedanken-ausgelöste Argumentation mit großen Sprachmodellen
- Zusammenfassung des Gedanken macht Sprachmodelle zu besseren Gründen
- 【Symbcot】 treue logische Argumentation durch symbolische Kette des Gedankens
- 【Xot】 Alles der Gedanken: Das Gesetz des Penrose -Dreiecks für Gedankengeneration trotzt
- 【IoT】 Iteration des Gedanken
- 【Punkt】 auf dem Denkdiagramm
- 【FORT】 Umkehrung des Denkens: Verbesserung großer Sprachmodelle mit bevorzugen geführter Reverse-Argumentation.
- Vorwärts und rückwärts denken: Wirksame Rückwärtsplanung mit großen Sprachmodellen
- 【Argumentation von Kr】 K-Ebene: Feststellung höherer Ordnung in Großsprachenmodellen für strategisches Denken
- 【Selbstentdeckung】 Selbstentdeckung: Großsprachenmodelle Selbstkompose-Argumentationsstrukturen
- 【Theorie der Mind】 Wie weit sind große Sprachmodelle von Agents mit der Theorie der Mind?
- 【PC-SUBQ】 Aufforderung zur Strategien, um große Sprachmodelle zu ermöglichen, um die Ursache aus der Korrelation zu schließen
- Reverse Thinking macht LLMs stärker
- Anweisungen zur Lösung nicht-traditioneller COT-Probleme
- Zerlegt, was einen modularen Ansatz zur Lösung komplexer Aufgaben auferlegt
- Aufeinanderfolgende Aufforderung zum Zerlegen komplexer Fragen
- COT [Math, Code, Tabelle, QA]
- Lösen quantitativer Argumentationsprobleme mit Sprachmodellen
- Zeigen Sie Ihre Arbeiten: Scratchpads für Zwischenberechnung mit Sprachmodellen
- Lösen von mathematischen Wortproblemen mit prozess und ergebnisbasiertem Feedback
- Codierl: Mastering -Code -Erzeugung durch vorbereitete Modelle und tiefes Verstärkungslernen
- T-sciq: Unterrichten von multimodaler Kette des Gedankens über große Sprachmodellsignale für die Fragen zur Beantwortung von Wissenschaft
- Lernleistungserbieter-Code-Bearbeitungen
- Codekette: Argumentation mit einem sprachmodell-ausgerichteten Code-Emulator
- Prinzipanalyse
- Kette von Gedanken ermöglicht Transformatoren, inhärent serielle Probleme zu lösen
- Um die Kette der Gedanken zu verstehen: Eine empirische Untersuchung dessen, worauf es ankommt
- Text und Muster: Für eine effektive Denkkette braucht es zwei bis Tango
- Auf der Enthüllung des Geheimnisses hinter der Denkkette: eine theoretisch Perspektive
- Große Sprachmodelle können durch irrelevanten Kontext leicht abgelenkt werden
- Gedankenkette ohne Aufforderung
- Induktiv oder deduktiv? Überdenken der grundlegenden Argumentationsfähigkeiten von LLMs
- Jenseits der Gedankenkette: Eine Übersicht über Paradigmen der Kette von X für LLMs
- Zum Kinderbett oder nicht zum Kinderbett? Die Gedankenkette hilft hauptsächlich auf Mathematik und symbolisches Denken
- Warum Schritt für Schritt nachdenken? Argumentation ergibt sich aus Erfahrung der Erfahrung
- Interne Konsistenz und Selbstversorgungsback in Großsprachmodellen: Eine Umfrage
- Iterationskopf: Eine mechanistische Untersuchung der Gedankenkette
- Der Einfluss der Argumentation Schrittlänge auf große Sprachmodelle
- Führen große Sprachmodelle latente Multi-Hop-Argumentation durch, ohne Verknüpfungen auszunutzen?
- Komprimierte Denkkette: Effizientes Denken durch dichte Darstellungen
- Denken Sie LLMs wirklich Schritt für Schritt in implizitem Denken?
- Kleine Modellbettdestillation
- Spezialisierung kleinerer Sprachmodelle auf mehrstufige Argumentation
- Kleinsprachenmodelle zur Vernunft unterrichten
- Großsprachige Modelle sind Lehrer argumentieren
- Destillieren von Argumentationsfunktionen in kleinere Sprachmodelle
- Die COT-Sammlung: Verbesserung von Null-Shot- und wenigen Shot-Lernen von Sprachmodellen über die Gedankenkette der Feinabstimmung
- Destillieren System 2 in System 1 1
- Automatische Konstruktion/Auswahl von Kinderproben
- Autocot: Automatische Denkkette, die in großen Sprachmodellen aufgebaut wird
- Aktive Aufforderung mit dem Gedanken der Kette für große Sprachmodelle
- Komplexitätsbasierte Aufforderung zum mehrstufigen Denken
- Cot -Fähigkeit Lernen
- Große Sprachmodelle können sich selbst vermitteln
- Trainingskette des Gedankens durch latent-variable Inferenz
- Ruhestar: Sprachmodelle können sich vor dem Sprechen nachdenken lehren
- Star: Autodidaktischer Gründer Bootstrapping-Argumentation mit Argumentation
- V-Star: Trainingsprüfer für autodidaktische Vernunfter
- Denken Sie an, bevor Sie sprechen: Trainingssprachmodelle mit Pause -Tokens
- Selbstgesteuerte synthetische Dialoge und Überarbeitungsbericht
- Andere
- Olagpt befähigt LLMs mit menschlichähnlichen Problemlösungsfähigkeiten
- Herausfordernde Aufgaben mit großem Bench
- Großsprachmodelle sind bessere Vernunft mit Selbstverifizierung
- Theidenource Ein zentral
- Zwei Fehler der Selbstkonsistenz im mehrstufigen Denken von LLMs
Rlhf
- Deepmind
- Sprachmodelle unterrichten, um Antworten mit verifizierten Zitaten zu unterstützen
- Sperma
- Die statistische Ablehnungsabtastung verbessert die Präferenzoptimierung
- Verstärkte Selbsttraining (Rest) für die Sprachmodellierung
- SLIC-HF: Sequenzwahrscheinlichkeit Kalibrierung mit menschlichem Feedback
- Die Kalibrierungssequenzwahrscheinlichkeit verbessert die bedingte Spracherzeugung
- Belohnungsdesign mit Sprachmodellen
- Endgültige Anbieter von Mathematik-Wortproblemen mit prozess und ergebnisbasiertem Feedback
- Lösen von mathematischen Wortproblemen mit prozess- und ergebnisbasiertem Feedback
- Über menschliche Daten hinaus: Skalierung der Selbsttraining für Problemlösungen mit Sprachmodellen
- Bindung: Ausrichtung von LLMs mit der Best-N-N-Destillation
- RL auf falschen synthetischen Daten skaliert die Effizienz von LLM-Mathematik-Argumentation um achtfach
- Generative Verifikatoren: Belohnungsmodellierung als nächstgefachtete Vorhersage
- Trainingssprachmodelle, die sich durch Verstärkungslernen selbst korrigieren können
- Openai
- PPO: proximale Richtlinienoptimierungsalgorithmen
- Tiefes Verstärkungslernen für menschliche Präferenz
- Feinabstimmungssprachmodelle aus menschlichen Vorlieben
- Lernen, aus dem menschlichen Feedback zusammenzufassen
- InstructGPT: Trainingssprachmodelle, um Anweisungen mit menschlichem Feedback zu befolgen
- Skalierungsgesetze für das Belohnungsmodell über die Optimierung
- Verallgemeinerung mit schwacher bis starker
- PRM: Überprüfen Sie Schritt für Schritt Schritt für Schritt
- Trainingsprüfer zur Lösung mathematischer Wortprobleme [PRMs Abhängigkeit]
- OpenAI Super Alignment Blog
- LLM -Kritiker helfen, LLM -Fehler zu fangen
- Prover-Arefier-Spiele verbessern die Lesbarkeit von LLM-Ausgängen
- Regelbasierte Belohnungen für die Sicherheit des Sprachmodells
- Selbstkritische Modelle zur Unterstützung menschlicher Bewerter
- Anthropisch
- Ein allgemeiner Sprachassistent als Labor für Alignmen
- Messung der Fortschritte bei skalierbaren Aufsicht oder Großsprachmodellen
- Rote Teaming -Sprachmodelle zur Reduzierung von Schadensmethoden, Skalierungsverhalten und gewonnenen Erkenntnissen
- Training eines hilfsbereiten und harmlosen Assistenten mit Verstärkungslernen durch menschliches Feedback
- Verfassungsbedingte AI -Harmlosigkeit durch KI -Feedback
- Vorabsprachmodelle mit menschlichen Vorlieben
- Die Fähigkeit zur moralischen Selbstkorrektur in großen Sprachmodellen
- Sleeper Agents: Training täuschende LLMs, die durch Sicherheitstrainin bestehen bleiben
- Allenai, RL4LM: Ist Verstärkungslernen (nicht) für Benchmarks für natürliche Sprachverarbeitung
- Verbesserungsplan
- RRHF: Rangantworten auf die Ausrichtung von Sprachmodellen mit menschlichem Feedback ohne Tränen
- Die Kette der Nachhinein übereinstimmt Sprachmodelle mit Feedback
- Alpacafarm: Ein Simulationsrahmen für Methoden, die aus menschlichem Feedback lernen
- FAF
- RLAIF: Skalierung des Verstärkungslernens aus menschlichem Feedback mit KI -Feedback
- Training sozial ausgerichtete Sprachmodelle in der simulierten menschlichen Gesellschaft
- Regen: Ihre Sprachmodelle können sich ohne Finetuning ausrichten
- Generativrichter für die Bewertung der Ausrichtung
- Vorlieben durch Präferenzen: Feedback -Erwerb für die Ausrichtung großer Sprachmodelle entwirren
- Lachs: Selbstausrichtung mit prinzipiellen Belohnungsmodellen
- Großsprachmodell verlernen
- Gegentliche Präferenzoptimierung
- Präferenzranking -Optimierung für die menschliche Ausrichtung
- Ein langer Weg vor allem: Untersuchung der Länge Korrelationen in RLHF
- Ermöglichen Sie Sprachmodelle, implizit Selbstverbesserung aus Daten zu lernen
- Belohnungsmodellsembles helfen dabei, die Überoptimierung zu mildern
- Lernen optimaler Vorteil aus den Vorlieben und Verwechseln mit der Belohnung
- Ultrafeedback: Steigern Sie Sprachmodelle mit qualitativ hochwertigem Feedback
- Motiv: Intrinsische Motivation aus Feedback für künstliche Intelligenz
- Stabilisierung von RLHF durch Advantage -Modell und selektive Probe
- Shepherd: Ein Kritiker für die Erzeugung des Sprachmodells
- Lernen, besser zu generieren als Ihr LLM
- Feinkörniges menschliches Feedback gibt bessere Belohnungen für das Sprachmodelltraining
- Prinzipiengesteuerte Selbstausrichtung von Sprachmodellen von Grund auf mit minimaler menschlicher Überwachung
- Direkte Präferenzoptimierung: Ihr Sprachmodell ist heimlich ein Belohnungsmodell
- Hir Die Weisheit des Nachhineins macht Sprachmodelle besser
- Aligner: Effiziente Ausrichtung durch schwache bis zu starke Korrektur erreichen
- Ein minimaximalistischer Ansatz zum Verstärkungslernen durch menschliches Feedback
- Panda: Präferenzanpassung zur Verbesserung der domänenspezifischen Fähigkeiten von LLMs
- Schwach-zu-starken Suche: Richten Sie große Sprachmodelle durch die Suche nach kleinen Sprachmodellen aus
- Extrapolation mit schwacher bis starker Explosion von Ausrichtung
- Ist DPO PPO für die LLM -Ausrichtung überlegen? Eine umfassende Studie
- Token-Ebene direkte Präferenzoptimierung
- SIMPO: Einfache Präferenzoptimierung mit einer referenzfreien Belohnung
- Autodetekte: Auf dem Weg zu einem einheitlichen Rahmen für die automatisierte Schwäche -Erkennung in Großsprachenmodellen
- Sprachmodelle für Meta-Ertragung: Selbstverbesserte Ausrichtung mit LLM-AS-a-Meta-Judge
- HelpSter: Multi-Attribute-Hilfsfut-Datensatz für Steerlm
- Rekursive Selbstbeobachtung: Sprachmodell-Agenten unterrichten, wie man sich selbst verbessert
- Verbesserung der Fähigkeitsmöglichkeiten für mehrstufige Argumentation von Sprachmodellen durch direkte Q-Funktion-Optimierung
- Deepseekmath: Die Grenzen des mathematischen Denkens in offenen Sprachmodellen überschreiten
- Blore: Wann, wo und wie man die LLM -Argumentation durch globale und lokale Verfeinerungen verbessert
- Reft: Argumentation mit verstärkter Feinabstimmung
- SCPO: Optimierung der Selbstkonsistenzpräferenz-Optimierung
- RL Exploration
- Verständnis der Auswirkungen von RLHF auf die LLM -Verallgemeinerung und -vielfalt
- Ein langer Weg vor allem: Untersuchung der Länge Korrelationen in RLHF
- Die Auswirkung der Belohnung (in-) Konsistenz auf RLHF
- Offene Probleme und grundlegende Grenzen des Verstärkungslernens durch menschliches Feedback
- Menschliches Feedback ist kein Goldstandard
- Kontrastive Nachtraining Großsprachenmodelle zum Datenlehrplan nach dem Training
- Sprachmodelle widerstehen Ausrichtung
Post -Zug (mit Cot, RL)
- Inferenzskalierung
- Eine empirische Analyse der fachoptimalen Inferenz für die Problemlösung mit Sprachmodellen
- Sind mehr LM -Anrufe alles, was Sie brauchen? In Richtung der Skalierungseigenschaften von zusammengesetzten KI -Systemen
- Großsprachige Affen: Skalierung Inferenzberechnung mit wiederholter Probenahme
- Skaling LLM-Testzeitberechnung optimal kann effektiver sein als Skalierungsmodellparameter
- Q*: Verbesserung der mehrstufigen Argumentation für LLMs mit beratender Planung
- Die Planung in der natürlichen Sprache verbessert die LLM -Suche nach Codegenerierung
- REST-MCTS ∗: LLM Selbsttraining über Prozessbelohnungsbaumsuche
- Alphazero-ähnliche Baumsuch kann das Dekodieren und Training von großer Sprachmodell leiten
- Kleiner, schwächer und doch besser: Training von LLM-Vernunft durch rechenoptimale Probenahme
- Die überraschende Wirksamkeit des Testzeittrainings für abstrakte Argumentation
- Inferenzskalierung für die langkontextvergrößerte Erzeugung
- Zur Selbstverbesserung von LLMs durch Vorstellungskraft, Suche und Kritik
- Langsames Denken Kinderbett
- O1 Replikationsreise: Ein strategischer Fortschrittsbericht - Teil 1
- Marco-O1: Auf dem Weg zu offenen Argumentationsmodellen für offene Lösungen
- Eine vergleichende Studie zu Argumentationsmustern des O1 -Modells von OpenAI
- Imitieren, erforschen und selbstverweilig
- Dualformer: Steuerbares schnelles und langsames Denken durch Lernen mit randomisierten Argumentationsspuren
- Training großer Sprachmodelle, um in einem kontinuierlichen latenten Raum zu argumentieren
- Jenseits einer ∗: bessere Planung mit Transformatoren über Suchdynamik Bootstrapping
- O1-Codierer: eine O1-Replikation zum Codieren
- Skalierung von Suche und Lernen: eine Roadmap zur Reproduktion von O1 aus der Perspektive des Verstärkungslernens
- Sky-T1: Trainieren Sie Ihr eigenes O1-Vorschau-Modell innerhalb von 450 USD
- In Richtung System 2 Argumentation in LLMs: Lernen, wie man mit Meta-Kette nachdenkt
Anweisung Feinabstimmung und Ausrichtung (Anweisung_Tunning)
- Klassische Lösung
- Flan: Finetuned-Sprachmodelle sind Null-Shot-Lernende
- Flan-T5: Skalierung von Sprachmodellen mit Anweisungen
- EXT5: Auf dem Weg zu extremer Multitasking-Skalierung für das Transferlernen
- Anweisungen GPT: Trainingssprachmodelle, um Anweisungen mit menschlichem Feedback zu befolgen
- T0: Multitaskaned Training ermöglicht die Verallgemeinerung der Aufgabe der Null-Shot-Aufgabe
- Natürliche Anweisungen: Verallgemeinerung der Kreuzung durch natürliche Sprache Crowdsourcing-Anweisungen
- TK-Instruktur: Super-NaturalinSructions: Generalisierung durch deklarative Anweisungen zu 1600 NLP-Aufgaben
- Zeroprompt: Skalierung prompt-basierter Vorbau auf 1.000 Aufgaben verbessert die Verallgemeinerung der Nullschüsse
- Unnatürliche Anweisungen: Stimmen von Sprachmodellen mit (fast) ohne menschliche Arbeit abstellen
- Anweisungen für die ganzheitliche Bewertung von Großsprachmodellen mit Anweisungen abgestimmt
- SFT -Datenskalierungsgesetz
- Lima: Weniger ist mehr für die Ausrichtung
- Möglicherweise sind nur 0,5% Daten benötigt: Eine vorläufige Untersuchung der Tuning niedriger Trainingsdatenunterrichtsanweisungen
- Alpagasus: Training ein besseres Alpaka mit weniger Daten
- InstructionGPT-4: Ein Paradigma für die 200-Instrukturierung für die Feinabstimmung MiniGPT-4
- Anweisungsabbau: Hochwertige Befehlsdatenauswahl für Großsprachmodelle
- Visuelle Anweisungen mit höflichem Flamingo
- Untersuchen der Auswirkungen von Unterrichtsdaten, die auf Großsprachmodelle skalieren: eine empirische Studie zu realen Anwendungsfällen
- Skalierung der Beziehung zum Erlernen mathematischer Argumentation mit großen Sprachmodellen
- Wenn die Skalierung auf LLM -Finetuning trifft: Die Auswirkung von Daten, Modell- und Finetuning -Methoden
- Neues Ausrichtung/Feinabstimmungsschema
- WizardLM: Ermächtigung großer Sprachmodelle, komplexe Anweisungen zu befolgen
- Selbstverstärkung werden: Frühe Stoppkriterien für die minimale Anweisungsstimmung einführen
- Selbstausrichtung mit Unterrichtsbacktranslation
- Expertenmischungen treffen Anweisungen: Eine Gewinnkombination für große Sprachmodelle
- Ziege: Fein abgestimmte Lama übertrifft GPT-4 bei arithmetischen Aufgaben
- Prompt2Model: Generieren von Bereitstellungsmodellen aus Anweisungen für natürliche Sprache
- OpinionGPT: Modellierung explizite Vorurteile in der Anweisungen abgestimmten LLMs
- Verbesserung der Sprachmodellverhandlung mit Selbsteinstellung und In-Kontext-Lernen aus dem KI-Feedback
- Menschliche systematische Verallgemeinerung durch ein meta-lernendes neuronales Netzwerk
- Magicoder: Quellcode ist alles, was Sie brauchen
- Über menschliche Daten hinaus: Skalierung der Selbsttraining für Problemlösungen mit Sprachmodellen
- Generative Repräsentationsunterrichtsstimmung
- INSCL: Ein dateneffizientes kontinuierliches Lernparadigma für die Feinabstimmung Großsprachenmodelle mit Anweisungen
- Die Anweisungshierarchie: Training LLMs, um privilegierte Anweisungen zu priorisieren
- Magpie: Ausrichtungsdatensynthese von Grund auf neu, indem sie ausgerichtete LLMs mit nichts veranlassen
- Anweisungsdatenerzeugung
- APE: Große Sprachmodelle sind sofortige Ingenieure auf Menschenebene
- Selbststruktur: Ausrichtung des Sprachmodells mit selbst erzeugten Anweisungen
- Iprompt: Erklären von Datenmustern in der natürlichen Sprache durch interpretierbares Autoprompieren
- Geflipptes Lernen: Rate die Anweisung! Durch geflipptes Lernen werden Sprachmodelle stärker Null-Shot-Lerner
- Fairness gestaltete wenige Schüsse für große Sprachmodelle
- Anweisungseinführung: Von wenigen Beispielen bis hin zu Beschreibungen der natürlichen Sprachaufgaben.
- Selbst QA unbeaufsichtigtes Wissen geführtes Ausrichtung.
- GPT-Selbst-Supervision für einen besseren Datenannotator
- Die FLAN -Sammlung entwirft Daten und Methoden
- Selbstverbrauchende generative Modelle werden verrückt
- InstructEval: Systematische Bewertung von Anweisungsauswahlmethoden
- Überschreibung voreingenommener Vorurteile mit Finetuning -Daten
- Verbesserung von Texteinbettungen mit großen Sprachmodellen
- Magpie: Ausrichtungsdatensynthese von Grund auf neu, indem sie ausgerichtete LLMs mit nichts veranlassen
- Skalierung der synthetischen Datenerstellung mit 1.000.000.000 Personas
- Freisetzung der Argumentationsfähigkeit von LLMs über skalierbare Frage -Synthese von Grund auf neu
- Eine Umfrage zur Datensynthese und -vergrößerung für Großsprachenmodelle
- AgentInstruct: Auf dem Weg zu generativem Unterricht mit Agentenströmen
- Enthüllung der Fehler: Erforschung von Unvollkommenheiten in synthetischen Daten und Minderungsstrategien für Großsprachmodelle
- Wie man allgemeine Kapazitätsverlust reduziert
- Wie Fähigkeit in Großsprachenmodellen durch beaufsichtigte Feinabstimmungsdatenzusammensetzung beeinflusst wird
- Zweistufige LLM-Feinabstimmung mit weniger Spezialisierung und mehr Generalisierung
- Feinabstimmungserfahrung/experimenteller Bericht
- Belle: Untersuchung der Auswirkungen von Unterrichtsdaten, die auf Großsprachenmodelle skalieren: Eine empirische Studie auf reale Anwendungsfälle
- Baize: Baize: Ein Open-Source-Chat-Modell mit parameter-effizientem Stimmen auf Selbstversorgungsdaten
- Eine vergleichende Studie zwischen Vollparameter- und Lora-basierter Feinabstimmung auf chinesischen Unterrichtsdaten für große LM
- Erforschung der Fähigkeit von ChatGPT, Inhalte zu bewerten: Eine vorläufige Studie zur Konsistenz der menschlichen Präferenzen
- In Richtung eines besseren Unterrichts folgenden Sprachmodellen für Chinesisch: Untersuchung der Auswirkungen von Trainingsdaten und Bewertung
- Fine Tuning LLMs für Unternehmen: Praktische Richtlinien und Empfehlungen
- Andere
- Kreuzlingsverallgemeinerung durch Multitasking -Finetuning
- Durchgangsübertragung über natürliche Sprachanweisungen Crowdsourcing-Anweisungen
- UnifiedSKG: Einheitliche und multitasking strukturierte Wissens Erdung mit Text-zu-Text-Sprachmodellen
- Eingabeaufforderung: Ein integriertes Entwicklungsumfeld und ein Repository für natürliche Sprachaufforderungen
- Rolellm: Benchmarking, Auslösen und Verbesserung der Rollenspielfähigkeiten großer Sprachmodelle
LLM Agent lassen das Modell Tool (LLM_AGENT) verwenden
- Agent AI: Vermessung des Horizons der multimodalen Wechselwirkung
- Eine Umfrage zu großsprachigen modellbasierten autonomen Agenten
- Persönliche LLM -Agenten: Erkenntnisse und Umfrage über die Fähigkeiten, Effizienz und Sicherheit
- Allgemeine Lösung basierend auf ProPT
- Reagieren: Synergisierung von Argumentation und Handeln in Sprachmodellen
- SelbstAk: Messen und Verengung der Kompositionalitätslücke in Sprachmodellen
- MRKL Systemsa Modular, neurosymbolische Architektur, die große Sprachmodelle, externe Wissensquellen und diskretes Denken kombiniert
- KAL: Programmen-unterstützte Sprachmodelle
- Kunst: Automatisches mehrstufiges Denken und Werkzeuggebrauch für große Sprachmodelle
- Rewoo: Entkopplung von Argumentation aus Beobachtungen für effiziente erweiterte Sprachmodelle
- Verschachtung des Abrufs mit dem Gedankenketten für wissensintensive mehrstufige Fragen
- Chamäleon: Plug-and-Play-Kompositionelle Argumentation mit großen Sprachmodellen
- Gläubige Argumentationskette
- Reflexion: Sprachmittel mit verbalem Verstärkungslernen
- Verify-and-Dit: Ein wissensbedingter Kette des Gedanke
- RESTGPT: Verbinden großer Sprachmodelle mit realer Restful-APIs
- Chatcot: Tool-ausgelöste Argumentation in Chat-basierten großsprachigen Modellen
- Anweisungen: große Sprachmodelle für end-zu-End-aufgabenorientierte Dialogsysteme
- TPTU: Aufgabenplanung und Werkzeugnutzung von modellbasierten KI-Agenten mit großer Sprache
- ControllLM: Erweitern Sie Sprachmodelle mit Tools, indem Sie in Grafiken suchen
- Reflexion: Ein autonomer Agent mit dynamischem Gedächtnis und Selbstreflexion
- Autoagenten: Ein Framework für die automatische Erzeugung der Agenten
- Gitagent: Erleichterung des autonomen Agenten mit GitHub nach Tool -Erweiterung
- Preact: Die Vorhersage der Zukunft in React erhöht die Planungsfähigkeit des Agenten der Agenten
- TOLLLM: Erleichterung von großsprachigen Modellen, um 16000+ reale APIs zu beherrschen-Analytool: selbstreflektierende, hierarchische Agenten für großflächige API-Anrufe
- AIOS: LLM Agent Betriebssystem
- LLM -Compiler Ein LLM -Compiler für parallele Funktionsaufrufe
- Wiedereinsparung: Tool-Aufruf Umschreiben für das Abruf von Null-Shot-Tools
- Allgemeine Lösung basierend auf Feinabstimmung
- Talm: Tool erweiterte Sprachmodelle
- Toolformer: Sprachmodelle können sich beibringen, Tools zu verwenden
- Werkzeuglernen mit Grundmodellen
- Werkzeughersteller: Großsprachige Modelle als Werkzeughersteller
- Taskmatrix.ai: Erledigte Aufgaben durch Verbinden von Stiftungsmodellen mit Millionen von APIs
- AgentTuning: Ermöglichen Sie verallgemeinerte Agentenvermögen für LLMs
- SwiftSage: Ein generatives Agent mit schnellem und langsamem Denken für komplexe interaktive Aufgaben
- Schienen: Auf dem Weg zu Sprachagenten Feinabstimmung
- Pangu-Agent: Ein feinabstimmbarer Generalist mit strukturiertem Denken
- REST METICS REACT: Selbstverbesserung für Multi-Step-Argumentation LLM Agent
- Effizienter Werkzeuggebrauch mit Argumentation der Kette der Abschnitt
- Agent-Flan: Entwerfen von Daten und Methoden der effektiven Agentenabstimmung für große Sprachmodelle
- Agentohana: Entwerfen Sie einheitliche Daten- und Trainingspipeline für effektives Erlernen von Agenten
- Agent Lumos: Unified und modulares Training für Open-Source-Sprachagenten
- Toolgen: Einheitliches Werkzeugabruf und Anruf über Generation
- Aufrufen des Modellschemas
- Hugginggpt: Lösen von KI -Aufgaben mit Chatgpt und seinen Freunden in Suggingface
- Gorilla: großes Sprachmodell, das mit massiven APIs verbunden ist
- OpenAgi: Wenn LLM Domain -Experten trifft
- Vertikales Feld
- Datenanalyse
- DS-Agent: Automatisierte Datenwissenschaft durch Stärkung von Großsprachenmodellen mit fallbasierten Argumentation
- Insightens: Entdeckung und Erforschung von Erkenntnissen aus Konversationskontexten in großsprachigen Datenanalysen
- Data-Copilot: Bridgering Milliarden von Daten und Menschen mit autonomem Workflow
- Demonstration von InsightPilot: Ein LLM-ausgearbeitetes automatisiertes Datenexplorationssystem
- TaskWeaver: Ein Code-First-Agent-Framework
- Automatisierte Sozialwissenschaft: Sprachmodelle als Wissenschaftler und Fächer
- Datendolmetscher: Ein LLM -Agent für Data Science
- Finanzen
- Weaverbird: Stärkung der finanziellen Entscheidungsfindung mit großer Sprachmodell, Wissensbasis und Suchmaschine
- Fingpt: Open-Source Financial Großsprachmodelle
- Finmem: Ein leistungsverstärktes LLM-Handelsagent mit geschichteten Speicher und Charakterdesign
- Alphafin: Benchmarking Finanzanalyse unter Verwendung von Suchfaktor-Aktienkettenrahmen
- Ein multimodaler Foundation-Agent für Finanzhandel: Tools-ausgerüstet, diversifiziert und Generalist
- Können große Sprachmodelle die Wall Street schlagen? Enthüllung des Potenzials von KI bei der Bestandsauswahl
- Verbesserung der Erkennung von Anomalie auf den Finanzmärkten mit einem LLM-basierten Multi-Agent-Rahmen
- TradingGPT: Multi-Agent-System mit geschichteten Speicher und unterschiedlichen Charakteren für eine verbesserte Finanzhandelsleistung
- Finrobot: Eine Open-Source-AI-Agenten-Plattform für Finanzanwendungen mit großer Sprachmodellen
- LLMFACTOR: Extrakt profitable Faktoren durch Aufforderungen für die Erklärungsbewegungsvorhersage extrahieren
- Alpha-GPT: Human-AI Interaktiver Alpha-Bergbau für quantitative Investitionen
- Erkennung von Anomalie voranschreiten: Nicht-semantische Finanzdaten-Codierung mit LLMs
- Tradexpert: Der Handel mit Mischung aus Experten -LLMs revolutionieren
- Finvision: Ein Multi-Agent-Rahmen für die Vorhersage von Börsenmarkt
- KI in Investitionsanalyse: LLMs für Aktienbewertungen
- AAPM: Großspracher Model Agent-basierte Asset-Preismodelle
- Biomedizin
- Genegpt: Erweiterung großer Sprachmodelle mit Domänenwerkzeugen für einen verbesserten Zugriff auf biomedizinische Informationen
- Chemcrow erweitert große Sprachmodelle mit Chemiewerkzeugen
- Erklärungen in medizinischen Fragen generieren, die durch Erwartungsmaximierungsieferenz über Beweise vorliegen
- Agent Hospital: Ein Simulacrum des Krankenhauses mit sich entwickelbaren medizinischen Wirkstoffen
- Integration von Chemiekenntnissen in Großsprachmodelle über Proportion Engineering
- Web/Mobile Agent
- AutoWebglm: Bootstrap und verstärken einen großsprachigen modellbasierten Web-Navigating-Agenten
- Eine reale Webagent mit Planung, langem Kontextverständnis und Programmsynthese
- Mind2Web: Auf dem Weg zu einem Generalistenagenten für das Web
- Miniwob ++ Verstärkungslernen auf Web-Schnittstellen mit Workflow-geführter Erkundung
- Webarena: Eine realistische Webumgebung, die autonome Agenten aufgebaut haben
- Autocrawler: Ein progressives Verständnis für Web -Crawler -Generation für Web -Crawler
- Weblinx: Real-World-Website-Navigation mit einem Multi-Turn-Dialog
- WebVoyager: Erstellen eines End-to-End-Webagenten mit großen multimodalen Modellen
- Cogagent: Ein visuelles Sprachmodell für GUI -Agenten
- Mobile-Agent-V2: Betriebsassistent für Mobilgeräte mit effektiver Navigation über Multi-Agent-Zusammenarbeit
- WebCanvas: Benchmarking -Webagenten in Online -Umgebungen
- Der Morgendämmerung des GUI -Agenten: Eine vorläufige Fallstudie mit Claude 3.5 Computerverwendung
- Software -Ingenieur
- Agenten in Software Engineering: Umfrage, Landschaft und Vision
- Chatdev: Kommunikative Agenten für die Softwareentwicklung
- andere
- Agentenlabor: Verwendung von LLM -Agenten als Forschungsassistenten
- ResearchAgent: Iterative Forschungsideegenerierung über wissenschaftliche Literatur mit großen Sprachmodellen
- WebShop: Auf dem Weg zu skalierbarer realer Webinteraktion mit geerdeten Sprachagenten
- Toolkengpt: Ergänzen gefrorene Sprachmodelle mit massiven Werkzeugen über Tool -Einbettungen
- Pointllm: Ermächtigung großer Sprachmodelle, Punktwolken zu verstehen
- Interpretierbare langhafte Rechtsfragen, die mit etrieurer großer Sprachmodelle beantwortet werden
- Carexpert: Nutzung von großsprachigen Modellen für die Beantwortung von Konversationsfragen im Auto
- Wissenschaftlungen: Automatisierung der wissenschaftlichen Entdeckung durch Multi-Agent-intelligente Graph-Argumentation
- Auswerten
- Bewertung der Überprüfbarkeit in generativen Suchmaschinen
- Auto-GPT for Online Decision Making: Benchmarks and Additional Opinions
- API-Bank: A Benchmark for Tool-Augmented LLMs
- ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs
- Automatic Evaluation of Attribution by Large Language Models
- Benchmarking Large Language Models in Retrieval-Augmented Generation
- ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems
- Agent-as-a-Judge: Evaluate Agents with Agents
- MultiAgent
- GENERATIVE AGENTS
- LET MODELS SPEAK CIPHERS: MULTIAGENT DEBATE THROUGH EMBEDDINGS
- War and Peace (WarAgent): Large Language Model-based Multi-Agent Simulation of World Wars
- Small LLMs Are Weak Tool Learners: A Multi-LLM Agent
- Merge, Ensemble, and Cooperate! A Survey on Collaborative Strategies in the Era of Large Language Models
- Generative Agents: Interactive Simulacra of Human Behavior
- AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors in Agents
- System-1.x: Learning to Balance Fast and Slow Planning with Language Models
- Agents Thinking Fast and Slow:A Talker-Reasoner Architecture
- Generative Agent Simulations of 1,000 People
- Advanced Reasoning and Learning for Autonomous AI Agents
- 多智能体系统
- Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence
- MULTI-AGENT COLLABORATION: HARNESSING THE POWER OF INTELLIGENT LLM AGENTS
- Magentic-One: A Generalist Multi-Agent System for Solving Complex Tasks
- 任务型智能体协作
- METAAGENTS: SIMULATING INTERACTIONS OF HUMAN BEHAVIORS FOR LLM-BASED TASK-ORIENTED COORDINATION VIA COLLABORATIVE
- CAMEL: Communicative Agents for "Mind" Exploration of Large Scale Language Model Society
- Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf
- Communicative Agents for Software Development
- MedAgents: Large Language Models as Collaborators for Zero-shot Medical Reasoning
- METAGPT: META PROGRAMMING FOR A MULTI-AGENT COLLABORATIVE FRAMEWORK
- 智能体路由
- One Agent To Rule Them All: Towards Multi-agent Conversational AI
- A Multi-Agent Conversational Recommender System
- 基座模型路由&Ensemble
- Large Language Model Routing with Benchmark Datasets
- LLM-BL ENDER: Ensembling Large Language Models with Pairwise Ranking and Generative Fusion
- RouteLLM: Learning to Route LLMs with Preference Data
- More Agents Is All You Need
- Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models
- 自主学习和探索进化
- AppAgent: Multimodal Agents as Smartphone Users
- Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution
- LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error
- Empowering Large Language Model Agents through Action Learning
- Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
- OS-COPILOT: TOWARDS GENERALIST COMPUTER AGENTS WITH SELF-IMPROVEMENT
- LLAMA RIDER: SPURRING LARGE LANGUAGE MODELS TO EXPLORE THE OPEN WORLD
- PAST AS A GUIDE: LEVERAGING RETROSPECTIVE LEARNING FOR PYTHON CODE COMPLETION
- AutoGuide: Automated Generation and Selection of State-Aware Guidelines for Large Language Model Agents
- A Survey on Self-Evolution of Large Language Models
- ExpeL: LLM Agents Are Experiential Learners
- ReAct Meets ActRe: When Language Agents Enjoy Training Data Autonomy
- PROACTIVE AGENT: SHIFTING LLM AGENTS FROM REACTIVE RESPONSES TO ACTIVE ASSISTANCE
- From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning
- andere
- LLM+P: Empowering Large Language Models with Optimal Planning Proficiency
- Inference with Reference: Lossless Acceleration of Large Language Models
- RecallM: An Architecture for Temporal Context Understanding and Question Answering
- LLaMA Rider: Spurring Large Language Models to Explore the Open World
- LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks
LAPPEN
- 经典论文
- WebGPT：Browser-assisted question-answering with human feedback
- WebGLM: Towards An Efficient Web-Enhanced Question Answering System with Human Preferences
- WebCPM: Interactive Web Search for Chinese Long-form Question Answering
- REPLUG: Retrieval-Augmented Black-Box Language Models
- RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit
- Atlas: Few-shot Learning with Retrieval Augmented Language Models
- RRAML: Reinforced Retrieval Augmented Machine Learning
- FRESHLLMS: REFRESHING LARGE LANGUAGE MODELS WITH SEARCH ENGINE AUGMENTATION
- Feinanpassung
- RLCF：Aligning the Capabilities of Large Language Models with the Context of Information Retrieval via Contrastive Feedback
- RA-DIT: RETRIEVAL-AUGMENTED DUAL INSTRUCTION TUNING
- CHAIN-OF-NOTE: ENHANCING ROBUSTNESS IN RETRIEVAL-AUGMENTED LANGUAGE MODELS
- RAFT: Adapting Language Model to Domain Specific RAG
- Rich Knowledge Sources Bring Complex Knowledge Conflicts: Recalibrating Models to Reflect Conflicting Evidence
- 其他论文
- Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation
- PDFTriage: Question Answering over Long, Structured Documents
- Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading
- Active Retrieval Augmented Generation
- kNN-LM Does Not Improve Open-ended Text Generation
- Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model
- DORIS-MAE: Scientific Document Retrieval using Multi-level Aspect-based Queries
- Factuality Enhanced Language Models for Open-Ended Text Generation
- KwaiAgents: Generalized Information-seeking Agent System with Large Language Models
- Complex Claim Verification with Evidence Retrieved in the Wild
- Retrieval-Augmented Generation for Large Language Models: A Survey
- ChatQA: Building GPT-4 Level Conversational QA Models
- RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on Agriculture
- Benchmarking Large Language Models in Retrieval-Augmented Generation
- T-RAG: Lessons from the LLM Trenches
- ARAGOG: Advanced RAG Output Grading
- ActiveRAG: Revealing the Treasures of Knowledge via Active Learning
- OpenResearcher: Unleashing AI for Accelerated Scientific Research
- Contextual.ai-RAG2.0
- Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation
- Memory3 : Language Modeling with Explicit Memory
- 优化检索
- IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions
- HyDE：Precise Zero-Shot Dense Retrieval without Relevance Labels
- PROMPTAGATOR : FEW-SHOT DENSE RETRIEVAL FROM 8 EXAMPLES
- Query Rewriting for Retrieval-Augmented Large Language Models
- Query2doc: Query Expansion with Large Language Models
- Query Expansion by Prompting Large Language Models
- Anthropic Contextual Retrieval
- Multi-Level Querying using A Knowledge Pyramid
- A Survey of Query Optimization in Large Language Models
- Rang
- A Setwise Approach for Effective and Highly Efficient Zero-shot Ranking with Large Language Models
- RankVicuna: Zero-Shot Listwise Document Reranking with Open-Source Large Language Models
- Improving Passage Retrieval with Zero-Shot Question Generation
- Large Language Models are Effective Text Rankers with Pairwise Ranking Prompting
- RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
- Ranking Manipulation for Conversational Search Engines
- Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents
- Opensource Large Language Models are Strong Zero-shot Query Likelihood Models for Document Ranking
- T2Ranking: A large-scale Chinese Benchmark for Passage Ranking
- Learning to Filter Context for Retrieval-Augmented Generation
- 传统搜索方案
- ASK THE RIGHT QUESTIONS:ACTIVE QUESTION REFORMULATION WITH REINFORCEMENT LEARNING
- Query Expansion Techniques for Information Retrieval a Survey
- Learning to Rewrite Queries
- Managing Diversity in Airbnb Search
- 新向量模型用于Recall和Ranking
- Augmented Embeddings for Custom Retrievals
- BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
- 网易为RAG设计的BCE Embedding技术报告
- BGE Landmark Embedding: A Chunking-Free Embedding Method For Retrieval Augmented Long-Context Large Language Models
- D2LLM: Decomposed and Distilled Large Language Models for Semantic Search
- Piccolo2: General Text Embedding with Multi-task Hybrid Loss Training
- 优化推理结果
- Speculative RAG: Enhancing Retrieval Augmented Generation through Drafting
- 动态RAG（When to Search & Search Plan）
- SELF-RAG: LEARNING TO RETRIEVE, GENERATE, AND CRITIQUE THROUGH SELF-REFLECTION
- Self-Knowledge Guided Retrieval Augmentation for Large Language Models
- Self-DC: When to retrieve and When to generate Self Divide-and-Conquer for Compositional Unknown Questions
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs
- Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity
- REAPER: Reasoning based Retrieval Planning for Complex RAG Systems
- When to Retrieve: Teaching LLMs to Utilize Information Retrieval Effectively
- PlanRAG: A Plan-then-Retrieval Augmented Generation for Generative Large Language Models as Decision Makers
- ONEGEN: EFFICIENT ONE-PASS UNIFIED GENERATION AND RETRIEVAL FOR LLMS
- Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval
- Graph RAG
- GRAPH Retrieval-Augmented Generation: A Survey
- From Local to Global: A Graph RAG Approach to Query-Focused Summarization
- GRAG: Graph Retrieval-Augmented Generation
- GNN-RAG: Graph Neural Retrieval for Large Language Model Reasoning
- THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASONING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
- LightRAG: Simple and Fast Retrieval-Augmented Generation
- THINK-ON-GRAPH: DEEP AND RESPONSIBLE REASON- ING OF LARGE LANGUAGE MODEL ON KNOWLEDGE GRAPH
- StructRAG: Boosting Knowledge Intensive Reasoning of LLMs via Inference-time Hybrid Information Structurization
- Multistep RAG
- SYNERGISTIC INTERPLAY BETWEEN SEARCH AND LARGE LANGUAGE MODELS FOR INFORMATION RETRIEVAL
- Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
- Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy
- RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
- IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues
- Demonstrate-Search-Predict: Composing retrieval and language models for knowledge-intensive NLP
- Search-in-the-Chain: Towards Accurate, Credible and Traceable Large Language Models for Knowledge-intensive Tasks
- MindSearch 思·索: Mimicking Human Minds Elicits Deep AI Searcher
- RQ-RAG: LEARNING TO REFINE QUERIES FOR RETRIEVAL AUGMENTED GENERATION
- AutoPRM: Automating Procedural Supervision for Multi-Step Reasoning via Controllable Question Decomposition
- Timeline RAG
- Unfolding the Headline: Iterative Self-Questioning for News Retrieval and Timeline Summarization
Other Prompt Engineer(prompt_engineer)
- Calibrate Before Use: Improving Few-Shot Performance of Language Models
- In-Context Instruction Learning
- LEARNING PERFORMANCE-IMPROVING CODE EDITS
- Boosting Theory-of-Mind Performance in Large Language Models via Prompting
- Generated Knowledge Prompting for Commonsense Reasoning
- RECITATION-AUGMENTED LANGUAGE MODELS
- kNN PROMPTING: BEYOND-CONTEXT LEARNING WITH CALIBRATION-FREE NEAREST NEIGHBOR INFERENCE
- EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus
- Causality-aware Concept Extraction based on Knowledge-guided Prompting
- LARGE LANGUAGE MODELS AS OPTIMIZERS
- Prompts As Programs: A Structure-Aware Approach to Efficient Compile-Time Prompt Optimization
- Set-of-Mark Prompting Unleashes Extraordinary Visual Grounding in GPT-4V
- RePrompt: Automatic Prompt Editing to Refine AI-Generative Art Towards Precise Expressions
- MedPrompt: Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
- DSPy Assertions: Computational Constraints for Self-Refining Language Model Pipelines
- Prompts as Auto-Optimized Training Hyperparameters: Training Best-in-Class IR Models from Scratch with 10 Gold Labels
- In-Context Learning for Extreme Multi-Label Classification
- Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
- DSPy: Compiling Declarative Language Model Calls into Self-Improving Pipelines
- CONNECTING LARGE LANGUAGE MODELS WITH EVOLUTIONARY ALGORITHMS YIELDS POWERFUL PROMP OPTIMIZERS
- TextGrad: Automatic "Differentiation" via Text
- Task Facet Learning: A Structured Approach to Prompt Optimization
- LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language
- PAS: Data-Efficient Plug-and-Play Prompt Augmentation System
- Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models
- From Pen to Prompt: How Creative Writers Integrate AI into their Writing Practice
- Does Prompt Formatting Have Any Impact on LLM Performance?
- AUTO-DEMO PROMPTING: LEVERAGING GENERATED OUTPUTS AS DEMONSTRATIONS FOR ENHANCED BATCH PROMPTING
- PROMPTBREEDER: SELF-REFERENTIAL SELF-IMPROVEMENT VIA PROMPT EVOLUTION
大模型图表理解和生成
- Umfrage
- Table Meets LLM: Can Large Language Models Understand Structured Table Data? A Benchmark and Empirical Study
- Large Language Models(LLMs) on Tabular Data: Prediction, Generation, and Understanding - A Survey
- Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data
- prompt
- Large Language Models are Versatile Decomposers: Decompose Evidence and Questions for Table-based Reasoning
- Tab-CoT: Zero-shot Tabular Chain of Thought
- Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding
- fintuning
- TableLlama: Towards Open Large Generalist Models for Tables
- TableLLM: Enabling Tabular Data Manipulation by LLMs in Real Office Usage Scenarios
- multimodal
- MMC: Advancing Multimodal Chart Understanding with Large-scale Instruction Tuning
- ChartLlama: A Multimodal LLM for Chart Understanding and Generation
- ChartAssisstant: A Universal Chart Multimodal Language Model via Chart-to-Table Pre-training and Multitask Instruction Tuning
- ChartInstruct: Instruction Tuning for Chart Comprehension and Reasoning
- ChartX & ChartVLM: A Versatile Benchmark and Foundation Model for Complicated Chart Reasoning
- MATCHA : Enhancing Visual Language Pretraining with Math Reasoning and Chart Derendering
- UniChart: A Universal Vision-language Pretrained Model for Chart Comprehension and Reasoning
- TinyChart: Efficient Chart Understanding with Visual Token Merging and Program-of-Thoughts Learning
- Tables as Texts or Images: Evaluating the Table Reasoning Ability of LLMs and MLLMs
- TableVQA-Bench: A Visual Question Answering Benchmark on Multiple Table Domains
- TabPedia: Towards Comprehensive Visual Table Understanding with Concept Synergy
LLM+KG
- Überblick
- Unifying Large Language Models and Knowledge Graphs: A Roadmap
- Large Language Models and Knowledge Graphs: Opportunities and Challenges
- 知识图谱与大模型融合实践研究报告2023
- KG用于大模型推理
- Using Large Language Models for Zero-Shot Natural Language Generation from Knowledge Graphs
- MindMap: Knowledge Graph Prompting Sparks Graph of Thoughts in Large Language Models
- Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
- Domain Specific Question Answering Over Knowledge Graphs Using Logical Programming and Large Language Models
- BRING YOUR OWN KG: Self-Supervised Program Synthesis for Zero-Shot KGQA
- StructGPT: A General Framework for Large Language Model to Reason over Structured Data
- 大模型用于KG构建
- Enhancing Knowledge Graph Construction Using Large Language Models
- LLM-assisted Knowledge Graph Engineering: Experiments with ChatGPT
- ITERATIVE ZERO-SHOT LLM PROMPTING FOR KNOWLEDGE GRAPH CONSTRUCTION
- Exploring Large Language Models for Knowledge Graph Completion
Humanoid Agents
- HABITAT 3.0: A CO-HABITAT FOR HUMANS, AVATARS AND ROBOTS
- Humanoid Agents: Platform for Simulating Human-like Generative Agents
- Voyager: An Open-Ended Embodied Agent with Large Language Models
- Shaping the future of advanced robotics
- AUTORT: EMBODIED FOUNDATION MODELS FOR LARGE SCALE ORCHESTRATION OF ROBOTIC AGENTS
- ROBOTIC TASK GENERALIZATION VIA HINDSIGHT TRAJECTORY SKETCHES
- ALFWORLD: ALIGNING TEXT AND EMBODIED ENVIRONMENTS FOR INTERACTIVE LEARNING
- MINEDOJO: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
- LEGENT: Open Platform for Embodied Agents
pretrain_data & pretrain
- DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining
- The Pile: An 800GB Dataset of Diverse Text for Language Modeling
- CCNet: Extracting High Quality Monolingual Datasets fromWeb Crawl Data
- WanJuan: A Comprehensive Multimodal Dataset for Advancing English and Chinese Large Models
- CLUECorpus2020: A Large-scale Chinese Corpus for Pre-training Language Model
- In-Context Pretraining: Language Modeling Beyond Document Boundaries
- Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
- Zyda: A 1.3T Dataset for Open Language Modeling
- Entropy Law: The Story Behind Data Compression and LLM Performance
- Data, Data Everywhere: A Guide for Pretraining Dataset Construction
- Data curation via joint example selection further accelerates multimodal learning
- IMPROVING PRETRAINING DATA USING PERPLEXITY CORRELATIONS
- AI models collapse when trained on recursively generated data
领域模型SFT(domain_llms)
- Finanzen
- BloombergGPT： A Large Language Model for Finance
- FinVis-GPT: A Multimodal Large Language Model for Financial Chart Analysis
- CFGPT: Chinese Financial Assistant with Large Language Model
- CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model
- InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning
- BBT-Fin: Comprehensive Construction of Chinese Financial Domain Pre-trained Language Model, Corpus and Benchmark
- PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
- The FinBen: An Holistic Financial Benchmark for Large Language Models
- XuanYuan 2.0: A Large Chinese Financial Chat Model with Hundreds of Billions Parameters
- Towards Trustworthy Large Language Models in Industry Domains
- When AI Meets Finance (StockAgent): Large Language Model-based Stock Trading in Simulated Real-world Environments
- A Survey of Large Language Models for Financial Applications: Progress, Prospects and Challenges
- 生物医疗
- MedGPT: Medical Concept Prediction from Clinical Narratives
- BioGPT：Generative Pre-trained Transformer for Biomedical Text Generation and Mining
- PubMed GPT: A Domain-specific large language model for biomedical text
- ChatDoctor：Medical Chat Model Fine-tuned on LLaMA Model using Medical Domain Knowledge
- Med-PaLM：Large Language Models Encode Clinical Knowledge[V1,V2]
- SMILE: Single-turn to Multi-turn Inclusive Language Expansion via ChatGPT for Mental Health Support
- Zhongjing: Enhancing the Chinese Medical Capabilities of Large Language Model through Expert Feedback and Real-world Multi-turn Dialogue
- andere
- Galactia：A Large Language Model for Science
- Augmented Large Language Models with Parametric Knowledge Guiding
- ChatLaw Open-Source Legal Large Language Model
- MediaGPT : A Large Language Model For Chinese Media
- KITLM: Domain-Specific Knowledge InTegration into Language Models for Question Answering
- EcomGPT: Instruction-tuning Large Language Models with Chain-of-Task Tasks for E-commerce
- TableGPT: Towards Unifying Tables, Nature Language and Commands into One GPT
- LLEMMA: AN OPEN LANGUAGE MODEL FOR MATHEMATICS
- MEDITAB: SCALING MEDICAL TABULAR DATA PREDICTORS VIA DATA CONSOLIDATION, ENRICHMENT, AND REFINEMENT
- PLLaMa: An Open-source Large Language Model for Plant Science
- ADAPTING LARGE LANGUAGE MODELS VIA READING COMPREHENSION
LLM超长文本处理(long_input)
- 位置编码、注意力机制优化
- Unlimiformer: Long-Range Transformers with Unlimited Length Input
- Parallel Context Windows for Large Language Models
- 苏剑林, NBCE：使用朴素贝叶斯扩展LLM的Context处理长度
- Structured Prompting: Scaling In-Context Learning to 1,000 Examples
- Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
- Scaling Transformer to 1M tokens and beyond with RMT
- TRAIN SHORT, TEST LONG: ATTENTION WITH LINEAR BIASES ENABLES INPUT LENGTH EXTRAPOLATION
- Extending Context Window of Large Language Models via Positional Interpolation
- LongNet: Scaling Transformers to 1,000,000,000 Tokens
- https://kaiokendev.github.io/til#extending-context-to-8k
- 苏剑林,Transformer升级之路：10、RoPE是一种β进制编码
- 苏剑林,Transformer升级之路：11、将β进制位置进行到底
- 苏剑林,Transformer升级之路：12、无限外推的ReRoPE？
- 苏剑林,Transformer升级之路：15、Key归一化助力长度外推
- EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
- Ring Attention with Blockwise Transformers for Near-Infinite Context
- YaRN: Efficient Context Window Extension of Large Language Models
- LM-INFINITE: SIMPLE ON-THE-FLY LENGTH GENERALIZATION FOR LARGE LANGUAGE MODELS
- EFFICIENT STREAMING LANGUAGE MODELS WITH ATTENTION SINKS
- 上文压缩排序方案
- Lost in the Middle: How Language Models Use Long Contexts
- LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
- LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
- Learning to Compress Prompts with Gist Tokens
- Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering
- LongAgent: Scaling Language Models to 128k Context through Multi-Agent Collaboration
- PCToolkit: A Unified Plug-and-Play Prompt Compression Toolkit of Large Language Models
- Are Long-LLMs A Necessity For Long-Context Tasks?
- 训练和模型架构方案
- Never Train from Scratch: FAIR COMPARISON OF LONGSEQUENCE MODELS REQUIRES DATA-DRIVEN PRIORS
- Soaring from 4K to 400K: Extending LLM's Context with Activation Beacon
- Never Lost in the Middle: Improving Large Language Models via Attention Strengthening Question Answering
- Focused Transformer: Contrastive Training for Context Scaling
- Effective Long-Context Scaling of Foundation Models
- ON THE LONG RANGE ABILITIES OF TRANSFORMERS
- Efficient Long-Range Transformers: You Need to Attend More, but Not Necessarily at Every Layer
- POSE: EFFICIENT CONTEXT WINDOW EXTENSION OF LLMS VIA POSITIONAL SKIP-WISE TRAINING
- LONGLORA: EFFICIENT FINE-TUNING OF LONGCONTEXT LARGE LANGUAGE MODELS
- LongAlign: A Recipe for Long Context Alignment of Large Language Models
- Data Engineering for Scaling Language Models to 128K Context
- MEGALODON: Efficient LLM Pretraining and Inference with Unlimited Context Length
- Make Your LLM Fully Utilize the Context
- Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
- Effizienzoptimierung
- Efficient Attention: Attention with Linear Complexities
- Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention
- HyperAttention: Long-context Attention in Near-Linear Time
- FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness
- With Greater Text Comes Greater Necessity: Inference-Time Training Helps Long Text Generation
LLM长文本生成（long_output）
- Re3 : Generating Longer Stories With Recursive Reprompting and Revision
- RECURRENTGPT: Interactive Generation of (Arbitrarily) Long Text
- DOC: Improving Long Story Coherence With Detailed Outline Control
- Weaver: Foundation Models for Creative Writing
- Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
- Into the Unknown Unknowns: Engaged Human Learning through Participation in Language Model Agent Conversations
NL2SQL
- 大模型方案
- DIN-SQL: Decomposed In-Context Learning of Text-to-SQL with Self-Correction
- C3: Zero-shot Text-to-SQL with ChatGPT
- SQL-PALM: IMPROVED LARGE LANGUAGE MODEL ADAPTATION FOR TEXT-TO-SQL
- BIRD Can LLM Already Serve as A Database Interface? A BIg Bench for Large-Scale Database Grounded Text-to-SQL
- A Case-Based Reasoning Framework for Adaptive Prompting in Cross-Domain Text-to-SQL
- ChatDB: AUGMENTING LLMS WITH DATABASES AS THEIR SYMBOLIC MEMORY
- A comprehensive evaluation of ChatGPT's zero-shot Text-to-SQL capability
- Few-shot Text-to-SQL Translation using Structure and Content Prompt Learning
- Tool-Assisted Agent on SQL Inspection and Refinement in Real-World Scenarios
- Domain Knowledge Intensive
- Towards Knowledge-Intensive Text-to-SQL Semantic Parsing with Formulaic Knowledge
- Bridging the Generalization Gap in Text-to-SQL Parsing with Schema Expansion
- Towards Robustness of Text-to-SQL Models against Synonym Substitution
- FinQA: A Dataset of Numerical Reasoning over Financial Data
- Andere
- RESDSQL: Decoupling Schema Linking and Skeleton Parsing for Text-to-SQL
- MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL
主流LLMS和预训练
- GLM-130B: AN OPEN BILINGUAL PRE-TRAINED MODEL
- PaLM: Scaling Language Modeling with Pathways
- PaLM 2 Technical Report
- GPT-4 Technical Report
- Backpack Language Models
- LLaMA: Open and Efficient Foundation Language Models
- Llama 2: Open Foundation and Fine-Tuned Chat Models
- Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning
- OpenBA: An Open-sourced 15B Bilingual Asymmetric seq2seq Model Pre-trained from Scratch
- Mistral 7B
- Ziya2: Data-centric Learning is All LLMs Need
- MEGABLOCKS: EFFICIENT SPARSE TRAINING WITH MIXTURE-OF-EXPERTS
- TUTEL: ADAPTIVE MIXTURE-OF-EXPERTS AT SCALE
- Phi1- Textbooks Are All You Need
- Phi1.5- Textbooks Are All You Need II: phi-1.5 technical report
- Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
- Gemini: A Family of Highly Capable Multimodal Models
- In-Context Pretraining: Language Modeling Beyond Document Boundaries
- LLAMA PRO: Progressive LLaMA with Block Expansion
- QWEN TECHNICAL REPORT
- Fewer Truncations Improve Language Modeling
- ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
- Phi-4 Technical Report
- Byte Latent Transformer: Patches Scale Better Than Tokens
- Qwen2.5 Technical Report
- DeepSeek-V3 Technical Report
- Mixtral of Experts
Code Generation
- Code Generation with AlphaCodium: From Prompt Engineering to Flow Engineering
- Codeforces as an Educational Platform for Learning Programming in Digitalization
- Competition-Level Code Generation with AlphaCode
- CODECHAIN: TOWARDS MODULAR CODE GENERATION THROUGH CHAIN OF SELF-REVISIONS WITH REPRESENTATIVE SUB-MODULES
- AI Coders Are Among Us: Rethinking Programming Language Grammar Towards Efficient Code Generation
降低模型幻觉(reliability)
- Umfrage
- Large language models and the perils of their hallucinations
- Survey of Hallucination in Natural Language Generation
- Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models
- A Survey of Hallucination in Large Foundation Models
- A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
- Calibrated Language Models Must Hallucinate
- Why Does ChatGPT Fall Short in Providing Truthful Answers?
- Prompt or Tunning
- R-Tuning: Teaching Large Language Models to Refuse Unknown Questions
- PROMPTING GPT-3 TO BE RELIABLE
- ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS
- On the Advance of Making Language Models Better Reasoners
- RefGPT: Reference → Truthful & Customized Dialogues Generation by GPTs and for GPTs
- Rethinking with Retrieval: Faithful Large Language Model Inference
- GENERATE RATHER THAN RETRIEVE: LARGE LANGUAGE MODELS ARE STRONG CONTEXT GENERATORS
- Large Language Models Struggle to Learn Long-Tail Knowledge
- Decoding Strategy
- Trusting Your Evidence: Hallucinate Less with Context-aware Decoding
- SELF-REFINE:ITERATIVE REFINEMENT WITH SELF-FEEDBACK
- Enhancing Self-Consistency and Performance of Pre-Trained Language Models through Natural Language Inference
- Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
- Enabling Large Language Models to Generate Text with Citations
- Factuality Enhanced Language Models for Open-Ended Text Generation
- KL-Divergence Guided Temperature Sampling
- KCTS: Knowledge-Constrained Tree Search Decoding with Token-Level Hallucination Detection
- CONTRASTIVE DECODING IMPROVES REASONING IN LARGE LANGUAGE MODEL
- Contrastive Decoding: Open-ended Text Generation as Optimization
- Probing and Detection
- Automatic Evaluation of Attribution by Large Language Models
- QAFactEval: Improved QA-Based Factual Consistency Evaluation for Summarization
- Zero-Resource Hallucination Prevention for Large Language Models
- LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
- Language Models (Mostly) Know What They Know
- LM vs LM: Detecting Factual Errors via Cross Examination
- Do Language Models Know When They're Hallucinating References?
- SELFCHECKGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
- SELF-CONTRADICTORY HALLUCINATIONS OF LLMS: EVALUATION, DETECTION AND MITIGATION
- Self-consistency for open-ended generations
- Improving Factuality and Reasoning in Language Models through Multiagent Debate
- Selective-LAMA: Selective Prediction for Confidence-Aware Evaluation of Language Models
- Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs
- Reviewing and Calibration
- Truth-o-meter: Collaborating with llm in fighting its hallucinations
- RARR: Researching and Revising What Language Models Say, Using Language Models
- CRITIC: LARGE LANGUAGE MODELS CAN SELFCORRECT WITH TOOL-INTERACTIVE CRITIQUING
- VALIDATING LARGE LANGUAGE MODELS WITH RELM
- PURR: Efficiently Editing Language Model Hallucinations by Denoising Language Model Corruptions
- Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback
- Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Clashes
- Woodpecker: Hallucination Correction for Multimodal Large Language Models
- Zero-shot Faithful Factual Error Correction
- LARGE LANGUAGE MODELS CANNOT SELF-CORRECT REASONING YET
- Training Language Models to Self-Correct via Reinforcement Learning
大模型评估（evaluation）
- 事实性评估
- TRUSTWORTHY LLMS: A SURVEY AND GUIDELINE FOR EVALUATING LARGE LANGUAGE MODELS' ALIGNMENT
- TrueTeacher: Learning Factual Consistency Evaluation with Large Language Models
- TRUE: Re-evaluating Factual Consistency Evaluation
- FACTSCORE: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation
- KoLA: Carefully Benchmarking World Knowledge of Large Language Models
- When Not to Trust Language Models: Investigating Effectiveness of Parametric and Non-Parametric Memories
- FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios
- LONG-FORM FACTUALITY IN LARGE LANGUAGE MODELS
- 检测任务
- Detecting Pretraining Data from Large Language Models
- Scalable Extraction of Training Data from (Production) Language Models
- Rethinking Benchmark and Contamination for Language Models with Rephrased Samples
推理优化(inference)
- Fast Transformer Decoding: One Write-Head is All You Need
- Fast Inference from Transformers via Speculative Decoding
- GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
- Skeleton-of-Thought: Large Language Models Can Do Parallel Decoding
- SkipDecode: Autoregressive Skip Decoding with Batching and Caching for Efficient LLM Inference
- BatchPrompt: Accomplish more with less
- You Only Cache Once: Decoder-Decoder Architectures for Language Models
- XGrammar: Flexible and Efficient Structured Generation Engine for Large Language Models
- Precise Length Control in Large Language Models
- Top-nσ: Not All Logits Are You Need
- Prompt Cache: Modular Attention Reuse for Low-Latency Inference
模型知识编辑黑科技(model_edit)
- ROME：Locating and Editing Factual Associations in GPT
- Transformer Feed-Forward Layers Are Key-Value Memories
- MEMIT: Mass-Editing Memory in a Transformer
- MEND：Fast Model Editing at Scale
- Editing Large Language Models: Problems, Methods, and Opportunities
- Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
- Automata-based constraints for language model decoding
- SGLang: Efficient Execution of Structured Language Model Programs
模型合并和剪枝(model_merge)
- Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
- DARE Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch
- EDITING MODELS WITH TASK ARITHMETIC
- TIES-Merging: Resolving Interference When Merging Models
- LM-Cocktail: Resilient Tuning of Language Models via Model Merging
- SLICEGPT: COMPRESS LARGE LANGUAGE MODELS BY DELETING ROWS AND COLUMNS
- Checkpoint Merging via Bayesian Optimization in LLM Pretrainin
- Arcee's MergeKit: A Toolkit for Merging Large Language Models
MOE
- Tricks for Training Sparse Translation Models
- ST-MoE: Designing Stable and Transferable Sparse Expert Models
- Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
- GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
- GShard: Scaling Giant Models with Conditional Computation and Automatic Sharding
- OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
- DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
- Dense-to-Sparse Gate for Mixture-of-Experts
- Efficient Large Scale Language Modeling with Mixtures of Experts
Multimodal
- InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning
- Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Models
- LLava Visual Instruction Tuning
- MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models
- BLIVA: A Simple Multimodal LLM for Better Handling of Text-Rich Visual Questions
- mPLUG-Owl : Modularization Empowers Large Language Models with Multimodality
- LVLM eHub: A Comprehensive Evaluation Benchmark for Large VisionLanguage Models
- Mirasol3B: A Multimodal Autoregressive model for time-aligned and contextual modalities
- PaLM-E: An Embodied Multimodal Language Model
- TabLLM: Few-shot Classification of Tabular Data with Large Language Models
- AnyGPT: Unified Multimodal LLM with Discrete Sequence Modeling
- Sora tech report
- Towards General Computer Control: A Multimodal Agent for Red Dead Redemption II as a Case Study
- OCR
- Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
- Large OCR Model:An Empirical Study of Scaling Law for OCR
- ON THE HIDDEN MYSTERY OF OCR IN LARGE MULTIMODAL MODELS
- PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers
- Many-Shot In-Context Learning in Multimodal Foundation Models
- Adding Conditional Control to Text-to-Image Diffusion Models
- Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
- ShowUI: One Vision-Language-Action Model for GUI Visual Agent
Zusammenfassung
- A Survey of Large Language Models
- Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
- Paradigm Shift in Natural Language Processing
- Pre-Trained Models: Past, Present and Future
- What Language Model Architecture and Pretraining objects work best for zero shot generalization
- Towards Reasoning in Large Language Models: A Survey
- Reasoning with Language Model Prompting: A Survey
- An Overview on Language Models: Recent Developments and Outlook
- A Survey of Large Language Models[6.29更新版]
- Unifying Large Language Models and Knowledge Graphs: A Roadmap
- Augmented Language Models: a Survey
- Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey
- Challenges and Applications of Large Language Models
- The Rise and Potential of Large Language Model Based Agents: A Survey
- Large Language Models for Information Retrieval: A Survey
- AI Alignment: A Comprehensive Survey
- Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
- Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
- A Survey on Language Models for Code
- Model-as-a-Service (MaaS): A Survey
大模型能力探究
- In Context Learning
- LARGER LANGUAGE MODELS DO IN-CONTEXT LEARNING DIFFERENTLY
- How does in-context learning work? A framework for understanding the differences from traditional supervised learning
- Why can GPT learn in-context? Language Model Secretly Perform Gradient Descent as Meta-Optimizers
- Rethinking the Role of Demonstrations What Makes incontext learning work?
- Trained Transformers Learn Linear Models In-Context
- In-Context Learning Creates Task Vectors
- FUNCTION VECTORS IN LARGE LANGUAGE MODELS
- Fähigkeit zu entstehen
- Sparks of Artificial General Intelligence: Early experiments with GPT-4
- Emerging Ability of Large Language Models
- LANGUAGE MODELS REPRESENT SPACE AND TIME
- Are Emergent Abilities of Large Language Models a Mirage?
- 能力评估
- IS CHATGPT A GENERAL-PURPOSE NATURAL LANGUAGE PROCESSING TASK SOLVER?
- Can Large Language Models Infer Causation from Correlation?
- Holistic Evaluation of Language Model
- Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond
- Theory of Mind May Have Spontaneously Emerged in Large Language Models
- Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language Models
- Do Models Explain Themselves? Counterfactual Simulatability of Natural Language Explanations
- Demystifying GPT Self-Repair for Code Generation
- Evidence of Meaning in Language Models Trained on Programs
- Can Explanations Be Useful for Calibrating Black Box Models
- On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective
- Language acquisition: do children and language models follow similar learning stages?
- Language is primarily a tool for communication rather than thought
- 领域能力
- Capabilities of GPT-4 on Medical Challenge Problems
- Can Generalist Foundation Models Outcompete Special-Purpose Tuning? Case Study in Medicine
- Understanding LLM Embeddings for Regression
Prompt Tunning范式
- Tunning Free Prompt
- GPT2: Language Models are Unsupervised Multitask Learners
- GPT3: Language Models are Few-Shot Learners
- LAMA: Language Models as Knowledge Bases?
- AutoPrompt: Eliciting Knowledge from Language Models
- Fix-Prompt LM Tunning
- T5: Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
- PET-TC(a): Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference
- PET-TC(b): PETSGLUE It's Not Just Size That Matters Small Language Models are also few-shot learners
- GenPET: Few-Shot Text Generation with Natural Language Instructions
- LM-BFF: Making Pre-trained Language Models Better Few-shot Learners
- ADEPT: Improving and Simplifying Pattern Exploiting Training
- Fix-LM Prompt Tunning
- Prefix-tuning: Optimizing continuous prompts for generation
- Prompt-tunning: The power of scale for parameter-efficient prompt tuning
- P-tunning: GPT Understands Too
- WARP: Word-level Adversarial ReProgramming
- LM + Prompt Tunning
- P-tunning v2: Prompt Tuning Can Be Comparable to Fine-tunning Universally Across Scales and Tasks
- PTR: Prompt Tuning with Rules for Text Classification
- PADA: Example-based Prompt Learning for on-the-fly Adaptation to Unseen Domains
- Fix-LM Adapter Tunning
- LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
- LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning
- Parameter-Efficient Transfer Learning for NLP
- INTRINSIC DIMENSIONALITY EXPLAINS THE EFFECTIVENESS OF LANGUAGE MODEL FINE-TUNING
- DoRA: Weight-Decomposed Low-Rank Adaptation
- Representation Tuning
- ReFT: Representation Finetuning for Language Models
Timeseries LLM
- TimeGPT-1
- Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook
- TIME-LLM: TIME SERIES FORECASTING BY REPROGRAMMING LARGE LANGUAGE MODELS
- Large Language Models Are Zero-Shot Time Series Forecasters
- TEMPO: PROMPT-BASED GENERATIVE PRE-TRAINED TRANSFORMER FOR TIME SERIES FORECASTING
- Generative Pre-Training of Time-Series Data for Unsupervised Fault Detection in Semiconductor Manufacturing
- Lag-Llama: Towards Foundation Models for Time Series Forecasting
- PromptCast: A New Prompt-based Learning Paradigm for Time Series Forecasting
Quanization
- AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration
- LLM-QAT: Data-Free Quantization Aware Training for Large Language Models
- LLM.int8() 8-bit Matrix Multiplication for Transformers at Scale
- SmoothQuant Accurate and Efficient Post-Training Quantization for Large Language Models
Adversarial Attacking
- Curiosity-driven Red-teaming for Large Language Models
- Red Teaming Language Models with Language Models
- EXPLORE, ESTABLISH, EXPLOIT: RED-TEAMING LANGUAGE MODELS FROM SCRATCH
对话模型
- LaMDA: Language Models for Dialog Applications
- Sparrow: Improving alignment of dialogue agents via targeted human judgements
- BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage
- How NOT To Evaluate Your Dialogue System: An Empirical Study of Unsupervised Evaluation Metrics for Dialogue Response Generation
- DialogStudio: Towards Richest and Most Diverse Unified Dataset Collection for Conversational AI
- Enhancing Chat Language Models by Scaling High-quality Instructional Conversations
- DiagGPT: An LLM-based Chatbot with Automatic Topic Management for Task-Oriented Dialogue
Andere
- Pretraining on the Test Set Is All You Need 哈哈作者你是懂讽刺文学的
- Learnware: Small Models Do Big
- The economic potential of generative AI
- A PhD Student's Perspective on Research in NLP in the Era of Very Large Language Models
