LLM Course

0. Configurare

1. Modele Transformer

2. Folosirea 🤗 Transformers

3. Fine-tuning unui model preantrenat

4. Partajarea modelelor și a tokenizatoarelor

5. Biblioteca 🤗 Datasets

6. Biblioteca 🤗 Tokenizers

7. Sarcini clasice NLP

Introducere Clasificarea tokenilor Fine-tuningul unui model de limbaj mascat Traducere Sumarizare Antrenarea de la zero a unui model de limbaj cauzal Răspuns la întrebări Înțelegerea LLM-urilor Quiz de sfârșit de capitol

8. Cum să ceri ajutor

9. Construirea și partajarea demo-urilor

10. Curățați seturi de date de înaltă calitate

11. Fine-tuning pentru modele mari de limbaj

12. Construiește Modele de Raționament new

Evenimente Curs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Pytorch TensorFlow

Quiz de sfârșit de capitol

Să testăm ce ați învățat în acest capitol!

1. Care dintre următoarele sarcini pot fi încadrate ca o problemă de clasificare a tokenilor?

Găsirea componentelor gramaticale ale unei propoziții. Verificarea dacă o propoziție este corectă gramatical sau nu. Găsirea persoanelor menționate într-o propoziție. Găsirea grupul de cuvinte dintr-o propoziție care răspunde la o întrebare.

2. Ce parte a preprocesării pentru clasificarea tokenilor diferă de celelalte pipelineuri de preprocesare?

Nu este nevoie să faceți nimic; textele sunt deja tokenizate. Textele sunt date sub formă de cuvinte, astfel încât trebuie să aplicăm doar tokenizarea sub-cuvintelor. Folosim -100 pentru a eticheta tokenii speciali. Trebuie să ne asigurăm că labelurile sunt trunchiate sau padded la aceeași dimensiune ca și inputurile, atunci când aplicăm trunchierea/paddingul.

3. Ce problemă apare atunci când tokenizăm cuvintele într-o problemă de clasificare a tokenilor și dorim să etichetăm tokenii?

Tokenizerul adaugă tokeni speciali și nu avem labeluri pentru ele. Fiecare cuvânt poate produce mai mulți tokeni, astfel încât ajungem să avem mai multe tokeni decât labeluri. Tokenii adăugați nu au etichete, deci nu există nicio problemă.

4. Ce înseamnă “domain adaptation”??

Este atunci când rulăm un model pe un dataset și obținem predicțiile pentru fiecare sample din acel dataset. Este atunci când antrenăm un model pe un dataset. Este atunci când facem fine-tune unui model preantrenat pe un nou dataset, iar acesta oferă predicții care sunt mai bine adaptate la datasetul respectiv Este atunci când adăugăm sampleuri neclasificate la un dataset pentru a face modelul nostru mai robust.

5. Ce sunt labelurile într-o problemă de modelare a limbajului mascat?

Unii dintre tokenii din propoziția de intrare sunt mascate aleatoriu, iar labelurile sunt tokenii de input originali. Unii dintre tokenii din propoziția de intrare sunt mascate aleatoriu, iar labelurile sunt tokenii de input originali, deplasate spre stânga. Unele dintre tokenii din propoziția de intrare sunt mascate aleatoriu, iar labelul este dacă propoziția este pozitivă sau negativă. Unii dintre tokenii din cele două propoziții de intrare sunt mascate aleatoriu, iar labelul este dacă cele două propoziții sunt similare sau nu.

6. Care dintre aceste sarcini poate fi văzută ca o problemă de sequence-to-sequence?

Scrierea de recenzii scurte ale documentelor lungi Răspunderea întrebărilor despre un document Traducerea unui text din chineză în engleză Corectarea mesajelor trimise de nepotul/prietenul meu pentru ca acestea să fie în limba engleză, scrise gramatical

7. Care este modalitatea corectă de preprocesare a datelor pentru o problemă de sequence-to-sequence?

Inputurile și targeturile trebuie trimise împreună la tokenizer cu inputs=... și targets=.... Inputurile și targeturile trebuie preprocesate, în două apeluri separate către tokenizer. Ca de obicei, trebuie doar să tokenizăm inputurile. Inputurile trebuie să fie trimise către tokenizer, la fel și targeturile, dar în cadrul unui manager de context special.

8. De ce există o subclasă specifică a Trainer pentru problemele sequence-to-sequence?

Deoarece problemele de sequence-to-sequence utilizează o pierdere personalizată, pentru a ignora labelurile setate la -100 Deoarece problemele de sequence-to-sequence la secvență necesită o buclă de evaluare specială Deoarece targeturile sunt texte în probleme sequence-to-sequence Deoarece folosim două modele în problemele sequence-to-sequence

10. Când ar trebui să preantrenați un model nou?

Atunci când nu există un model preantrenat disponibil pentru limba dorită. Atunci când aveți o mulțime de date disponibile, chiar dacă există un model preantrenat care ar putea funcționa pe ele Atunci când aveți îndoieli cu privire la biasul modelului preantrenat pe care îl utilizați Atunci când modelele preantrenate disponibile nu sunt suficient de bune

11. De ce este ușor să preantrenăm un model lingvistic pe o mulțime de texte?

Deoarece există o mulțime de texte disponibile pe internet Deoarece obiectivul de preantrenare nu necesită ca oamenii să eticheteze datele Deoarece biblioteca 🤗 Transformers necesită doar câteva linii de cod pentru a începe antrenarea

12. Care sunt principalele provocări la preprocesarea datelor pentru o sarcină de răspundere a întrebărilor?

Trebuie să tokenizați inputurile. Trebuie să aveți de-a face cu contexte foarte lungi, care oferă mai multe caracteristici de antrenare care pot sau nu să conțină răspunsul. Trebuie să tokenizați răspunsurile la întrebări, precum și inputurile. Din intervalul răspunsului din text, trebuie să găsiți tokenul de început și de sfârșit în inputul tokenizat.

13. Cum se face de obicei post-procesarea în răspunderea la întrebări?

Modelul vă oferă pozițiile de început și de sfârșit ale răspunsului, iar voi trebuie doar să decodificați intervalul corespunzător de tokeni. Modelul vă oferă pozițiile de început și de sfârșit ale răspunsului pentru fiecare caracteristică creată de un exemplu, iar voi trebuie doar să decodificați intervalul corespunzător de tokeni în cel care are cel mai bun scor. Modelul vă oferă pozițiile de început și de sfârșit ale răspunsului pentru fiecare caracteristică creată de un exemplu, iar voi trebuie doar să le potriviți cu intervalul din context pentru cel care are cel mai bun scor. Modelul generează un răspuns, iar tu trebuie doar să îl decodifici.

Update on GitHub

←Înțelegerea LLM-urilor

Next chapter

Quiz de sfârșit de capitol 1. Care dintre următoarele sarcini pot fi încadrate ca o problemă de clasificare a tokenilor? 2. Ce parte a preprocesării pentru clasificarea tokenilor diferă de celelalte pipelineuri de preprocesare? 3. Ce problemă apare atunci când tokenizăm cuvintele într-o problemă de clasificare a tokenilor și dorim să etichetăm tokenii? 4. Ce înseamnă “domain adaptation”?? 5. Ce sunt labelurile într-o problemă de modelare a limbajului mascat? 6. Care dintre aceste sarcini poate fi văzută ca o problemă de sequence-to-sequence? 7. Care este modalitatea corectă de preprocesare a datelor pentru o problemă de sequence-to-sequence? 8. De ce există o subclasă specifică a Trainer pentru problemele sequence-to-sequence? 9. De ce este adesea inutil să se specifice o pierdere atunci când se apelează compile() pe un model Transformer? 10. Când ar trebui să preantrenați un model nou? 11. De ce este ușor să preantrenăm un model lingvistic pe o mulțime de texte? 12. Care sunt principalele provocări la preprocesarea datelor pentru o sarcină de răspundere a întrebărilor? 13. Cum se face de obicei post-procesarea în răspunderea la întrebări?