urdu_ghazals_rekhta

El conjunto de datos está organizado como autores-> [EN, UR, HI] -> GHAZALS/POEMS

[es, ur, hola] indica la traducción del inglés y urdu, texto hindi

¿Por qué es esto interesante? Urdu es un lenguaje de bajo recurso en PNL. En comparación con el inglés, que podría tener cientos de miles de artículos flotando en Internet, no hay mucho contenido para el urdu, para capacitar a los modelos de idiomas de ML.

Ghazal es una forma de poesía popular en el sur de Asia.

En términos de PNL , proporciona posibilidades interesantes para futuras pruebas de modelos de idiomas.

Fuente: https://en.wikipedia.org/wiki/ghazal

• El Ghazal es un poema corto que consiste en pareadores de rima, llamados Sher o Bayt.
• La mayoría de los ghazals tienen entre siete y doce sheres. Para que un poema se considere un verdadero Ghazal, debe tener no menos de cinco pareados.
• Casi todos los ghazals se limitan a menos de quince pareados (los poemas que exceden esta longitud se consideran con mayor precisión como Qasidas). Los pareadores de Ghazal terminan con el mismo patrón de rima y se espera que tengan el mismo medidor.
• La singularidad del Ghazal surge de sus reglas de rima y estante, denominadas 'qaafiyaa' y 'radif' respectivamente.
• Cada Sher es autónomo e independiente de los demás, que contiene la expresión completa de una idea.

Quiero resaltar un punto importante en este momento. 4 MB de datos de texto no es nada comparado con lo que realmente necesitan los modelos basados ​​en transformadores.

Common Crawl DataSet es un repositorio gigante de datos de texto libre en más de 40 idiomas. Si realmente desea entrenar un modelo de transformador desde cero, necesitaría datos en orden de millones de archivos de texto. Y para eso sería mejor comenzar con una de estas herramientas de big data.

=================================================

Todos los créditos de datos pertenecen al maravilloso trabajo realizado por la Fundación Rekhta . Enlace: https://www.rekhta.org/

Los datos se han analizado en la traducción de urdu, hindi e inglés gracias a su excelente página web. Considere apoyarlos por su gran trabajo para impulsar el idioma urdu.

Créditos a estos autores por sus maravillosas creaciones originales:

'Mirza-Ghalib', 'Allama-iqbal', 'Faiz-Ahmad-Faiz', 'Sahir-Ludhianvi', 'Meer-Taqi-Meer', 'Dagh-Dehlvi', 'Kaifi-Azmi', 'Gulzar', 'Bahadur-Shah-Zafar', 'Parveen-hakir',, 'Jaan-Nisar-Akhtar', 'Javed-Akhtar', 'Jigar-Moradabadi', 'Jaun-Eliya', 'Ahmad-Faraz', 'Meer-Aanes', 'Mohsin-naqvi', 'Firaq-Gorakhpuri', 'Fahmida-Riaz', 'Wali-Mohammad-Wali', 'Waseem-Barelvi', 'Akbar-Allahabadi', 'Altaf-Hussain-Hali', 'Ameer-Khusrau', 'Naji-Shakir', 'Naseer-Turabi', 'Nazm-TabataBai', 'Nida-Fazli', 'Noon-Meem-Rashid', 'Haabib-Jalib'

=================================================

Si desea extender el tamaño de este conjunto de datos, haga una bifurcación de este repositorio. Hay un margen de mejora porque actualmente este análisis simple solo mira una lista de autores curados a mano. Puede haber mejores formas de automatizar la tarea.