Pratik Agrawal

I got curious about the text generation capabilities of ChatGPT on indian languages. My hyposthesis is these Large Language Models while excellent for text generation in English language, may not work that great on indian languages.

I asked ChatGPT to write a simple non-technical blog post about LLMs. below you can find the prompt and the responses.

Prompt I need to write a blog article explaining large language models in gujarati language. can you help me write the initial version of it? don’t go into technical details, assume all readers are non technical persons and school kids. include points like how LLMs could be used in everyday work, in school etc.

Responses

Gujarati

મોટા ભાષાના મોડેલો (Large Language Models) કંપ્યુટર પરિસરમાં વિસ્તારપૂર્વક ટ્રેન કરેલા એક સોફ્ટવેર એજન્જિન છે. આપણે જ્યારે કોઈ પણ વાક્ય કોમ્પ્યુટર માટે અનુવાદ કરવા માંગીએ છીએ ત્યારે મોટા ભાષાના મોડેલો એ આપણા વાક્ય નૂંખે અનુવાદ કરી શકે છે. તેમની સાથે સંપૂર્ણ પૂર્વાનુભવની આધારે આપણે વિવિધ પ્રકારના કાર્યો કરી શકીએ. મોટા ભાષાના મોડેલો દ્વારા આપ અને આપના બાળકો વિવિધ કાર્યો કરી શકો છો. જેમ કે કોમ્પ્યુટર સોફ્ટવેર ડેવલપમેન્ટ, વિવરણ, લોગિન પ્રવૃત્તિ, વિદ્યાર્થીઓ ને શિક્ષણ અને અન્ય સંબ

Another Example Prompt:i want to explain about transformers architecture of large language models and how they work to my mother who is not from computer science. she doesn’t speak english. she only speaks gujarati. can you help?

*બિલ્કુલ, મારી મદદ કરવા માટે હું આનંદી છું. તમારી માતાઓને ટ્રાન્સફોર્મર આર્કિટેક્ચર અને તેમ કેવી રીતે કામ કરે છે વિશે વાત કરવા માટે, તેમને અમુક સરળ રાહે બતાવો.

ટ્રા* [It stops generating any text after this, notice the grammatical mistakes.]

Hindi

लार्ज लैंग्वेज मॉडल (Large Language Models) एक कंप्यूटर सॉफ्टवेयर इंजन होते हैं जो कम्प्यूटर पर विस्तृत रूप से ट्रेन किए जाते हैं। जब आप किसी वाक्य का अनुवाद करवाना चाहते हैं तब लार्ज लैंग्वेज मॉडल आपके वाक्य का अनुवाद कर सकते हैं। आप इन्हें अपने अनुभव के आधार पर विभिन्न कार्यों के लिए उपयोग कर सकते हैं। लार्ज लैंग्वेज मॉडल आपको और आपके बच्चों को विभिन्न कार्यों के लिए उपयोग करने में मदद कर सकते हैं। उदाहरण के लिए, कंप्यूटर सॉफ्टवेयर डेवलपमेंट, विवरण, लॉगिन कार्य आदि के लिए लार्ज लैंग्वेज मॉडल का उपयोग किया जा सकता है। इसके साथ ही, लार्ज लैंग्वेज मॉडल विद्यार्थियों को अधिक संवेदनशील बनाते हैं। आप इन्हें शिक्षा और अन्य सामग्री के लिए भी उपयोग कर सकते हैं। वे अपने वाक्य और शब्दों का उपयोग करके और अधिक सुविधा से विवरण और अन्य सामग्री समझ सकते हैं। यदि आ

Tamil

பெரிய மொழி மாதிரி மாதிரி (Large Language Models) என்பவை கணினி மென்பொருள் இயந்திரத்தின் விஸ்தீரமான வகையான தொகுப்பில் பயிற்சி பெற்று கொண்டு உருவாக்கப்படுகின்றன. உங்கள் வாக்கியத்தை மொழிபெயர்ப்பதன் மூலம் மற்றொரு மொழிக்கு மாற்றம் செய்ய பெரிய மொழி மாதிரிகள் உதவலாம். பெரிய மொழி மாதிரிகள் நீங்கள் உங்கள் அனுபவத்தின் அடிப்படையில் வெவ்வேறு செயல்களுக்கு பயன்படுத்த முடியும். பெரிய மொழி மாதிரிகள் உங்கள் மக்களுக்கு பல வேலைகளில் உதவலாம். எம்பெட்டை மென்பொருள் மேம்படுத்தும், புள்ளி விவரங்கள் செயல்முறைகள் போன்ற முன்னேற்றங்களுக்கு பெரிய மொழி மாதிரியை பயன்படுத்தலாம். இது தலைப்பு மாணவர்களை அதிக உணர

Kannada

ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು (Large Language Models) ಎಂದರೆ ಕಂಪ್ಯೂಟರ್ ಸಾಧನಗಳಲ್ಲಿ ವಿಸ್ತೃತವಾದ ವಿಧವಿಧವಾದ ಸ್ವರೂಪಗಳು. ಈ ಮಾದರಿಗಳು ನೀವು ನುಡಿದ ಮಾತುಗಳನ್ನು ಭಾಷಾಂತರಿಸುವಲ್ಲಿ ನಿಮಗೆ ಸಹಾಯ ಮಾಡಬಹುದು. ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು ವಿವಿಧ ಕಾರ್ಯಗಳಿಗೆ ಉಪಯೋಗಿಸಬಹುದು.ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು ಜನರಿಗೆ ದಿನನಿತ್ಯದ ಕಾರ್ಯದಲ್ಲಿ ಸಹಾಯ ಮಾಡಬಹುದು. ಅಂಶಗಳನ್ನು ಹೇಗೆ ಪ್ರತಿನಿಧಿಸಬೇಕೆಂಬುದು, ಸ್ಪಾಮ್ ಫಿಲ್ಟರ್, ಸುದ್ದಿಯ ವಿವರಗಳನ್ನು ವಿವರವಾಗಿ ವಿಶ್ಲೇಷಿಸಲು ಅವಕಾಶವನ್ನು ಕೊಡುವುದು ಮತ್ತು ಇತರ ಕಾರ್ಯಕಲಾಪಗಳಿಗೆ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳು ಉಪಯೋಗಿಸಲು ಸಾಧ

Telugu

పెద్ద భాషా మాడల్స్ (Large Language Models) అనేవి కంప్యూటర్ సాధనంలో ఒక వైశాల్యం ఉండే విధము. మీ వాక్యాన్ని భాషాంతరించడానికి పెద్ద భాషా మాడల్స్ మీకు సహాయం చేస్తాయి. పెద్ద భాషా మాడల్స్ మీ అనుభవాన్ని ఆధారంగా విభిన్న కార్యాలకు ఉపయోగించడం సాధ్యం.పెద్ద భాషా మాడల్స్ మీ ప్రజలకు వేలైలో సహాయం చేయవచ్చు. ఎమ్బెడ్ మెంట్, స్పామ్ ఫిల్టర్లను అద్దంపడిస్తుంది, సమాచారాన్ని వివరాలతో తీవ్రంగా విశ్లేషించడానికి అవకాశం కల్పించడం మరియు ఇతర కార్యకలాపాలకు పెద్ద భాషా మాడల్స్ ఉపయోగించవచ్

Malyalam

വലുപ്പത്തിന്റെ ഭാഷാ മോഡലുകൾ (Large Language Models) എന്നാൽ കമ്പ്യൂട്ടർ ഉപകരണങ്ങളിൽ വ്യാപകമായ വിഭവങ്ങൾ. ഇവ നിങ്ങളുടെ പറഞ്ഞ വാക്കുകൾ ഭാഷാ പരിഭാഷ ചെയ്യുവാൻ നിങ്ങൾക്ക് സഹായിക്കാം. വലുപ്പത്തിന്റെ ഭാഷാ മോഡലുകൾ എല്ലാവരും ഉപയോഗിക്കാവുന്ന വിഭവങ്ങൾക്ക് പിന്തുണയുകയും ചെയ്യും.വലുപ്പത്തിന്റെ ഭാഷാ മോഡലുകൾ പ്രത്യേകിച്ചും ദിവസനിത്യ പദ്ധതികളിൽ സഹായകമാകും. അംശങ്ങൾ എങ്ങനെ പ്രതിനിധിക്കണമെന്ന് അറിയേണ്ടത്, സ്പാം ഫിൽട്ടർ, വാർത്താ വിവരങ്ങൾ വിശകലനം ചെയ്യാൻ അവകാശപ്പെടുന്ന സാധ്യതകൾ, മറ്റ് കാര്യങ്ങളിലെ വലുപ്പ

Please note that i have no knowledge of Tamil, Telugu, Kannada and Malyalam. But looking at the Gujarati and Hindi response, it is fair to assume that it doesn’t work that well for these languages.

I also tried English and one European Language German [i speak a little bit of german] for comparitive analysis.

English Large Language Models (LLMs) are extensive computational tools that have the ability to process a vast range of functions in the English language. They can be utilized to help you translate your words into another language with accuracy and speed. LLMs can benefit people from all walks of life and professions. One of the practical uses of LLMs is in everyday tasks. It can be useful for tasks such as email composition, writing reports, and creating content for various purposes. Large language models can be used to analyze, organize, and present information in an effective way. In the field of education, LLMs can help students and teachers. For example, teachers can use LLMs to assess their student’s writing skills, while students can utilize LLMs to improve their writing by generating automatic suggestions and corrections. In addition, LLMs can also be used for tasks such as sentiment analysis, spam filtering, news analysis, and much more. With the growth and advancement of technology, LLMs will continue to revolutionize the way we interact with the English language in our daily lives.

German Große Sprachmodelle (LLMs) sind umfangreiche computergestützte Werkzeuge, die in der Lage sind, eine Vielzahl von Funktionen in der deutschen Sprache zu verarbeiten. Sie können verwendet werden, um Ihre Worte mit Genauigkeit und Geschwindigkeit in eine andere Sprache zu übersetzen. LLMs können Menschen aus allen Lebensbereichen und Berufen zugutekommen.Eine praktische Anwendung von LLMs ist im Alltag. Sie können beispielsweise bei Aufgaben wie E-Mail-Komposition, Schreiben von Berichten und Erstellen von Inhalten für verschiedene Zwecke nützlich sein. Große Sprachmodelle können genutzt werden, um Informationen effektiv zu analysieren, zu organisieren und zu präsentieren. Im Bereich der Bildung können LLMs Lehrern und Schülern helfen. Lehrer können LLMs beispielsweise nutzen, um die Schreibfähigkeiten ihrer Schüler zu bewerten, während Schüler LLMs verwenden können, um ihre Schreibfähigkeiten zu verbessern, indem automatische Vorschläge und Korrekturen generiert werden.Darüber hinaus können LLMs auch für Aufgaben wie Stimmungsanalyse, Spam-Filterung, Nachrichtenanalyse und vieles mehr eingesetzt werden. Mit dem Wachstum und Fortschritt der Technologie werden LLMs weiterhin die Art und Weise revolutionieren, wie wir in unserem täglichen Leben mit der deutschen Sprache interagieren.

Below is a table describing the capabilities of the GPT-4 model for 22 official Indian languages, rated on a scale of 1 to 10 based on various Evaluation criteria (as self reported by ChatGPT (model GPT-4)):

• Quality of generated text: Fluency, coherence, and grammatical correctness of the generated text.
• Vocabulary: Breadth and depth of vocabulary used in the generated text.
• Idiomatic expressions: Ability to use idiomatic expressions and understand the nuances of the language.
• Comprehension: Ability to comprehend user inputs and provide contextually appropriate responses.
• Data availability: The amount and quality of training data available for each language.

It is clear for this prompt that ChatGPT performs poorly on select Indian languages compared to English and European Language German.

Possible reasons could be the model was not trained on enough Indian language data. However, more systematic and scientific evaluation should be performed for pointing out different aspects of performance.