Avoid conversion of consonant virama to chillus in some cases

പിഡബ്ള്യൂഡി, ബാറ്റ്സ്മാൻ

Author: kavyamanohar

libindic/normalizer/rules/normalizer.ml.yaml

@@ -52,8 +52,8 @@ common_mistakes: # Regex patterns for common mistakes in Malayalam raw corpus, A
   '\u200B': ''  # Remove all Zero Width space characters
   '\u00AD': ''  # Remove all soft hyphen characters
   'ര്(?![\s{PUNCTUATION}]|യ|$)': 'ർ'  # Replace ര് with ർ when not at word end, string end and not followed by യ
-  'റ്(?![\s{PUNCTUATION}\u200c]|യ|വ|ല|ര|റ|$)': 'ർ'  # Replace റ് with ർ when not at word end, string end and not followed by റ, ര, വ, ല, യ
-  'ള്(?![\s{PUNCTUATION}]|ള|$)': 'ൾ'  # Replace ള് with ൾ when not at word end, string end and not followed by ള
+  '(?<!റ്)റ്(?![\s{PUNCTUATION}\u200c]|യ|വ|ല|ര|റ|$)': 'ർ'  # Replace റ് with ർ when not at word end, string end and not followed by റ, ര, വ, ല, യ and not preceded by റ
+  'ള്(?![\s{PUNCTUATION}]|ള|യ|$)': 'ൾ'  # Replace ള് with ൾ when not at word end, string end and not followed by ള
   'ദു:ഖ': 'ദുഃഖ'  # Common Mistake
   'നമ:': 'നമഃ'  # Common Mistake
   '(^|\s)ാ': '\1ആ'               # Map vowel sign "ാ" to "ആ" at the beginning of a word

libindic/normalizer/tests/test_normalizer.py

@@ -60,6 +60,9 @@ def test_normalize(self):
         self.assertEqual(normalize('കാറ്-'), 'കാറ്')
         self.assertEqual(normalize('കാറ് '), 'കാറ് ')
         self.assertEqual(normalize('കാറ്റ്'), 'കാറ്റ്')
+        self.assertEqual(normalize('മീറ്ററിൽ'), 'മീറ്ററിൽ')
+        self.assertEqual(normalize('പിഡബ്ള്യൂഡി'), 'പിഡബ്ള്യൂഡി')     
+        self.assertEqual(normalize('ബാറ്റ്സ്മാൻ'), 'ബാറ്റ്സ്മാൻ')
         self.assertEqual(normalize('അൽഭുതം അത്ഭുതം ചികിൽസാപിഴവ്', remove_punctuations=False), "അദ്ഭുതം അദ്ഭുതം ചികിത്സാപിഴവ്")
         self.assertEqual(normalize('ദു:ഖത്തിന്റെ–'), 'ദുഃഖത്തിന്റെ')
         self.assertEqual(normalize('ദു:ഖത്തിന്റെ-', remove_punctuations=False),