diff --git a/README.rst b/README.rst index 21373ba7..21c238ac 100644 --- a/README.rst +++ b/README.rst @@ -217,6 +217,7 @@ Features ja Japanese ko Korean lt Lithuanian + lv Latvian mk Macedonian nb Norwegian (Bokmål) nl Dutch diff --git a/docs/index.rst b/docs/index.rst index 111ae633..0e09b18a 100644 --- a/docs/index.rst +++ b/docs/index.rst @@ -214,6 +214,7 @@ Features ja Japanese ko Korean lt Lithuanian + lv Latvian mk Macedonian nb Norwegian (Bokmål) nl Dutch diff --git a/docs/user_guide/quickstart.rst b/docs/user_guide/quickstart.rst index 24fe07b6..4a79e53b 100644 --- a/docs/user_guide/quickstart.rst +++ b/docs/user_guide/quickstart.rst @@ -291,3 +291,4 @@ of popular news source urls.. In case you need help choosing a news source! ja Japanese be Belarusian lt Lithuanian + lv Latvian diff --git a/newspaper/resources/text/stopwords-lv.txt b/newspaper/resources/text/stopwords-lv.txt new file mode 100644 index 00000000..28ff14e7 --- /dev/null +++ b/newspaper/resources/text/stopwords-lv.txt @@ -0,0 +1,168 @@ +aiz +ap +apakš +apakšpus +ar +arī +augšpus +bet +bez +bija +biji +biju +bijām +bijāt +būs +būsi +būsiet +būsim +būt +būšu +caur +citu +diemžēl +diezin +droši +dēļ +esam +esat +esi +esmu +gan +gar +iekam +iekams +iekām +iekāms +iekš +iekšpus +ik +ir +it +itin +iz +ja +jau +jeb +jebšu +jel +jo +jā +ka +kamēr +kaut +kolīdz +kopš +kā +kļuva +kļuvi +kļuvu +kļuvām +kļuvāt +kļūs +kļūsi +kļūsiet +kļūsim +kļūst +kļūstam +kļūstat +kļūsti +kļūstu +kļūt +kļūšu +kuram +kurš +kuru +kur +labad +lai +lejpus +līdz +līdzko +ne +nebūt +nedz +nekā +nevis +nezin +no +nu +nē +otrpus +pa +par +pat +pats +pie +pirms +pret +priekš +pār +pēc +starp +tad +tak +tapi +taps +tapsi +tapsiet +tapsim +tapt +tapāt +tapšu +taču +te +tiec +tiek +tiekam +tiekat +tieku +tik +tika +tikai +tiki +tikko +tiklab +tiklīdz +tiks +tiksiet +tiksim +tikt +tiku +tikvien +tikām +tikāt +tikšu +tomēr +topat +toties +turpretim +turpretī +tā +tādēļ +tālab +tāpēc +un +uz +vai +var +varat +varēja +varēji +varēju +varējām +varējāt +varēs +varēsi +varēsiet +varēsim +varēt +varēšu +vien +virs +virspus +vis +viņpus +zem +ārpus +šaipus \ No newline at end of file diff --git a/newspaper/utils.py b/newspaper/utils.py index bfa44148..86cfb675 100644 --- a/newspaper/utils.py +++ b/newspaper/utils.py @@ -376,6 +376,7 @@ def print_available_languages(): 'ja': 'Japanese', 'ko': 'Korean', 'lt': 'Lithuanian', + 'lv': 'Latvian', 'mk': 'Macedonian', 'nb': 'Norwegian (Bokmål)', 'nl': 'Dutch', diff --git a/tests/data/html/latvian_article.html b/tests/data/html/latvian_article.html new file mode 100644 index 00000000..aed6001c --- /dev/null +++ b/tests/data/html/latvian_article.html @@ -0,0 +1,624 @@ + + + + + + + + Norvēģijā pēc zemes nogruvuma pieci bojāgājušie + / Raksts / LSM.lv + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + + +
+ + + + + + + +
+
+
+
+
+ +
+
+

Svētdiena, 3. janvāris

+

Vārda dienas: Ringolds, Miervalda, Miervaldis

+
+
+ +
+
+
+
+ +
+
+
+ +
+ Latvijas Sabiedriskie Mediji
+
+ +
+
+   +
+
+ Rīgā mākoņains +-2 °C, D vējš, 1,50m/s +
+
+
+
+ + + + +
+ +
+
+
+
+
+
+ +
+
+
+ +
+ + Svarīgi + + +
+
+
+
+ +
+
+
+
+ + Sadaļas + + +
+
+
+
+
+ + +
+
+
+ + + +
+
+ +
+
+ +
+ +
+
+ +
+
+
+
Zemes nogruvums Askā, Norvēģijā, 2021.gada janvāris
Foto: REUTERS, NTB
+
+
+

Norvēģijā pēc zemes nogruvuma pieci bojāgājušie +

+ +
+
+
+ Šodien, 17:40
+
+ Pasaulē +
+ + +
+ Autori: + Anna Ūdre (LTV Ziņu dienesta ārzemju ziņu redaktore)
+
+ +
+ +
+ Norvēģijas glābšanas komanda četras dienas pēc tam, kad zemes nogruvums apraka vairākas mājas Askas ciematā, atradusi piekto bojāgājušo.  Vēl pieci cilvēki, tostarp divi bērni, joprojām tiek meklēti.
+ +
+

Naktī uz trešdienu Jerdrumas pašvaldības administratīvajā centrā Askā, kas atrodas apmēram 25 kilometrus uz ziemeļaustrumiem no galvaspilsētas Oslo, notika masīvs zemes nogruvums.

+ +

Tas sev līdzi parāva vairākas mājas, dažas palika tieši uz kraujas malas.

+ +

Glābšanas darbus, kas vēl joprojām turpinās, apgrūtina nestabila grunts, slikti laika apstākļi un ierobežots dienasgaismas stundu skaits. Tiek izmantoti siltumjutīgi bezpilota lidaparāti, helikopteri un glābšanas suņi.

+ +

Nogruvuma rezultātā izveidojusies dziļa, 700 metrus gara un 300 metrus plata grava ar stāvām malām. Evakuēti vairāk nekā tūkstoš ciemata iedzīvotāji, bet, ņemot vērā jaunu nogruvumu risku, mājas varētu nākties pamest vēl pusotram tūkstotim cilvēku.

+ +

Precīzi nogruvuma cēloņi nav zināmi, bet šim Norvēģijas apvidum raksturīgas nestabilas gruntis, ko viegli var atmiekšķēt pārmērīgs nokrišņu daudzums. Bojāgājušo vidū ir arī kāda Lietuvas pilsone.

+
+ + + + + +
+
+
+ Kļūda rakstā? +

Iezīmējiet tekstu un spiediet Ctrl+Enter, lai nosūtītu labojamo teksta fragmentu redaktoram!

+

Iezīmējiet tekstu un spiediet uz Ziņot par kļūdu pogas, lai nosūtītu labojamo teksta fragmentu redaktoram!

+
+
+ +
+
+ + + + + + + +
+ +
+
+
+ + + +
+
+ Saistītie raksti + +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ + +
+ Pasaulē +
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+ Ziņas +
+
+ + + + +
+
+
+
Jaunākie
+
+
Populārākie
+
+
Interesanti
+ +
+
+
+
+ +
+
+ + + +
+
+

+ Informējam, ka LSM portālā tiek izmantotas sīkdatnes (angļu val. "cookies"). Turpinot lietot šo portālu, Jūs piekrītat, ka mēs uzkrāsim un izmantosim sīkdatnes Jūsu ierīcē. Uzzināt vairāk +

+ Pieņemt un turpināt +
+
+ +
+
+ + + + + + + + +
+
+ + + + + + + + + + + + + diff --git a/tests/data/text/latvian.txt b/tests/data/text/latvian.txt new file mode 100644 index 00000000..4e7808c0 --- /dev/null +++ b/tests/data/text/latvian.txt @@ -0,0 +1,11 @@ +Norvēģijas glābšanas komanda četras dienas pēc tam, kad zemes nogruvums apraka vairākas mājas Askas ciematā, atradusi piekto bojāgājušo. Vēl pieci cilvēki, tostarp divi bērni, joprojām tiek meklēti. + +Naktī uz trešdienu Jerdrumas pašvaldības administratīvajā centrā Askā, kas atrodas apmēram 25 kilometrus uz ziemeļaustrumiem no galvaspilsētas Oslo, notika masīvs zemes nogruvums. + +Tas sev līdzi parāva vairākas mājas, dažas palika tieši uz kraujas malas. + +Glābšanas darbus, kas vēl joprojām turpinās, apgrūtina nestabila grunts, slikti laika apstākļi un ierobežots dienasgaismas stundu skaits. Tiek izmantoti siltumjutīgi bezpilota lidaparāti, helikopteri un glābšanas suņi. + +Nogruvuma rezultātā izveidojusies dziļa, 700 metrus gara un 300 metrus plata grava ar stāvām malām. Evakuēti vairāk nekā tūkstoš ciemata iedzīvotāji, bet, ņemot vērā jaunu nogruvumu risku, mājas varētu nākties pamest vēl pusotram tūkstotim cilvēku. + +Precīzi nogruvuma cēloņi nav zināmi, bet šim Norvēģijas apvidum raksturīgas nestabilas gruntis, ko viegli var atmiekšķēt pārmērīgs nokrišņu daudzums. Bojāgājušo vidū ir arī kāda Lietuvas pilsone. \ No newline at end of file diff --git a/tests/unit_tests.py b/tests/unit_tests.py index 69c05adf..311b72d2 100644 --- a/tests/unit_tests.py +++ b/tests/unit_tests.py @@ -741,6 +741,17 @@ def test_thai_fulltext_extract(self): self.assertEqual(text, article.text) self.assertEqual(text, fulltext(article.html, 'th')) + @print_test + def test_latvian_fulltext_extract(self): + url = 'https://www.lsm.lv/raksts/zinas/arzemes/norvegija-pec-zemes-nogruvuma-pieci-bojagajusie.a387519/' + article = Article(url=url, language='lv') + html = mock_resource_with('latvian_article', 'html') + article.download(html) + article.parse() + text = mock_resource_with('latvian', 'txt') + self.assertEqual(text, article.text) + self.assertEqual(text, fulltext(article.html, 'lv')) + class TestNewspaperLanguagesApi(unittest.TestCase): @print_test