Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Initial support for Italian publishers, starting with La Repubblica #670

Merged
merged 12 commits into from
Jan 2, 2025
Prev Previous commit
Next Next commit
Changed the sitemap to the correct one
  • Loading branch information
ruggsea committed Dec 30, 2024
commit 7c55e2ca0ffd3dd4a121056e508552d29ea89616
76 changes: 76 additions & 0 deletions repubblica_test.ipynb
Original file line number Diff line number Diff line change
@@ -0,0 +1,76 @@
{
"cells": [
{
"cell_type": "code",
"execution_count": 5,
"metadata": {},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Morte Carter, le reazioni. Biden: “America e mondo perdono un grande leader”. E ordina funerali di Stato. Trump: “Debito di gratitudine”\n",
"Firenze, coltellate dopo la discoteca: ucciso in strada a 17 anni\n",
"Bufera in Germania dopo l’articolo pro Afd di Musk: “Una vergogna”\n",
"Gli Usa avvertono l’Iran: “Liberate subito Sala non sia una leva politica”\n",
"Cecilia Sala, il pressing di Teheran per la scarcerazione del proprio detenuto. La cautela di Roma\n",
"Estradizione di Abedini servono almeno due mesi. Il ruolo del Guardasigilli Nordio\n",
"La “diplomazia degli ostaggi”: stranieri in galera in Iran e Russia usati come pedine di scambio\n",
"Sondaggi politici, il 2024 sorride al Pd: dimezzato il divario da FdI\n",
"Discorso di fine anno, l’appello di Mattarella per il bene comune\n",
"FI e Lega in pressing sulla rottamazione per finanziare il taglio Irpef e la flat tax\n",
"Patuanelli (M5S): “La manovra ha tradito tutte le promesse. Ora lavoriamo per l’alternativa”\n",
"Romeo voce del Nord, Salvini fa i conti con l’ala del dissenso\n",
"Fonseca sfiduciato e lasciato solo. Le modalità inutilmente umilianti dell’esonero\n",
"Michael Walzer: “Un pericolo le spinte autoritarie della tecnodestra di Musk”\n",
"Attacco di uno squalo nel Mar Rosso: muore turista italiano, un altro è ferito\n",
"Attacco di uno squalo a Marsa Alam. “Bisogna conoscere i rischi anche in ambienti straordinari”\n",
"Addio Jimmy Carter, il presidente passato alla storia come uomo di pace\n",
"Milan, Fonseca esonerato dopo l’1-1 con la Roma. Panchina a Conceiçao\n",
"Jimmy Carter, è morto a 100 anni l’ex presidente degli Stati Uniti e premio Nobel per la pace\n",
"Tajani sull’arresto di Cecilia Sala: “Nessuna ipotesi sui tempi di rilascio”\n",
"Guerra Ucraina - Russia, le news di oggi. Presidente azero: “Aereo abbattuto da colpi russi”\n",
"Medio Oriente, notizie di oggi. Siria,elezioni forse fra 4 anni. Gaza,quarto neonato morto di freddo\n",
"Ghosting. Il fantasma dell’amore\n",
"Amleto De Silva è morto, fu vignettista di “Cuore” e “Smemoranda”\n",
"Cecilia Sala, gli Stati Uniti a Repubblica: “Arresto ingiustificato, l’Iran la liberi subito”\n",
"La manovra da 30 miliardi è legge. Ma la Lega apre il fronte del Nord\n"
]
}
],
"source": [
"from fundus import PublisherCollection, Crawler\n",
"\n",
"# Change to:\n",
"# PublisherCollection.<country_section>.<publisher_specification>\n",
"publisher = PublisherCollection.it.LaRepubblica\n",
"\n",
"crawler = Crawler(publisher)\n",
"\n",
"for article in crawler.crawl(max_articles=100, only_complete=True):\n",
" print(article.title)"
]
}
],
"metadata": {
"kernelspec": {
"display_name": ".venv",
"language": "python",
"name": "python3"
},
"language_info": {
"codemirror_mode": {
"name": "ipython",
"version": 3
},
"file_extension": ".py",
"mimetype": "text/x-python",
"name": "python",
"nbconvert_exporter": "python",
"pygments_lexer": "ipython3",
"version": "3.10.15"
}
},
"nbformat": 4,
"nbformat_minor": 2
}
Loading