scrapping ihadith data
DEV LOCAL ENVIRONMENT
OS : Ubuntu 20.04.3 LTS
Memory : 23.4 GiB
Processor : Intel® Core™ i5-8250U CPU @ 1.60GHz × 8
Graphics : Intel® UHD Graphics 620 (Kabylake GT2)
Gnome : 3.36.8
python requirements
- pip requirements:
pip install -r requirements.txt
Its better to use a virtual environment OR use conda-
- conda: use environment.yml:
conda env create -f scrapper.yml
- click explanation link
- get preface info:
- chapter
- chapter-name
- preface text
- main:
- arabic
- bangla
- narrator
- validity
- explaination: if available
- extra-note: if-available
{
"data": {
"arabic": "حَدَّثَنَا الْحُمَيْدِيُّ عَبْدُ اللَّهِ بْنُ الزُّبَيْرِ، قَالَ حَدَّثَنَا سُفْيَانُ، قَالَ حَدَّثَنَا يَحْيَى بْنُ سَعِيدٍ الأَنْصَارِيُّ، قَالَ أَخْبَرَنِي مُحَمَّدُ بْنُ إِبْرَاهِيمَ التَّيْمِيُّ، أَنَّهُ سَمِعَ عَلْقَمَةَ بْنَ وَقَّاصٍ اللَّيْثِيَّ، يَقُولُ سَمِعْتُ عُمَرَ بْنَ الْخَطَّابِ ـ رضى الله عنه ـ عَلَى الْمِنْبَرِ قَالَ سَمِعْتُ رَسُولَ اللَّهِ صلى الله عليه وسلم يَقُولُ \" إِنَّمَا الأَعْمَالُ بِالنِّيَّاتِ، وَإِنَّمَا لِكُلِّ امْرِئٍ مَا نَوَى، فَمَنْ كَانَتْ هِجْرَتُهُ إِلَى دُنْيَا يُصِيبُهَا أَوْ إِلَى امْرَأَةٍ يَنْكِحُهَا فَهِجْرَتُهُ إِلَى مَا هَاجَرَ إِلَيْهِ",
"bangla": "আমি ‘উমর ইব্নুল খাত্তাব (রাঃ)-কে মিম্বারের উপর দাঁড়িয়ে বলতে শুনেছিঃ আমি আল্লাহর রসূল (সাল্লাল্লাহু ‘আলাইহি ওয়া সাল্লাম)-কে বলতে শুনেছিঃ কাজ (এর প্রাপ্য হবে) নিয়ত অনুযায়ী। আর মানুষ তার নিয়ত অনুযায়ী প্রতিফল পাবে। তাই যার হিজরত হবে ইহকাল লাভের অথবা কোন মহিলাকে বিবাহ করার উদ্দেশ্যে- তবে তার হিজরত সে উদ্দেশ্যেই হবে, যে জন্যে, সে হিজরত করেছে।\n\n(৫৪, ২৫২৯, ৩৮৯৮, ৫০৭০, ৬৬৮৯, ৬৯৫৩; মুসলিম ২৩/৪৫ হাঃ ১৯০৭, আহমাদ ১৬৮) (আধুনিক প্রকাশনীঃ ১, ইসলামিক ফাউন্ডেশনঃ ১)",
"explanation": "শারী‘আহ্র মূল উৎস হচ্ছে ওয়াহী। ওয়াহী দু’ প্রকার। ওয়াহী মাতলু (আল-কুরআন) ও ওয়াহী গাইরে মাতলু (সুন্নাহ ও হাদীস)। এবং দ্বীনে ইলাহীর ভিত্তি শুধুমাত্র দু’টি জিনিসের উপর প্রতিষ্ঠিত। ইজমা‘ ও কিয়াস কোন শার‘ঈ দলীল নয়। বরং যে কিয়াস এবং ইজমা‘ ওয়াহীর পক্ষে অর্থাৎ কুরআন ও সুন্নাহ মুতাবিক হবে তা গ্রহণযোগ্য এবং যেটা বিপক্ষে যাবে সেটা পরিত্যাজ্য ও অগ্রহণযোগ্য। এ প্রসঙ্গে আল্লাহ তা‘আলার বাণীঃ\n\n(يَا أَيُّهَا الَّذِينَ آمَنُوا أَطِيعُوا اللَّهَ وَأَطِيعُوا الرَّسُولَ وَأُولِي الْأَمْرِ مِنْكُمْ فَإِنْ تَنَازَعْتُمْ فِي شَيْءٍ فَرُدُّوهُ إِلَى اللَّهِ وَالرَّسُولِ إِنْ كُنْتُمْ تُؤْمِنُونَ بِاللَّهِ وَالْيَوْمِ الْآخِرِ ذَلِكَ خَيْرٌ وَأَحْسَنُ تَأْوِيلاً) (النساء:৫৯)\n(يَا أَيُّهَا الَّذِينَ آمَنُوا أَطِيعُوا اللَّهَ وَأَطِيعُوا الرَّسُولَ وَلا تُبْطِلُوا أَعْمَالَكُمْ) (محمد:৩৩)\n\nকিন-ু বাতিল ফির্কার লোকেরা ইজমা‘ ও কিয়াসকে ওয়াহীর আসনে বসিয়েছে এবং বলে থাকেঃ শারী‘আহ্র ভিত্তি চারটি বিষয়ের উপর। কুরআন, সুন্নাহ, ইজমা‘ ও কিয়াস। বড় আশ্চর্যের বিষয় এই যে, সহাবায়ে কেরাম যাদের উপর আল্লাহ তা‘আলা তার সন্তুষ্টির ঘোষণা দিয়েছেন, তাদেরকে সত্যবাদী বলে স্বীকৃতি দেয়া হয়েছে এবং মুসলিম উম্মাহ এ ব্যাপারে সকলেই একমত। অথচ তারা সহাবায়ে কেরামকে দু’ ভাগে ভাগ করেছেন। (১) ফকীহ (২) গাইরে ফকীহ। আর বলেছেন যে সকল সহাবী ফকীহ ছিলেন তারা যদি কিয়াসের বিপরীতে হাদীস বর্ণনা করেন তবে তা গ্রহণযোগ্য কিন্তু যে সকল সহাবী গাইরে ফকীহ অর্থাৎ ফকীহ নন তাঁরা যদি কিয়াসের খেলাফ হাদীস বর্ণনা করেন তাহলে তা গ্রহণযোগ্য বলে বিবেচিত হবে না।\n\nপ্রকৃতপক্ষে এটা উম্মাতে মুহাম্মাদিয়াহকে সিরাতে মুস্তাকীমের পথ হতে সরিয়ে দেয়ার একটা বড় অস্ত্র এবং পরিকল্পনা। কেননা তাঁরা কিয়াসকে মূল এবং হাদীসকে দ্বিতীয় স্থানে রেখেছেন। সকল সহাবীর উপর আল্লাহ তা‘আলা সন্তুষ্ট কিন্তু তারা খুশী নন। সকল সহাবীর ব্যাপারে উম্মাতের ঐকমত্য রয়েছে। কিন্তু তাদের নিকট গাইরে ফকীহ সহাবীগণ ‘আদিল নন।\n\nধোঁকাবাজীর কিছু নমুনাঃ তারা বলেন, ফকীহ সহাবীগণ কিয়াসের খেলাফ হাদীস বর্ণনা করলে তা গ্রহণীয় হবে। কিন্তু গাইরে ফকীহ সহাবীগণ কিয়াসের খেলাফ হাদীস বর্ণনা করলে তা বাতিল হয়ে যাবে এবং কিয়াসের উপর ‘আমল করতে হবে।\n\nবাই‘য়ি মুসারাহ এর হাদীস আবূ হুরাইরাহ (রাঃ) হতে বর্ণিত এবং তা কিয়াসের খেলাফ। এই জন্য তা বাতিল। এবং কিয়াসের উপর ‘আমালযোগ্য। অথচ এই হাদীস ‘আবদুল্লাহ ইবনু মাস‘ঊদ (রাঃ) হতেও বর্ণিত হয়েছে। (দেখুন সহীহ বুখারী ২৮৮ পৃষ্ঠা রশিদিয়া ছাপা)",
"extra-note": null,
"narrator": "‘আলক্বামাহ ইব্নু ওয়াক্কাস আল-লায়সী (রহঃ) থেকে বর্ণিতঃ",
"validity": "সহিহ হাদিস"
},
"meta": {
"chapter-name": "ওহীর সূচনা অধ্যায়",
"header": "১/১. অধ্যায়ঃ",
"preface": [
"আল্লাহ্র রসূল (সাল্লাল্লাহু 'আলাইহি ওয়া সাল্লাম)- এর প্রতি কীভাবে ওহী [১] শুরু হয়েছিলো।",
"এ মর্মে আল্লাহ তা’আলার বাণীঃ “নিশ্চয়ই আমি আপনার প্রতি সেরূপ ওহী প্রেরণ করেছি যেরূপ নূহ ও তাঁর পরবর্তী নবীদের প্রতি ওহী প্রেরণ করেছিলাম”। (সূরা আন-নিসা ৪/১৬৩)"
]
}
}
- killing chrome headless:
pkill -f "(chrome)?(--headless)"
- run:
python scrape.py
usage: ihadith website scrapper [-h] [--start START] [--batch BATCH] iden end save_path
positional arguments:
iden book name from the website
end end of hadith no to sracpe from the book
save_path path to save the json data [the provided iden will be used to create a folder]
optional arguments:
-h, --help show this help message and exit
--start START start of hadith no to scrape from the book
--batch BATCH batch number for multiprocessing [1 process will be allocated for n number of hadiths]
- iden and end variables for collected data is listed as follows
book | iden | end |
---|---|---|
সহিহ বুখারী | bukhari | 7275 |
সহিহ মুসলিম | muslim | 7500 |
সুনানে আন-নাসায়ী | nasayi | 5758 |
সুনানে আবু দাউদ | abi-dawud | 5274 |
জামে' আত-তিরমিজি | tirmidi | 3956 |
সুনানে ইবনে মাজাহ | ibn-majah | 4341 |
মুয়াত্তা ইমাম মালিক | muatta-malik | 1832 |
রিয়াদুস সলেহিন | riadus-saalehin | 1905 |
বুলুগুল মারাম | bulugul-maram | 1568 |
আল লু'লু ওয়াল মারজান | al-lulu-wal-marjan | 1906 |
হাদিস সম্ভার | hadis-somvar | 2013 |
সিলসিলা সহিহা | silsila-sahiha | 60 |
জাল জয়িফ হাদিস সিরিজ | jal-daif-hadis-serise | 102 |
মিশকাতুল মাসাবিহ | mishkatul-masabih | 2758 |
৪০ হাদিস | 40-hadis | 42 |
আদাবুল মুফরাদ | adabul-mufrad | 1336 |
জুজ'উল রাফায়েল ইয়াদাইন | juj-ul-rafaul-yadain | 56 |
সহিহ হাদিসে কুদসি | sahih-hadise-kudsi | 163 |
১০০ সুসাব্যস্ত হাদিস | 100-mashhur-hadis | 101 |
মিশকাতে জয়িফ হাদিস | daif-hadis-in-mishkat | 106 |
শামায়েলে তিরমিযি | shamayele-tirmidi | 320 |
সহিহ তারগিব ওয়াত তাহরিব | targib-wat-tahrib | 200 |
সহিহ ফাযায়েলে আমল | sahih-fajayele-amal | 151 |
ঊপদেশ | upodesh | 234 |
রমযান বিষয়ে জাল ও দুর্বল হাদিসসমূহ | romjaner-durbol-hadis | 36 |
মুসনাদে আহমাদ | ||
জুজ'উল কিরাত | ||
সুনান আদ-দারিমী | ||
তাহাবী শরিফ | ||
সুনান দারাকুতনী |