Duplicate from abdalrahmanshahrour/Summarization

.gitattributes

@@ -0,0 +1,34 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,13 @@
+---
+title: Summarization
+emoji: ⚡
+colorFrom: blue
+colorTo: gray
+sdk: streamlit
+sdk_version: 1.15.2
+app_file: app.py
+pinned: false
+duplicated_from: abdalrahmanshahrour/Summarization
+---
+
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,83 @@
+from urllib.parse import unquote
+import arabic_reshaper
+import streamlit as st
+from bidi.algorithm import get_display
+from summarize import get_results
+import time
+import requests
+
+from streamlit_lottie import st_lottie  # pip install streamlit-lottie
+
+from streamlit_lottie import st_lottie_spinner
+
+
+st.set_page_config(
+    page_title="Arabic Summarization",
+    page_icon="🤖",
+    layout="wide",
+    initial_sidebar_state="expanded",
+    menu_items={
+         'Get Help': 'https://www.extremelycoolapp.com/help',
+         'Report a bug': "https://www.extremelycoolapp.com/bug",
+         'About': "# Arabic Text Summarizeation , abdalrahman shahrour",
+    }
+)
+
+
+def load_lottieurl(url: str):
+    r = requests.get(url)
+    if r.status_code != 200:
+        return None
+    return r.json()
+
+
+st.header('تلخيص النصوص العربية : ')
+
+rtl = lambda w: get_display(f"{arabic_reshaper.reshape(w)}")
+
+with open('style.css') as f:
+    st.markdown(f'<style>{f.read()}</style>',unsafe_allow_html=True)
+
+
+c = load_lottieurl("https://assets7.lottiefiles.com/packages/lf20_ofa3xwo7.json")
+# st.sidebar.st_lottie(c)
+with st.sidebar:
+    st_lottie(c)
+st.markdown("")
+
+
+model = st.sidebar.selectbox('Select one', ['arabartsummarization', 'AraBART', 'auto-arabic-summarization', 'BERT2BERT', 'xlmroberta2xlmroberta', 'nltk_summarizer'],help="Model",)
+
+
+st.sidebar.write("\n")
+num_beams = st.sidebar.slider(
+    "Number of beams", min_value=1, max_value=10, value=3, step=1
+)
+
+st.sidebar.write("\n")
+length_penalty = st.sidebar.slider(
+        "Length penalty ", min_value=0.1, max_value=3.0, value=1.0, step=0.1,
+)
+st.sidebar.write("\n")
+number_of_sentence = st.sidebar.slider(
+    "Number of sentence", min_value=1, max_value=10, value=3, step=1
+)
+
+st.sidebar.write("\n")
+height = st.sidebar.slider(
+    "height", min_value=200, max_value=1000, value=350, step=20
+)
+
+
+doc = st.text_area("ضع هنا النص المراد تلخيصه : ",height=height,value="""يجري علماء في بريطانيا تجربة لاختبار فعالية عقار إيبوبروفين لمساعدة المصابين بفيروس كورونا. وذكرت هيئة الإذاعة البريطانية "بي بي سي" أن فريق مشترك من أطباء مستشفيات "جاي" و"سانت توماس" و"كينغز كوليدج" في لندن يعتقد أن إيبوبروفين، وهو مضاد للالتهابات ومسكن للألم، يمكن أن يعالج صعوبات التنفس.
+ويأمل العلماء أن يساعد هذا العلاج المنخفض التكلفة المرضى في الاستغناء عن أجهزة التنفس الصناعي. وذكرت أنه خلال فترة الاختبار، سيحصل نصف المرضى على إيبوبروفين بالإضافة إلى الرعاية المعتادة، حيث سيتم استخدام تركيبة خاصة من إيبوبروفين بدلا من الأقراص العادية التي قد يشتريها الناس عادة.""")
+
+summarize_button = st.button(label="لخص النص")
+
+if summarize_button:
+    with st.spinner("جاري التلخيص ..."):
+        result = get_results(doc, model, num_beams, length_penalty,number_of_sentence)
+    if len(result) > 0:
+        st.write(result)
+    else:
+        st.write("")

download.py

@@ -0,0 +1,7 @@
+import nltk
+
+def __init__():
+    nltk.download('punkt')
+    nltk.download('stopwords')
+    nltk.download('wordnet')
+    nltk.download('omw-1.4')

requirements.txt

@@ -0,0 +1,72 @@
+altair==4.2.0
+arabert==1.0.1
+arabic-reshaper==2.1.3
+attrs==22.2.0
+blinker==1.5
+cachetools==5.2.0
+certifi==2022.12.7
+charset-normalizer==2.1.1
+click==8.1.3
+codetiming==1.3.0
+commonmark==0.9.1
+decorator==5.1.1
+emoji==1.4.2
+entrypoints==0.4
+farasapy==0.0.14
+filelock==3.8.2
+future==0.18.2
+gitdb==4.0.10
+GitPython==3.1.29
+huggingface-hub==0.11.1
+idna==3.4
+importlib-metadata==5.2.0
+Jinja2==3.1.2
+joblib==1.2.0
+jsonschema==4.17.3
+MarkupSafe==2.1.1
+nltk==3.8
+numpy==1.24.0
+nvidia-cublas-cu11==11.10.3.66
+nvidia-cuda-nvrtc-cu11==11.7.99
+nvidia-cuda-runtime-cu11==11.7.99
+nvidia-cudnn-cu11==8.5.0.96
+packaging==22.0
+pandas==1.5.2
+Pillow==9.3.0
+preprocess==2.0.0
+protobuf==3.20.2
+PyArabic==0.6.15
+pyarrow==10.0.1
+pydeck==0.8.0
+Pygments==2.13.0
+Pympler==1.0.1
+pyrsistent==0.19.2
+python-bidi==0.4.2
+python-dateutil==2.8.2
+pytz==2022.7
+pytz-deprecation-shim==0.1.0.post0
+PyYAML==6.0
+regex==2022.10.31
+requests==2.28.1
+rich==12.6.0
+semver==2.13.0
+sentencepiece==0.1.97
+six==1.16.0
+smmap==5.0.0
+streamlit==1.16.0
+streamlit-lottie==0.0.3
+streamlit-option-menu==0.3.2
+tokenizers==0.13.2
+toml==0.10.2
+toolz==0.12.0
+torch==1.13.1
+tornado==6.2
+tqdm==4.64.1
+transformers==4.25.1
+typing_extensions==4.4.0
+tzdata==2022.7
+tzlocal==4.2
+urllib3==1.26.13
+validators==0.20.0
+watchdog==2.2.0
+zipp==3.11.0

style.css

@@ -0,0 +1,35 @@
+.stMarkdown h1, .main .element-container.css-o7ulmj.e1tzin5v3 {
+    text-align: right;
+}
+.stMarkdown div.css-nlntq9.e16nr0p33 {
+    font-weight: bold;
+}
+textarea {
+    direction: rtl;
+    height: 140px;
+}
+.stTextArea .css-qrbaxs {
+    float: right;
+    font-size: 23px;
+}
+h1 {
+    font-family: 'Scheherazade', serif;
+}
+.main div.css-nlntq9.e16nr0p33 > p {
+    direction: rtl;
+}
+.main .stMarkdown div.css-nlntq9 p {
+    font-size: 22px;
+}
+.main .stMarkdown div.css-nlntq9 {
+    direction: rtl;
+}
+.main p, .main div, .main input, .main label {
+  text-align: right;
+  direction: rtl;
+}
+
+}
+.main button {
+    font-size: 22px;
+}

summarize.py

@@ -0,0 +1,177 @@
+import logging
+import os
+import re
+from functools import lru_cache
+from urllib.parse import unquote
+
+import streamlit as st
+from codetiming import Timer
+from transformers import pipeline
+from arabert.preprocess import ArabertPreprocessor
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, AutoModelForCausalLM
+import tokenizers
+import re
+import heapq  
+from string import punctuation
+import nltk
+from nltk.corpus import stopwords
+import download
+nltk.download('punkt')
+nltk.download('stopwords')
+nltk.download('wordnet')
+nltk.download('omw-1.4')
+
+
+punctuation = punctuation + '\n'
+logger = logging.getLogger(__name__)
+os.environ["TOKENIZERS_PARALLELISM"] = "false"
+
+logger.info("Loading models...")
+reader_time = Timer("loading", text="Time: {:.2f}", logger=logging.info)
+reader_time.start()
+
+
+reader_time.stop()
+
+
+logger.info("Finished loading the models...")
+logger.info(f"Time spent loading: {reader_time.last}")
+
+@lru_cache(maxsize=200)
+def get_results(text, model_selected, num_beams, length_penalty,number_of_sentence):
+    logger.info("\n=================================================================")
+    logger.info(f"Text: {text}")
+    logger.info(f"model_selected: {model_selected}")
+    logger.info(f"length_penalty: {length_penalty}")
+    reader_time = Timer("summarize", text="Time: {:.2f}", logger=logging.info)
+    reader_time.start()
+    if model_selected == 'GPT-2':
+        number_of_tokens_limit = 80
+    else:
+        number_of_tokens_limit = 150
+    logger.info(f"input length: {len(text.split())}")
+
+    if model_selected == 'arabartsummarization':
+        model_name="abdalrahmanshahrour/arabartsummarization"
+        preprocessor = ArabertPreprocessor(model_name="")
+
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+        pipeline1 = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
+        result = pipeline1(text,
+            pad_token_id= tokenizer.eos_token_id,
+            num_beams=num_beams,
+            repetition_penalty=3.0,
+            max_length=200,
+            length_penalty=length_penalty,
+            no_repeat_ngram_size = 3)[0]['generated_text']
+        logger.info('arabartsummarization')
+    elif model_selected == 'AraBART':
+
+        model_name= "abdalrahmanshahrour/AraBART-summ"
+        preprocessor = ArabertPreprocessor(model_name="")
+
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+        pipeline1 = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
+        result = pipeline1(text,
+            pad_token_id= tokenizer.eos_token_id,
+            num_beams=num_beams,
+            repetition_penalty=3.0,
+            max_length=200,
+            length_penalty=length_penalty,
+            no_repeat_ngram_size = 3)[0]['generated_text']
+        logger.info('AraBART')
+    
+    elif model_selected == "auto-arabic-summarization":
+
+        model_name="abdalrahmanshahrour/auto-arabic-summarization"
+        preprocessor = ArabertPreprocessor(model_name="")
+
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+        pipeline1 = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
+        result = pipeline1(text,
+            pad_token_id= tokenizer.eos_token_id,
+            num_beams=num_beams,
+            repetition_penalty=3.0,
+            max_length=200,
+            length_penalty=length_penalty,
+            no_repeat_ngram_size = 3)[0]['generated_text']
+        logger.info('auto-arabic-summarization')
+    
+    elif model_selected == 'BERT2BERT':
+
+        model_name="malmarjeh/bert2bert"
+        preprocessor = ArabertPreprocessor(model_name="")
+
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+        pipeline1 = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
+        result = pipeline1(text,
+            pad_token_id= tokenizer.eos_token_id,
+            num_beams=num_beams,
+            repetition_penalty=3.0,
+            max_length=200,
+            length_penalty=length_penalty,
+            no_repeat_ngram_size = 3)[0]['generated_text']
+        logger.info('BERT2BERT')
+    
+    elif model_selected == "xlmroberta2xlmroberta":
+        model_name="ahmeddbahaa/xlmroberta2xlmroberta-finetune-summarization-ar"
+        preprocessor = ArabertPreprocessor(model_name="")
+
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+        pipeline1 = pipeline("text2text-generation",model=model,tokenizer=tokenizer)
+        result = pipeline1(text,
+            pad_token_id= tokenizer.eos_token_id,
+            num_beams=num_beams,
+            repetition_penalty=3.0,
+            max_length=200,
+            length_penalty=length_penalty,
+            no_repeat_ngram_size = 3)[0]['generated_text']
+        logger.info('xlmroberta2xlmroberta')
+    
+    elif model_selected == "nltk_summarizer":
+        # number_of_sentence = 3
+        stopWords = set(nltk.corpus.stopwords.words("arabic") + nltk.corpus.stopwords.words("english"))
+        word_frequencies = {}  
+        for word in nltk.word_tokenize(text):  
+            if word not in stopWords:
+                if word not in punctuation:
+                    if word not in word_frequencies.keys():
+                        word_frequencies[word] = 1
+                    else:
+                        word_frequencies[word] += 1
+
+        maximum_frequncy = max(list(word_frequencies.values()),default=3)
+
+        for word in word_frequencies.keys():  
+            word_frequencies[word] = (word_frequencies[word]/maximum_frequncy)
+
+        sentence_list = nltk.sent_tokenize(text)
+        sentence_scores = {}
+        for sent in sentence_list:
+            for word in nltk.word_tokenize(sent.lower()):
+                if word in word_frequencies.keys():
+                    if len(sent.split(' ')) < 30:
+                        if sent not in sentence_scores.keys():
+                            sentence_scores[sent] = word_frequencies[word]
+                        else:
+                            sentence_scores[sent] += word_frequencies[word]
+
+        summary_sentences = heapq.nlargest(number_of_sentence, sentence_scores, key=sentence_scores.get)
+
+        result = ' '.join(summary_sentences)  
+    else:
+        result = "الرجاء اختيار نموذج"
+
+    reader_time.stop()
+    logger.info(f"Time spent summarizing: {reader_time.last}")
+
+    return result
+
+
+if __name__ == "__main__":
+    results_dict = ""

text1.txt

@@ -0,0 +1,2 @@
+يجري علماء في بريطانيا تجربة لاختبار فعالية عقار إيبوبروفين لمساعدة المصابين بفيروس كورونا. وذكرت هيئة الإذاعة البريطانية "بي بي سي" أن فريق مشترك من أطباء مستشفيات "جاي" و"سانت توماس" و"كينغز كوليدج" في لندن يعتقد أن إيبوبروفين، وهو مضاد للالتهابات ومسكن للألم، يمكن أن يعالج صعوبات التنفس.
+ويأمل العلماء أن يساعد هذا العلاج المنخفض التكلفة المرضى في الاستغناء عن أجهزة التنفس الصناعي. وذكرت أنه خلال فترة الاختبار، سيحصل نصف المرضى على إيبوبروفين بالإضافة إلى الرعاية المعتادة، حيث سيتم استخدام تركيبة خاصة من إيبوبروفين بدلا من الأقراص العادية التي قد يشتريها الناس عادة.

text2.txt

@@ -0,0 +1 @@
+شهدت مدينة طرابلس، مساء أمس الأربعاء، احتجاجات شعبية وأعمال شغب لليوم الثالث على التوالي، وذلك بسبب تردي الوضع المعيشي والاقتصادي. واندلعت مواجهات عنيفة وعمليات كر وفر ما بين الجيش اللبناني والمحتجين استمرت لساعات، إثر محاولة فتح الطرقات المقطوعة، ما أدى إلى إصابة العشرات من الطرفين.