negspacy

Negspacy: Negasi untuk spacy

Objek pipa spacy untuk meniadakan konsep dalam teks. Berdasarkan algoritma Negex.

Negex - Algoritma sederhana untuk mengidentifikasi temuan dan penyakit yang dinegasikan dalam ringkasan pembuangan Chapman, Bridewell, Hanbury, Cooper, Buchanan https://doi.org/10.1006/jbin.2001.1029

Apa yang baru

Versi 1.0 adalah pembaruan versi utama yang memberikan dukungan untuk antarmuka baru Spacy 3.0 untuk menambahkan komponen pipa. Akibatnya, ini tidak kompatibel ke belakang dengan versi negspacy sebelumnya.

Jika proyek Anda menggunakan Spacy 2.3.5 atau lebih awal, Anda perlu menggunakan versi 0.1.9. Lihat readme yang diarsipkan.

Instalasi dan penggunaan

Instal perpustakaan.

pip install negspacy

Impor Perpustakaan dan Spacy.

 import spacy
from negspacy . negation import Negex

Memuat model bahasa spacy. Tambahkan objek pipa negspacy. Penyaringan pada jenis entitas adalah opsional.

 nlp = spacy . load ( "en_core_web_sm" )
nlp . add_pipe ( "negex" , config = { "ent_types" :[ "PERSON" , "ORG" ]})

Lihat negasi.

 doc = nlp ( "She does not like Steve Jobs but likes Apple products." )

for e in doc . ents :
	print ( e . text , e . _ . negex )

 Steve Jobs True
Apple False

Pertimbangkan berpasangan dengan scispacy untuk menemukan konsep UMLS dalam negasi teks dan proses.

Pola Negex

• pseudo_negations - frasa yang merupakan pemicu palsu, negasi ambigu, atau negatif ganda
• preseding_negations - frasa negasi yang mendahului suatu entitas
• ikuti_negations - frasa negasi yang mengikuti suatu entitas
• Pengakhiran - Frasa yang memotong kalimat di beberapa bagian, untuk tujuan deteksi negasi (.eg, "tapi")

Istilah

Tentukan termset untuk digunakan, en_clinical digunakan secara default.

• en = frasa untuk teks bahasa Inggris umum
• en_clinical default = menambahkan frasa khusus untuk domain klinis ke bahasa Inggris umum
• en_clinical_sensitive = menambahkan frasa tambahan untuk membantu mengesampingkan entitas historis dan mungkin tidak relevan

Untuk mengatur:

 from negspacy . negation import Negex
from negspacy . termsets import termset

ts = termset ( "en" )

nlp = spacy . load ( "en_core_web_sm" )
nlp . add_pipe (
    "negex" ,
    config = {
        "neg_termset" : ts . get_patterns ()
    }
)

Fungsi tambahan

Ubah pola atau tampilan pola yang sedang digunakan

Ganti semua pola dengan set Anda sendiri

 nlp = spacy . load ( "en_core_web_sm" )
nlp . add_pipe (
    "negex" , 
    config = {
        "neg_termset" :{
            "pseudo_negations" : [ "might not" ],
            "preceding_negations" : [ "not" ],
            "following_negations" :[ "declined" ],
            "termination" : [ "but" , "however" ]
        }
    }
    )

Tambahkan dan lepaskan pola individual dengan cepat dari istilah built-in

 from negspacy . termsets import termset
ts = termset ( "en" )
ts . add_patterns ({
            "pseudo_negations" : [ "my favorite pattern" ],
            "termination" : [ "these are" , "great patterns" , "but" ],
            "preceding_negations" : [ "wow a negation" ],
            "following_negations" : [ "extra negation" ],
        })
#OR
ts . remove_patterns (
        {
            "termination" : [ "these are" , "great patterns" ],
            "pseudo_negations" : [ "my favorite pattern" ],
            "preceding_negations" : [ "denied" , "wow a negation" ],
            "following_negations" : [ "unlikely" , "extra negation" ],
        }
    )

Lihat pola yang digunakan

 from negspacy . termsets import termset
ts = termset ( "en_clinical" )
print ( ts . get_patterns ())

Negasi dalam potongan kata benda

Bergantung pada model pengenalan entitas yang disebutkan yang Anda gunakan, Anda mungkin memiliki negasi "dikelompokkan bersama" dengan kata benda. Misalnya:

 nlp = spacy . load ( "en_core_sci_sm" )
doc = nlp ( "There is no headache." )
for e in doc . ents :
    print ( e . text )

# no headache

Ini akan menyebabkan algoritma Negex melewatkan negasi sebelumnya. Untuk memperhitungkan ini, Anda dapat menambahkan chunk_prefix :

 nlp = spacy . load ( "en_core_sci_sm" )
ts = termset ( "en_clinical" )
nlp . add_pipe (
    "negex" ,
    config = {
        "chunk_prefix" : [ "no" ],
    },
    last = True ,
)
doc = nlp ( "There is no headache." )
for e in doc . ents :
    print ( e . text , e . _ . negex )

# no headache True 

Berkontribusi

berkontribusi

Penulis

• Jeno Pizarro

Lisensi

lisensi

Perpustakaan lainnya

Perpustakaan ini ditampilkan di Semesta Spacy. Lihatlah perpustakaan dan inspirasi lain yang berguna.

Jika Anda mencari objek pipa spacy untuk mengekstraksi nilai yang sesuai dengan entitas yang disebutkan (misalnya, tanggal lahir, nomor akun, atau hasil laboratorium) lihat ekstraktasi.