ExtracTED

مستخرج

ملخص

TED (المناقصات الإلكترونية اليومية) هي النسخة عبر الإنترنت من "ملحق المجلة الرسمية" للاتحاد الأوروبي ، المخصصة للمشتريات العامة الأوروبية.

يوفر TED الوصول المجاني إلى إشعارات المشتريات العامة من السلطات المتعاقدة في الاتحاد الأوروبي والمنطقة الاقتصادية الأوروبية (أيضًا إذا قدمت الخدمات في أي بلد آخر).

يوفر TED موقع TED حاليًا تنزيلات كبيرة من حزم XML التي يعود تاريخها إلى عام 1993 ، والتي يمكن العثور عليها على FTP ftp://ted.europa.eu/ المتاحة مع بيانات الاعتماد العامة (الضيف/الضيف).

يحتوي هذا الريبو على رسائل لاستخلاص وحل العقد ، أي نتائج إجراء المشتريات. تم اختبار البرامج النصية بالكامل لاستخراج جميع إشعارات جائزة العقود لعام 2014 و 2015 و 2016. يتم استخراج المستندات كقوامي بيثون التي يمكن حفظها في قاعدة بيانات MongoDB لسهولة الاسترجاع ، أو مزيد من التطبيع لتحويلها في CSVs.

مثال على إشعار جائزة العقد TED

تُظهر الصورة أدناه مثالًا على المستند كما هو موضح على موقع TED.

مثال على القاموس المستخرج

مثال على البيانات المستخرجة (من نفس المستند أعلاه):

 {
  'DOC_ID': '466898-2016',
  'CODED_DATA': {
    'NOTICE_DATA': {
      'IA_URL_GENERAL': 'www.ekz.ch',
      'ISO_COUNTRY': 'CH',
      'NO_DOC_OJS': '2016/S 253-466898',
      'ORIGINAL_CPV': ['79970000'],
      'REF_NOTICE': ['2016/S 172-310484']
      },
    'CODIF_DATA': {
      'AA_AUTHORITY_TYPE': '4',
      'AC_AWARD_CRIT': 'Z',
      'DS_DATE_DISPATCH': '20161230',
      'MA_MAIN_ACTIVITIES': ['Z'],
      'NC_CONTRACT_NATURE': '4',
      'PR_PROC': '2',
      'RP_REGULATION': '7',
      'TD_DOCUMENT_TYPE': '7',
      'TY_TYPE_BID': '9'
      }
    },
 'CONTRACT': {
   'OTH_NOT': 'NO',
   'CONTRACTING_AUTHORITY': 'Elektrizitätswerke des Kantons Zürich',
   'CONTRACT_OBJECT': {
     'CONCLUSION_FRAMEWORK_AGREEMENT': 'NO',
     'CONTRACTS_DPS': 'NO',
     'CONTRACT_COVERED_GPA': 'YES',
     'CPV_MAIN': '79970000'
     }
   },
   'AWARDS_OF_CONTRACT': [
    {
      'CONTRACTOR': {
         'ADDRESS': 'Mühlebachstraße 52',
         'COUNTRY': 'CH',
         'OFFICIALNAME': 'Linkgroup AG',
         'POSTAL_CODE': '8008',
         'TOWN': 'Zürich'
         },
      'CONTRACT_VALUE': {
        'COST': {
          'CURRENCY': 'CHF',
          'VALUE': 700000.0
          }
        }
    }
   ]
}

الحقول

الحقول ووصف البيانات المستخرجة

1. قسم doc_id

مجال	نوع البيانات	وصف
doc_id	خيط	رقم وثيقة فريدة في TED.

2. قسم coded_data

يتم تقسيم قسم CORED_DATA إلى مجموعتين من البيانات.

• يحتوي اطلاع على البيانات المتعلقة بالإشعار
• يحتوي CODIF_DATA على بيانات التعريف (التدوين) المتعلقة بالإشعار.

2.1 SENTER_DATA قسم

مجال	نوع البيانات	وصف
no_doc_ojs	خيط	رقم إشعار في TED
Original_nuts	قائمة (سلسلة)	رمز (كود) المنطقة من مكان الأداء أو التسليم. رمز 2-5 أرقام من تسمية الوحدات الإقليمية للإحصاء . قيم البحث للأولين رقمين: iso_country.csv
Original_CPV	قائمة (سلسلة)	المنتج أو الخدمة 8 أرقام رمز (أرقام) من المفردات المشتريات المشتركة . قيم البحث للأولين رقمين: cpv.csv
ISO_COUNTRY	خيط	2-characters رمز ISO للبلد حيث توجد الهيئة المتعاقدة. قيم البحث: iso_country.csv
ia_url_general	خيط	عنوان الإنترنت الرئيسي (URL) للهيئة المتعاقدة
ref_notice	قائمة (سلسلة)	رقم الإشعار المرجعي في TED. الرجوع إلى منشور سابق (المعلومات السابقة ، corrigendum ، ...)
القيم	القيمة الإجمالية	إجمالي القيمة (القيمة) المقدرة أو القيمة النهائية الإجمالية للمشتريات

2.1.1 القيم _list القسم الفرعي

يمكن أن تتكون القيم _list من الحقول التالية:

مجال	نوع البيانات	وصف
global_value	قيمة	القيمة الإجمالية للعطاء. يجب أن يساوي مجموع قائمة العقود
Contracts_value	قائمة (القيمة)	قيمة الجوائز الفردية. يحدث هذا عندما يتكون العقد من أجزاء متعددة أو الكثير.

نوع بيانات القيمة

يمكن أن تكون كل قيمة واحدة أو قيمة نطاق ويمكن أن يكون لها نسبة ضريبة القيمة المضافة

• متى تكون عزباء:

مجال	نوع البيانات	وصف
عملة	خيط	عملة القيمة
قيمة	يطفو	قيمة
VAT_PRCT	int	نسبة ضريبة القيمة المضافة

• متى يكون المدى:

مجال	نوع البيانات	وصف
عملة	خيط	عملة القيمة
low_value	يطفو	القيمة المنخفضة للنطاق
High_value	يطفو	قيمة أعلى للنطاق
VAT_PRCT	int	نسبة ضريبة القيمة المضافة

2.2 قسم CODIF_DATA

مجال	نوع البيانات	وصف
ds_date_dispatch	خيط	تاريخ إرسال الإشعار. التنسيق: Yyyymmdd
td_document_type	خيط	نوع المستند. قيم البحث: TD_Document_Type.csv
aa_authority_type	خيط	نوع السلطة منح. قيم البحث: aa_authority_type.csv
nc_contract_nature	خيط	طبيعة العقد. قيم البحث: nc_contract_nature.csv
pr_proc	خيط	نوع الإجراء. قيم البحث: pr_proc.csv
RP_REGULATION	خيط	اللائحة التي تنطبق على الإجراء. قيم البحث: RP_REGULITY.CSV
ty_type_bid	خيط	نوع العطاء. قيم البحث: ty_type_bid.csv
AC_AWARD_CRIT	خيط	نوع من معايير منح. قيم البحث: AC_AWARD_CRIT.CSV
ma_main_activities	قائمة (سلسلة)	النشاط الرئيسي للهيئة المتعاقدة. قيم البحث: ma_main_activities.csv

3. قسم العقد

يحتوي قسم العقد على الإشعار نفسه ، بتنسيق XML. في ملف XML الأصلي ، يمكن أن يكون هذا القسم متاحًا في ترجمات مختلفة ، حتى 24 عندما يتم ترجمتها بالكامل. إذا كان ذلك متاحًا ، فإن الترجمة الإنجليزية للعقد مفضلة. خلاف ذلك ، يصبح الفرنسية والألمانية الخيارين الثاني والثالث على التوالي. عندما لا تكون أي من هذه الترجمة موجودة ، يتم اختيار الأول المتاح.

3.1 قسم OTH_NOT

مجال	نوع البيانات	وصف
oth_not	خيط	أشر إلى ما إذا كان الإشعار يتبع بنية قياسية (ثم oth_not = no ) أو الهيكل مفتوح للسماح بنشر أي إشعار آخر لا يتبع نموذجًا قياسيًا ، ويعرف أيضًا باسم إشعار غير منظم (ثم oth_not = نعم ). فقط عندما يتم استخراج oth_not = لا ، يتم استخراج الحقول contract_authority و contract_object و awards_of_contract

3.2 قسم Contracting_Authority

مجال	نوع البيانات	وصف
Contracting_authority	خيط	اسم السلطة المتعاقدة

3.3 قسم العقد

موضوع العقد.

مجال	نوع البيانات	وصف
المكسرات	قائمة (سلسلة)	رمز (كود) المنطقة من مكان الأداء أو التسليم. رمز 2-5 أرقام من تسمية الوحدات الإقليمية للإحصاء . قيم البحث للأولين رقمين: iso_country.csv
NUTS_EXTRA	خيط	تعليقات إضافية مستخرجة على مكان الأداء أو التسليم
CPV_MAIN	خيط	المنتج الرئيسي أو الخدمة 8 أرقام رمز لمفردات المشتريات المشتركة . قيم البحث للأولين رقمين: cpv.csv
Contract_covered_gpa	خيط	نعم أو لا إذا تم تغطية العقد من قبل المعدل التراكمي (اتفاقية المشتريات الحكومية)
استنتاج _framework_agreement	خيط	نعم أو لا إذا كان العقد جزءًا من اتفاقية إطار
Contracts_dps	خيط	نعم أو لا إذا كان العقد خاضعًا لنظام شراء ديناميكي
Contract_value	قيمة العقد	القيمة الإجمالية. يجب أن تتوافق مع مجموع قيم عقد المقاول الفردي. انظر القسم جوائز_of_contract

3.3.1 Contract_value القسم الفرعي

يمكن أن تتكون كل قيمة عقد من الحقول التالية:

مجال	نوع البيانات	وصف
يكلف	قيمة	التكلفة الفعلية
تقدير	قيمة	تقدير أولي للتكلفة
number_of_years	int	عدد عام العقد الماضي. قد يتم إعطاء التكلفة/التقدير في السنة
number_of_months	int	عدد الشهر العقد الماضي. قد يتم إعطاء التكلفة/التقدير في الشهر

نوع بيانات القيمة

الحقول نفسها كما هو مذكور أعلاه. انظر نوع بيانات قيمة القسم

3.4 AWARDS_OF_CONTRICT SENT

قائمة الجوائز.

يمكن أن تحتوي كل جائزة على الأقسام الفرعية التالية:

• المقاول: معلومات عامة عن العارض الناجح
• Contract_value: قيمة العقد المرتبطة بالمقاول.

3.4.1 القسم الفرعي للمقاول

مجال	نوع البيانات	وصف
الاسم الرسمي	خيط	اسم المقاول
دولة	خيط	بلد المقاول
عنوان	خيط	عنوان (اسم الشارع) للمقاول
بلدة	خيط	مدينة المقاول
رمز بريدي	خيط	قانون المقاول البريدي

3.4.2 Contract_value القسم الفرعي

الحقول نفسها كما هو مذكور أعلاه. انظر القسم 3.3.1 العقد

كيف يمكنني استخدامه؟

المتطلبات/المتطلبات المسبقة

وحدات بيثون المطلوبة:

• LXML
• حسي
• الباندا

خياري:

• Pymongo

إصدار Python: 3.6 قاعدة البيانات: MongoDB ، الوضع المحلي

كيفية تشغيل المشروع محليًا

مثال على كيفية تحويل المستند

 file_path = '454322_2015.xml'  # Contract Award notice downloaded from tED website

# Extract the raw data
from extractor import extract
raw = extract ( file_path )

# Validate the raw data
from validator import validate
data = validate ( raw )

# Prune the data: remove empty fields
from validator import prune
prune ( data )

هيكل المشروع

هيكل المستودع:

 .
├── Lookups
│   └── AA_AUTHORITY_TYPE.csv
│   └── AC_AWARD_CRIT.csv
│   └── CPV.csv
│   └── ISO_COUNTRY.csv
│   └── MA_MAIN_ACTIVITY.csv
│   └── NC_CONTRACT_NATURE.csv
│   └── PR_PROC.csv
│   └── RP_REGULATION.csv
│   └── TD_DOCUMENT_TYPE.csv
│   └── TY_TYPE_BID.csv
├── extractor.py
└── validator.py
└── mongo_import.py

• Lookups : مجلد يحتوي على ملفات بحث مختلفة
• extractor.py : البرنامج النصي لاستخراج البيانات الخام من إشعارات جائزة العقد
• validator.py : البرامج النصية للتحقق من صحة البيانات الأولية وتقليم القاموس (أي قم بإزالة المقودات الفارغة)
• mongo_import.py : البرنامج النصي لتحميل البيانات في قاعدة بيانات MongoDB

المساهمين

أليساندرا سوزي ، العمل في مكتب البيانات الضخمة للإحصاء الوطني

رخصة

صدر تحت رخصة معهد ماساتشوستس للتكنولوجيا.