U3F1ZWV6ZTE1Njg4NDY3OTQ0X0FjdGl2YXRpb24xNzc3Mjg2OTg2NDQ=

Machinae v1.4.8 - Security Intelligence Collector

Machinae v1.4.8 - Security Intelligence Collector
Machinae v1.4.8 - Security Intelligence Collector
Machinae هي أداة لجمع المعلومات الاستخبارية من المواقع / الخلاصات العامة حول مختلف البيانات المتعلقة بالأمان: عناوين IP وأسماء النطاقات وعناوين URL وعناوين البريد الإلكتروني وتجزئة الملفات وبصمات SSL. كانت مستوحاة من Automater ، وهي أداة ممتازة أخرى لجمع المعلومات. ولد مشروع Machinae من الرغبة في تحسين Automater في 4 مجالات:
  1. Codebase - إحضار Automater إلى توافق python3 مع جعل الكود أكثر بيثون
  2. التكوين - استخدم تنسيق تهيئة أكثر قابلية للقراءة (YAML)
  3. المدخلات - دعم تحليل JSON للخارج دون الحاجة إلى كتابة تعبيرات منتظمة ، ولكن لا يزال يدعم إلغاء تجزئة regex عند الحاجة
  4. المخرجات - دعم أنواع الإخراج الإضافية ، بما في ذلك JSON ، مع جعل الإخراج الخارجي اختياريًا



يمكن تثبيت Machinae التثبيت باستخدام pip3:
pip3 install machinae
أو ، إذا كنت تشعر بالمغامرة ، فيمكنك تثبيتها مباشرةً من github:
pip3 install git+https://github.com/HurricaneLabs/machinae.git
ستحتاج إلى أن تكون لديك أي تبعيات مطلوبة على نظامك لتجميع وحدات بيثون (على الأنظمة القائمة على دبيان ، python3-dev) ، بالإضافة إلى حزمة تطوير libyaml (على الأنظمة القائمة على دبيان ، libyaml-dev). 
سترغب أيضًا في الحصول على أحدث ملف تكوين ووضعه فيه /etc/machinae.yml

Configuration File
Machinae يدعم نظام دمج بسيط التكوين للسماح لك بإجراء تعديلات على التكوين دون تعديل machinae.yml الذي نقدمه لك ، مما يجعل تحديثات التكوين مفاجئة. يتم ذلك عن طريق إيجاد تكوين افتراضي على مستوى النظام (افتراضي /etc/machinae.yml) ، والاندماج في ذلك تكوين محلي على مستوى النظام ( /etc/machinae.local.yml) وأخيرا تكوين محلي لكل مستخدم (~/.machinae.yml). يمكن أيضًا تحديد التكوين على مستوى النظام في دليل العمل الحالي ، أو يمكن تعيينه باستخدام MACHINAE_CONFIGمتغير البيئة ، أو بالطبع باستخدام خيارات سطر الأوامر-c أو يمكن تعطيل دمج التكوين عن طريق تمرير الخيار ، مما يؤدي إلى تحميل Machinae فقط التكوين الافتراضي على مستوى النظام (أو التكوين الذي تم تمريره في سطر الأوامر). على سبيل المثال ، قل أنك تريد تمكين موقع الفئة Fortinet ، والذي يتم تعطيله افتراضيًا. يمكنك التعديل ، ولكن سيتم استبدال هذه التغييرات بتحديث. بدلا من ذلك، يمكنك وضع ما يلي في أي أو :--config --nomerge
/etc/machinae.yml/etc/machinae.local.yml~/.machinae.yml
fortinet_classify:
default: true
أو ، على العكس من ذلك ، لتعطيل موقع ، مثل Virus Total pDNS:
vt_ip:
default: false
vt_domain:
default: false

استخدام
Machinae الاستخدام يشبه إلى حد كبير Automater:
usage: machinae [-h] [-c CONFIG] [--nomerge] [-d DELAY] [-f FILE] [-i INFILE] [-v]
[-o {D,J,N,S}] [-O {ipv4,ipv6,fqdn,email,sslfp,hash,url}] [-q]
[-s SITES] [-a AUTH] [-H HTTP_PROXY]
[--dump-config | --detect-otype]
...
  •  انظر أعلاه للاطلاع على تفاصيل -c--configو --nomergeالخيارات.
  •  يدعم Machinae الخيار -d--delay، مثل Automater. ومع ذلك ، يستخدم Machinae 0 بشكل افتراضي.
  •  يتم التحكم في إخراج Machinae بواسطة وسيطين:
    • -o يتحكم في تنسيق الإخراج ، ويمكن أن يتبعه حرف واحد للإشارة إلى نوع الإخراج المطلوب:
      • N هو الإخراج الافتراضي ("عادي")
      • D هو الإخراج الافتراضي ، ولكن يتم استبدال أحرف النقطة
      • J هو JSON الإخراج
    • -f--fileيحدد الملف حيث يجب أن يكون الإخراج مكتوبًا. الافتراضي هو "-" ل stdout.
  •  سيحاول Machinae الكشف التلقائي عن نوع الهدف الذي تم تمريره (يشير Machinae إلى الأهداف باسم "الملاحظات" والنوع "otype"). يمكن تجاوز هذا الكشف باستخدام الخيار -O--otypeيتم سرد الخيارات في الاستخدام
  •  بشكل افتراضي ، يعمل Machinae في وضع مطوّل. في هذا الوضع ، سيقوم بإخراج معلومات الحالة حول الخدمات التي يتم الاستعلام عنها على وحدة التحكم أثناء الاستعلام عنها. سيتم دائمًا كتابة هذا الإخراج إلى stdout ، بغض النظر عن إعداد الإخراج. لتعطيل وضع مطول ، استخدم-q
  •  بشكل افتراضي ، سيتم تشغيل Machinae من خلال جميع الخدمات في التكوين الذي ينطبق على otype لكل هدف ولا يتم وضع علامة "الافتراضي: خطأ".لتعديل هذا السلوك ، يمكنك:
    • مرر قائمة مواقع مفصولة بفواصل لتشغيلها (استخدم مفتاح المستوى العلوي من التكوين).
    • مرر الكلمة الرئيسية الخاصة allلتعمل من خلال جميع الخدمات بما في ذلك تلك التي تحمل علامة "default: false"
    لاحظ أنه في كلتا الحالتين ، otypeلا يزال يتم تطبيق التحقق من الصحة.
  •  يدعم Machinae تمرير وكيل HTTP على سطر الأوامر باستخدام -H--http-proxyالوسيطة. إذا لم يتم تحديد وكيل، machinae سوف ابحث القياسية HTTP_PROXYو HTTPS_PROXYمتغيرات البيئة، وكذلك أقل القياسية http_proxyو https_proxyمتغيرات البيئة.
  •  أخيرًا ، يجب تمرير قائمة بالأهداف. سيتم تفسير جميع الوسائط بخلاف الخيارات المذكورة أعلاه كأهداف.

  • مصادر بيانات
    خارج الصندوق تأتي Machinae مع دعم خارجي لمصادر البيانات التالية:
    • IPVoid
    • URLVoid
    • URL Unshortener ( http://www.toolsvoid.com/unshorten-url )
    • Malc0de
    • SANS
    • FreeGeoIP (freegeoip.io)
    • فورتينيت الفئة
    • pDNS VirusTotal (عبر قصاصة الويب - علق عليها)
    • pDNS VirusTotal (عبر JSON API)
    • تقرير عنوان موقع VirusTotal (عبر واجهة برمجة تطبيقات JSON)
    • تقرير ملف VirusTotal (عبر واجهة برمجة تطبيقات JSON)
    • سمعة السلطة
    • ThreatExpert
    • VxVault
    • ProjectHoneypot
    • مكافي تهديد المخابرات
    • StopForumSpam
    • Cymru MHR
    • كاتب العدل شهادة ICSI
    • TotalHash (معطل افتراضيًا)
    • DomainTools محلل Whois (يتطلب مفتاح API)
    • DomainTools عكس Whois (يتطلب مفتاح API)
    • DomainTools السمعة
    • IP WHOIS (باستخدام واجهات RIR REST)
    • اخترق IP
    • Metadefender Cloud (يتطلب مفتاح API)
    • GreyNoise (يتطلب مفتاح API)
    • IBM XForce (مفتاح API مطلوب)
    مع مصادر بيانات إضافية على الطريق. 

    مصادقة HTTP الأساسية
    وتكوينها يدعم Machinae HTTP Basic Auth للمواقع التي تتطلب ذلك من خلال --auth/-a العلامة. ستحتاج إلى إنشاء ملف YAML باستخدام بيانات الاعتماد الخاصة بك ، والذي سيشمل مفتاح الموقع الذي يتطلب بيانات الاعتماد وقائمة من عنصرين ، اسم المستخدم وكلمة المرور أو مفتاح API. على سبيل المثال ، بالنسبة لموقع PassiveTotal المضمّن ، قد يبدو هذا كما يلي:
    passivetotal: ['[email protected]', 'my_api_key']
    داخل تكوين الموقع ، requestسترى مفتاحًا مثل:
    json:
    request:
    url: '...'
    auth: passivetotal
    و auth: passivetotalيشير إلى المفتاح داخل التكوين المصادقة مرت عبر سطر الأوامر. 

    معطل افتراضيًا
    يتم تعطيل المواقع التالية افتراضيًا
    • فورتينيت الفئة ( fortinet_classify)
    • Telize Geo IP ( telize)
    • TotalHash ( totalhash_ip)
    • DomainTools تحليل Whois ( domaintools_parsed_whois)
    • DomainTools عكس Whois ( domaintools_reverse_whois)
    • DomainTools السمعة ( domaintools_reputation)
    • DNS المبني للمجهول ( passivetotal_pdns)
    • المبني للمجهول Whois ( passivetotal_whois)
    • محفوظات شهادة SSL في PassiveTotal ( passivetotal_sslcert)
    • مكونات سمة مضيف PassiveTotal ( passivetotal_components)
      • PassiveTotal Host Attribute Trackers ( passivetotal_trackers)
      • MaxMind GeoIP2 Insight Insight ( maxmind)
      • FraudGuard ( fraudguard)
      • شودان ( shodan)
      • اخترق IP
      • Metadefender Cloud (يتطلب مفتاح API)
      • GreyNoise (يتطلب مفتاح API)
      • IBM XForce (يتطلب مفتاح API)


      تنسيقات الإخراج
      تأتي Machinae مع مجموعة محدودة من تنسيقات الإخراج: عادية ، عادية مع نقطة الهروب ، و JSON. نحن نخطط لإضافة تنسيقات الإخراج إضافية في المستقبل. 



      إضافة مواقع إضافية
      *** قريباً ***



      المشكلات المعروفة

      • تحتوي بعض مزودي خدمة الإنترنت على IPvoid ​​على كيانات HTML مزدوجة الترميز ، والتي لا يتم فك تشفيرها


      الميزات القادمة

      • إضافة وظيفة البحث عن قاعدة IDS (VRT / ET)
      • إضافة رابط "مزيد من المعلومات" للمواقع
      • أضف خيار "dedup" إلى إعدادات المحلل اللغوي
      • إضافة خيار لكل إعدادات طلب otype
      • إضافة إخراج مخصص لكل موقع لرموز الخطأ


      تاريخ



      الإصدار الإصدار 1.4.1 (2018-08-31)

      • ميزات جديدة
        • يزيل الناتج تلقائيًا
        • دعم مجموعة خدمات MISP (تم إضافة المثال إلى machinae.yml)


      الإصدار 1.4.0 (2016-04-20)

      • ميزات جديدة
        • خيار "-a" / "- المصادقة" لتمرير ملف تكوين المصادقة
          • شكرا johannestaas على التقديم
        • خيار "-H" / "- http-proxy" ، ودعم البيئة ، لوكلاء HTTP
      • مواقع جديدة
        • المبني للمجهول (أشكال مختلفة ، وذلك بفضل johannestaas)
        • MaxMind في
        • FraudGuard
        • الحزام الأسود
      • تحديث المواقع
        • FreeGeoIP (تم استبدال freegeoip.net بـ freegeoip.io)


      الإصدار 1.3.4 (2016-04-01)

      • اصلاحات الشوائب
        • تحويل الاستثناءات إلى str عند الإخراج إلى JSON
          • يجب إغلاق الواقع # 14


      الإصدار 1.3.3 (2016-03-28)

      • اصلاحات الشوائب
        • معالجة نتائج الخطأ بشكل صحيح عند الإخراج إلى JSON
          • يغلق # 14
          • شكرا Den1al لتقرير الشوائب


      الإصدار 1.3.2 (2016-03-10)

      • ميزات جديدة
        • وضع الإخراج "القصير" - ببساطة إخراج نعم / لا / خطأ لكل موقع
        • خيار "-i" / "- infile" لتمرير ملف مع قائمة الأهداف


      الإصدار 1.3.1 (2016-03-08)

      • ميزات جديدة
        • قم بإدخال "http: //" إلى أهداف URL عند عدم البدء بـ http: // أو https: //


      الإصدار 1.3.0 (2016-03-07)

      • مواقع جديدة
        • Cymon.io - التهديد مجمع / تعقب بواسطة eSentire
      • ميزات جديدة
        • دعم الردود المرقّمة البسيطة
        • دعم ترميز url "الهدف" في عنوان URL للطلب
        • دعم قيم فك تشفير عنوان url في النتائج


      الإصدار 1.2.0 (2016-02-16)

      • ميزات جديدة
        • دعم للمواقع التي تعرض مستندات JSON متعددة
        • القدرة على تحديد تنسيق الوقت لمعلمات الوقت النسبي
        • القدرة على تحليل الطوابع الزمنية يونكس في النتائج والعرض في شكل ISO-8601
        • القدرة على تحديد رموز الحالة لتجاهلها لكل API
      • مواقع جديدة
        • DNSDB - قاعدة بيانات DNS السلبية للأمن


      الإصدار 1.1.2 (2015-11-26)

      • مواقع جديدة
        • Telize (premium) - GeoIP site (premium)
        • Freegeoip - موقع GeoIP (مجاني)
        • دعم CIF - CIFv2 API ، من csirtgadgets.org
      • ميزات جديدة
        • القدرة على تحديد الملصقات لمخرجات JSON متعددة الأسطر ذات الخط الواحد
        • القدرة على تحديد معلمات الوقت النسبي باستخدام مكتبة relatime


      الإصدار 1.0.1 (2015-10-13)

      • إصلاح الخلل الإيجابي الخاطئ مع Spamhaus (Github # 10)


      الإصدار 1.0.0 (2015-07-02)

      • الإصدار الأولي

ليست هناك تعليقات
إرسال تعليق

إرسال تعليق

اذا اعجبك الموضوع علق بتعليق If you like the subject, comment on the comment