llm_osint
1.0.0
LLM OSINT adalah metode pembuktian konsep untuk menggunakan LLM untuk mengumpulkan informasi dari Internet dan kemudian melakukan tugas dengan informasi ini.
Seperti yang terlihat di Wall Street Journal "AI generatif dapat merevolusi email - untuk peretas" .
Lihat kode lengkap di /contoh.
Alat ini sangat bagus dalam mengumpulkan informasi dari sumber yang tersedia untuk umum. Namun, sangat penting untuk mengenali tanggung jawab yang datang dengan menggunakan alat yang begitu kuat. Saat menggunakannya untuk meneliti individu selain diri Anda sendiri, selalu menyadari hak setiap orang untuk privasi. Ingatlah bahwa informasi pribadi yang ditemukan melalui intelijen open-source tetap pribadi dan harus diperlakukan dengan hormat dan perlindungan. Gunakan alat ini secara etis dan bertanggung jawab, memastikan bahwa Anda tidak melanggar privasi siapa pun atau terlibat dalam kegiatan jahat.
Penggunaan yang paling jelas untuk sesuatu seperti ini adalah memilikinya "Google" seseorang dan kemudian melakukan tindakan dengan informasi ini. Dalam contoh -contoh ini, saya menggunakannya untuk meneliti diri sendiri dan mengambil hasil pertama. Tidak ada informasi tambahan lain yang diberikan kepada skrip di luar perintah di bawah ini . Untuk nama umum, disambiguasi dapat dilakukan seperti John Smith (the Texas Musician) .
$ python examplesperson_lookup.py "Shrivu Shankar" --ask $QUESTION
INTJ (Keyakinan: Tinggi) - Semangat Shrivu Shankar untuk pengkodean, penelitian, dan pemecahan masalah, bersama dengan fokus mereka pada pengembangan pribadi dan peran kepemimpinan, menunjuk ke arah jenis kepribadian INTJ. INTJ dikenal sebagai individu yang strategis, inovatif, dan berorientasi pada tujuan yang unggul dalam bidang sains dan teknologi.
INTP (Keyakinan: Sedang) - Kecenderungan Shrivu untuk menyelesaikan masalah yang kompleks dan keterlibatannya dalam proyek penelitian dan pengembangan menunjukkan beberapa sifat dari tipe kepribadian INTP. INTP dikenal karena pendekatan analitis dan logis mereka untuk memecahkan masalah, serta hasrat mereka untuk belajar dan mengeksplorasi konsep-konsep baru.
ENTJ (Keyakinan: Rendah) - Meskipun Shrivu menunjukkan keterampilan kepemimpinan yang kuat dan keterlibatan dalam kegiatan yang berorientasi tim, profil keseluruhan mereka tampaknya lebih condong ke arah introversi daripada extraversion. Namun, pencapaian mereka dalam kompetisi dan hackathon, serta partisipasi mereka di berbagai klub dan masyarakat, menyarankan beberapa sifat ENTJ, seperti pemikiran strategis, organisasi, dan dorongan untuk pencapaian.
Ini akurat (intj).
Shrivu Shankar adalah insinyur pembelajaran mesin di Abnormal Security, yang berbasis di Austin, Texas. Dia memiliki Sarjana Sains dalam Ilmu Komputer dari University of Texas di Austin. Shrivu memiliki beragam minat dan pencapaian, yang berkontribusi pada profil psikologisnya.
Kekuatan:
Kelemahan:
Secara keseluruhan, Shrivu Shankar menunjukkan fondasi yang kuat dari kualitas pribadi, termasuk hasrat, rasa ingin tahu, motivasi diri, orientasi tujuan, dan kerja tim. Namun, ia mungkin menghadapi tantangan dalam keseimbangan kehidupan kerja, diversifikasi hobi dan minat, mengelola kelebihan komitmen, dan komunikasi publik yang efektif. Untuk mengoptimalkan pertumbuhan pribadi dan profesionalnya, Shrivu dapat mengambil manfaat dari fokus pada bidang -bidang perbaikan ini, memanfaatkan kekuatannya untuk membangun kehidupan yang seimbang dan memuaskan.
Ini sangat liar.
Insinyur Pembelajaran Mesin | LinkedIn : Shrivushankar | GitHub : SSHH12 | Twitter : Shrivushankar | Instagram : Shrivu1122 | Situs web pribadi : sshh.io
Ini menggabungkan banyak informasi dari periode waktu yang berbeda tetapi masih cukup menarik.
| Atribut | Informasi |
|---|---|
| Nama | Shrivu Shankar |
| Pekerjaan | Insinyur pembelajaran mesin di keamanan abnormal |
| Lokasi | Austin, Texas, Amerika Serikat |
| Pendidikan | Bachelor of Science - BS Computer Science, University of Texas di Austin |
| https://www.linkedin.com/in/shrivushankar | |
| Pegangan Instagram | @shrivu1122 |
| Instagram Bio | "Di mana ada kode, ada kode." |
| Situs web pribadi | https://sshh.io/ |
| GitHub | https://github.com/sshh12 |
| https://twitter.com/shrivushankar | |
| Publikasi | Media Sosial COVID-19 Hubungi Penelusuran Menggunakan Pembayaran Sosial Seluler dan Data Facebook; Estimasi pose pesawat ruang angkasa real-time, siap penerbangan, dan non-kooperatif menggunakan citra monokular |
| Penghargaan & Penghargaan | Tempat Pertama - Hack Together Hackathon, Teknologi Terbaik @ Demo Day (Proyek NLP), Tempat Pertama - Kompetisi Pitch Startup Fish Bowl, Mahasiswa Ilmu Komputer Luar Biasa (Penghargaan X2), Top 10, Kompetisi UIL Ilmu Komputer (Diberikan X8) |
| Karakteristik pribadi | bersemangat, penasaran, motivasi diri sendiri, berorientasi pada tujuan, dan pemain tim |
Ini akurat (meskipun sedikit ketinggalan zaman).
Teknik Sosial Melalui Minat Bersama: Dengan minat Shrivu dalam pengkodean, pembelajaran mesin, dan fotografi, seorang penyerang potensial dapat mengajukan sebagai sesama penggemar atau profesional di dalam bidang ini untuk melibatkannya dalam percakapan dan berpotensi mendapatkan informasi sensitif.
Email phishing yang menargetkan hackathon atau kompetisi: Mempertimbangkan sejarah Shrivu dalam hackathon dan kompetisi, email phishing yang disamarkan sebagai undangan ke suatu acara atau sebagai penyelenggara dapat digunakan untuk menipu dia agar memberikan kredensial login atau mengunduh malware.
Mengeksploitasi repositori gitub: Karena akun GitHub Shrivu tersedia untuk umum, seorang penyerang berpotensi mengidentifikasi kerentanan dalam kodenya atau upaya untuk mengkompromikan akunnya untuk mendapatkan akses ke pekerjaan atau proyek pribadinya.
Profil palsu di LinkedIn, Twitter, atau Instagram: Membuat profil palsu yang menyamar sebagai teman dekat, kolega profesional, atau pemimpin industri dapat memungkinkan penyerang terhubung dengan Shrivu dan mengekstrak informasi tentang kebiasaan online, rutinitas, atau informasi pribadi yang dapat digunakan untuk mengkompromikan akunnya.
Menyamar sebagai teman atau kolega: Memanfaatkan koneksi atau asosiasi media sosial Shrivu yang tersedia dengan klub dan organisasi, seorang penyerang dapat menyamar sebagai seseorang yang ia percayai dan mengirim pesan phishing atau phishing tombak untuk menyusup ke akunnya.
Mengeksploitasi Informasi Perjalanan dan Lokasi: Dengan Shrivu memposting tentang perjalanannya ke tempat -tempat seperti London, Colorado, dan Niagara Falls, penyerang dapat menggunakan informasi ini untuk membuat email phishing yang disesuaikan, meniru perusahaan perjalanan atau layanan lokal untuk mengekstraksi data yang sensitif atau menginduksi Shrivu untuk mengunduh malware.
Menargetkan situs web dan email pribadinya: Dengan mengakses situs web pribadi Shrivu, seorang penyerang berpotensi mengidentifikasi kerentanan, mengkompromikan situs, atau mengirim email phishing yang ditargetkan ke alamat email terkait dengan maksud mendapatkan akses yang tidak sah ke akunnya.
Penting untuk dicatat bahwa cara hipotetis yang terdaftar di atas tidak etis, ilegal, dan terhadap norma-norma privasi. Informasi ini harus digunakan semata -mata untuk tujuan pendidikan dan keamanan untuk membantu Shrivu meningkatkan keamanan online pribadinya.
Saya skeptis bahwa saya benar -benar akan jatuh cinta pada ini tetapi minimal itu membantu mengetahui apa beberapa vektor ini.
Subject: Important Update: UT Austin Alumni Event
Dear Shrivu,
I hope this email finds you well! As a fellow alumnus of UT Austin Computer Science Department, I wanted to reach out personally to invite you to our upcoming virtual alumni event.
The UT Austin Computer Science Department is hosting an exclusive online networking event for our esteemed alumni. As a valued member of our community and a successful Machine Learning Engineer, we believe your participation would be invaluable. This event aims to provide an opportunity for our alumni to connect, collaborate, and share insights about the latest trends in technology, including machine learning, data science, and computer vision.
Date: Saturday, October 23, 2021
Time: 10 AM - 1 PM CST
Platform: Zoom
In addition to networking opportunities, we have an exciting panel discussion featuring top industry experts and an interactive Q&A session. As a token of our appreciation for your time, all attendees will be entered into a draw for a chance to win a $100 Amazon Gift Card.
To confirm your attendance, please click the link below to register. Kindly note that the registration deadline is Friday, October 15, 2021.
[Register for the UT Austin Alumni Networking Event](http://bit.ly/UTAustinAlumniEvent)
We are looking forward to your presence and contribution to this great event! Do not hesitate to reach out if you have any questions.
Warm regards,
Dr. John Doe
Professor and Alumni Coordinator
UT Austin Computer Science Department
Phone: (512) 123-4567
Email: [email protected]
Saya pikir saya bisa jatuh cinta pada ini.
Hei Shrivu , kami telah membuat permen karet yang sempurna hanya untuk Anda - seorang insinyur pembelajaran mesin yang bersemangat dan penasaran yang suka menjelajahi dunia kode!
Kami tahu Anda menghancurkannya pada keamanan abnormal dan berkontribusi pada masyarakat dengan publikasi terkemuka Anda tentang estimasi penelusuran kontak dan penelusuran pesawat ruang angkasa. Jadi, kami memastikan bahwa Codegum tidak hanya memuaskan hasrat manis Anda tetapi juga membuat pikiran Anda tetap tajam dan fokus selama sesi pengkodean yang intens.
Tapi tunggu, masih ada lagi!
Sebagai programmer yang rajin dengan cinta fotografi? dan bepergian ?, Kami memikirkan Anda saat membuat permen karet gelembung yang inovatif ini. Dengan sedikit inspirasi dari bio Instagram Anda, " Di mana ada kode, ada kode ", kami menyajikan Codegum - permen karet yang sama -sama bersemangat tentang kode seperti Anda!
? Dikembangkan dengan pembelajaran mesin terbaru, NLP , dan riset visi komputer ? Menjaga pikiran Anda tetap segar selama hackathon, konferensi, dan kompetisi UIL? Teman yang sempurna saat bermain klarinet atau terlibat dalam debat? Kemasan ramah lingkungan karena kami tahu Anda peduli dengan lingkungan (ingat tantangan ecobot?)
Jadi, tunggu apa lagi, Shrivu? Raih paket Codegum Anda sekarang dan tingkatkan pengalaman pengkodean Anda ke ketinggian baru! ?
Coba codegum hari ini, dan kami menjamin itu akan menjadi teman yang kenyal selama semua petualangan pengkodean Anda! ?
Jangan lewatkan! Kunjungi codegum.com dan gunakan kode SHRIVU20 untuk diskon 20% khusus pada pesanan pertama Anda! ?
Happy Coding (dan mengunyah)! ? Tim Codegum
Ini sangat aneh. Ini bisa menjadi masa depan teknologi iklan dystopian.
Saya awalnya mencoba melakukan ini sepenuhnya ujung ke ujung sebagai agen tembakan Zero default. Pada dasarnya saya bertanya kepada GPT "Mengingat alat -alat ini, temukan informasi tentang XYZ lalu jawab pertanyaan -pertanyaan ini". Namun, dalam praktiknya agen ini berjalan sangat "serakah" karena akan secara webscape jumlah informasi minimum dan kembali lebih awal dengan penjawab. Tidak ada jumlah tweaking yang tampaknya memperbaikinya sehingga saya memutuskan untuk membagi tugas OSINT menjadi "agen web" kecil untuk pengumpulan informasi spesifik yang diatur oleh "agen pengetahuan".
Agen Pengetahuan diberikan prompt "kumpulkan" yang memandunya untuk hanya mengumpulkan sebanyak mungkin informasi. Pertama-tama memunculkan agen web awal yang melakukan pencarian umum untuk informasi yang jelas (misalnya mencari nama Googling) dan membaca halaman web tingkat pertama. Hasil dari agen web awal kemudian dijalankan melalui prompt untuk menemukan area "menyelam dalam" yang harus terlihat lebih. Untuk masing -masing area penyelaman yang dalam ini, agen web baru dimunculkan untuk mengumpulkan informasi. Hasil dari agen web penyelaman dalam ini kemudian digabungkan dan prosesnya berulang untuk putaran selam yang dalam. Basis pengetahuan penuh kemudian diberi makan sebagai konteks untuk pertanyaan terakhir tentang topik tersebut.
Catatan: Alat hanya disediakan untuk agen web.
Agen web diberikan alat "pencarian (istilah pencarian)" untuk mengumpulkan informasi tentang istilah tertentu. Ini menggunakan API Serper (yaitu Google Search API) untuk menemukan tautan yang relevan. Ini pada dasarnya adalah alat langchain bawaan dengan tambalan untuk juga mengembalikan tautan mentah yang ditemukan dalam hasil.
Daripada memiliki "alat LinkedIn", "alat twitter", dll. Saya ingin agen web dapat dengan mudah mengikis halaman dengan cara generik. Untuk mencapai ini, saya membuat alat "readlink (tautan)" yang memungkinkan agen membaca tautan sewenang -wenang.
MVP ini adalah untuk menjalankan requests.get() dan hanya membuang HTML mentah kembali ke agen. Ini rusak karena:
Untuk mengurangi jumlah token dari tanggapan, saya membaginya menjadi potongan -potongan berdasarkan pemisahan rekursif dari pohon waktu. Dimulai dengan root, jika elemen DOM saat ini memiliki <x token maka saya menyebutnya sepotong, jika memiliki lebih dari itu saya terus membaginya. Untuk setiap potongan, HTML dilucuti hanya untuk mengirim pesan teks dan berjalan melalui GPT untuk meringkas dan mengekstrak konten. Prompt ekstraksi menyadari konteks perangkap web dalam upaya untuk mengeluarkan hanya informasi yang paling berguna. Potongan yang diekstraksi ini kemudian diumpankan kembali ke GPT untuk merangkum data menjadi format yang dapat dicerna agar agen web masuk ke dalam pengumpulan informasinya. Dalam kode, ini adalah kerangka kerja yang disebut sebagai "pengurangan peta llm".
Biaya bervariasi berdasarkan jumlah informasi googlable, ukuran halaman web, dan keingintahuan umum LLM pada topik tertentu.
Dalam Eksperimasi menggunakan GPT-4 sebagai pendorong utama pengetahuan dan agen web dan GPT-3.5 sebagai backend dari alat WebScraping, ini biaya ~ $ 1/tugas agen web. Jika Anda melakukan 2 putaran 10 agen penyelaman dalam, itu akan keluar menjadi sekitar $ 21. Jika diberi prompt pengumpulan yang cukup umum, basis pengetahuan dapat digunakan kembali untuk pertanyaan tambahan yang membuat sebagian besar biaya satu kali per topik pencarian.
git+https://github.com/sshh12/llm_osint OPENAI_API_KEY=
SERPER_API_KEY=
SCRAPINGBEE_API_KEY=
Catatan: Baik lebah serper dan goresan memberikan penggunaan uji coba gratis dari API yang seharusnya cukup baik untuk menjalankan ini beberapa kali.
