หน้าแรก>แหล่งข้อมูลการสร้างเว็บไซต์>ข้อมูลเว็บไซต์
ดาวน์โหลด

อะไร

นี่คือการใช้งานโปรโตคอลการยกเว้น Robots.txt สำหรับภาษา Go (Golang)

สร้าง

ในการสร้างและเรียกใช้การทดสอบรันไปทดสอบในไดเรกทอรีต้นฉบับ

มีส่วนช่วย

ยินดีต้อนรับอย่างอบอุ่น

  • หากต้องการเพิ่มชื่อของคุณใน readme.rst ส่วนที่
  • เรียกใช้สคริปต์/ทดสอบ && สคริปต์/สะอาด && echo ตกลง
  • คุณสามารถเพิกเฉยต่อคำเตือน Linter แต่ทุกอย่างต้องผ่าน
  • ส่งการเปลี่ยนแปลงของคุณเป็นคำขอดึงหรือเพียงแค่แพทช์ปกติไปยังผู้ดูแลปัจจุบัน (ดูส่วนที่)

ขอบคุณ

การใช้งาน

ตามปกติไม่จำเป็นต้องมีการติดตั้งพิเศษเพียงแค่

นำเข้า "github.com/temoto/robotstxt"

Run Go Get และคุณพร้อม

1. แยกวิเคราะห์

ก่อนอื่นคุณต้องแยกวิเคราะห์ข้อมูล robots.txt คุณสามารถทำได้ด้วยฟังก์ชั่นจาก bybytes (body [] byte) (*robotsdata, ข้อผิดพลาด) หรือเหมือนกันสำหรับสตริง:

 Robots, err: = robotstxt.frombytes ([] byte ("ผู้ใช้ตัวแทน: * ndisallow:")))
Robots, err: = robotstxt.fromstring ("ผู้ใช้ตัวแทน: * ndisallow:")

ณ ปี 2012-10-03 Frombytes เป็นวิธีที่มีประสิทธิภาพที่สุดทุกอย่างอื่นเป็นเครื่องห่อหุ้มสำหรับฟังก์ชั่นหลักนี้

มีตัวสร้างที่สะดวกไม่กี่ตัวสำหรับวัตถุประสงค์ต่าง ๆ :

  • FromResponse (*http.Response) (*RobotsData, ข้อผิดพลาด) ไปยังข้อมูล ROBOTS เริ่มต้น

จากการตอบสนอง http ไม่ เรียกตอบกลับ body.close ():

 Robots, err: = robotstxt.fromResponse (resp)
resp.body.close ()
ถ้า err! = nil {
    log.println ("ข้อผิดพลาดแยกวิเคราะห์ robots.txt:", err.error ())
-
  • fromstatusandbytes (สถานะรหัส int, body [] byte) (*robotsdata, ข้อผิดพลาด) หรือ

จาก Statusandstring หากคุณต้องการอ่านไบต์ (สตริง) ด้วยตัวคุณเอง รหัสสถานะการส่งผ่านใช้ตามตรรกะตามการตีความของ Google ของ Robots.txt ไฟล์:

  • สถานะ 2xx -> ตัวแยกวิเคราะห์ด้วย FromBytes และใช้กฎที่ระบุไว้ที่นั่น
  • สถานะ 4xx -> อนุญาตทั้งหมด (แม้กระทั่ง 401/403 ตามที่ Google แนะนำ)
  • อื่น ๆ (5xx) -> ไม่อนุญาตทั้งหมดพิจารณาสิ่งนี้ไม่พร้อมใช้งานชั่วคราว

2. คำถาม

Parsing Robots.txt เนื้อหาสร้างฐานข้อมูลตรรกะชนิดหนึ่งซึ่งคุณสามารถสอบถามได้ด้วย (R *RobotsData) Testagent (URL, Agent String) (BOOL)

การส่งผ่านเอเจนต์อย่างชัดเจนมีประโยชน์หากคุณต้องการสอบถามสำหรับตัวแทนที่แตกต่างกัน สำหรับผู้ใช้ตัวแทนเดี่ยวมีตัวเลือกที่มีประสิทธิภาพ: RobotsData.FindGroup (useragent String) ส่งคืนโครงสร้างด้วยวิธี. test (Path String) และ. crawldelay time.duration

แบบสอบถามง่าย ๆ กับเอเจนต์ผู้ใช้ที่ชัดเจน การโทรแต่ละครั้งจะสแกนกฎทั้งหมด

 อนุญาต: = robots.testagent ("/", "foobot")

หรือสอบถามหลายเส้นทางกับตัวแทนผู้ใช้เดียวกันเพื่อประสิทธิภาพ

 กลุ่ม: = Robots.findgroup ("Barbot")
group.test ("/")
group.test ("/ดาวน์โหลด. mp3")
group.test ("/News/article-2012-1")

WHO

ผู้มีส่วนร่วมที่มีเกียรติ (ตามลำดับที่ไม่ได้กำหนด):

  • Ilya Grigorik (Igrigorik)
  • Martin Angers (Puerkitobio)
  • Micha Gorelick (mynamefiber)

เริ่มต้นและอื่น ๆ : sergey shepelev [email protected]

ความสามารถ

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด