Data Science Hacks

วิทยาศาสตร์ข้อมูลแฮ็กเคล็ดลับและกลเม็ด

Data Science Hacks ถูกสร้างและบำรุงรักษาโดย Analytics Vidhya สำหรับชุมชนวิทยาศาสตร์ข้อมูล

มีเคล็ดลับเทคนิคและแฮ็กที่เกี่ยวข้องกับวิทยาศาสตร์ข้อมูลการเรียนรู้ของเครื่องจักร

แฮ็กเหล่านี้มีไว้สำหรับนักวิทยาศาสตร์ข้อมูลทั้งหมดที่นั่น ไม่สำคัญว่าคุณจะเป็นมือใหม่หรือมืออาชีพขั้นสูงแฮ็กเหล่านี้จะทำให้คุณมีประสิทธิภาพแน่นอน!

อย่าลังเลที่จะมีส่วนร่วมในการแฮ็กวิทยาศาสตร์ข้อมูลของคุณเองที่นี่ ตรวจสอบให้แน่ใจว่าแฮ็คของคุณเป็นไปตามแนวทางการบริจาค

ที่เก็บนี้เป็นส่วนหนึ่งของหลักสูตรฟรีโดย Analytics Vidhya หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับแฮ็กที่ยอดเยี่ยมเช่นนี้ให้ไปที่แฮ็กข้อมูลวิทยาศาสตร์เคล็ดลับและกลเม็ด

• Data Science Hack #1 - Resource Downloader

คุณจะแยกข้อมูลรูปภาพโดยตรงจาก Chrome ได้อย่างไรในคลิกเดียว ลองนึกภาพว่าคุณต้องการสร้างโครงการเรียนรู้ของเครื่องจักรของคุณเอง แต่คุณไม่มีข้อมูลเพียงพอมันกลายเป็นงานที่น่ากังวลไม่ได้คุณสามารถใช้ส่วนขยายทรัพยากรเพื่อดาวน์โหลดข้อมูลโดยตรง! มาดูกันเถอะ!

ขั้นตอน:

1. ติดตั้งส่วนขยาย Chrome จาก URL ที่กำหนด
2. ไปที่ Google Images หรือหน้าเว็บใด ๆ ที่คุณต้องการบันทึกข้อมูล
3. เปิดองค์ประกอบการตรวจสอบและคลิกไปที่แท็บ ResourcesAver
4. คลิกที่ปุ่มบันทึกทรัพยากรทั้งหมดและไฟล์ zip จะถูกสร้างขึ้น
5. คลายซิปไฟล์และเปิดโฟลเดอร์เข้ารหัส tbn0.gstatic.com
6. คุณสามารถค้นหาภาพได้ที่นี่

• Data Science Hack #2 Pandas ใช้

Pandas ใช้เป็นหนึ่งในฟังก์ชั่นที่ใช้กันมากที่สุดสำหรับการเล่นกับข้อมูลและสร้างตัวแปรใหม่ มันส่งคืนค่าบางอย่างหลังจากผ่านแต่ละแถว/คอลัมน์ของเฟรมข้อมูลด้วยฟังก์ชั่นบางอย่าง ฟังก์ชั่นอาจเป็นทั้งค่าเริ่มต้นหรือกำหนดโดยผู้ใช้

• Data Science Hack #3 การทำดัชนีบูลีนแพนด้า

ช่วยในการเลือกชุดข้อมูลย่อยตามค่าของข้อมูลใน DataFrame

• Data Science Hack #4 Pivot Table

มันถูกใช้เพื่อสร้างสเปรดชีตสไตล์ MS Excel ระดับในตาราง Pivot จะถูกเก็บไว้ในวัตถุ Multiindex (ดัชนีลำดับชั้น) บนดัชนีและคอลัมน์ของ Dataframe ผลลัพธ์

• Data Science Hack #5 Crosstab

ฟังก์ชั่น pd.crosstab () ใช้เพื่อรับ“ ความรู้สึก” เริ่มต้น (ดู) ของข้อมูล

• Data Science Hack #6 Pandas Str.split

มันถูกใช้เพื่อใช้ฟังก์ชั่นสตริงเวกเตอร์ในคอลัมน์ pandas dataframe สมมติว่าคุณต้องการแยกชื่อในคอลัมน์ DataFrame เป็นชื่อและชื่อสุดท้าย pandas.series.str พร้อมกับ split () สามารถใช้ในการทำงานนี้

• Data Science Hack #7 Extract อีเมลจากข้อความ

นี่คือแฮ็คที่น่าสนใจในการแยกรหัสอีเมลที่มีอยู่ในข้อความยาวโดยใช้รหัส 2 บรรทัดใน Python โดยใช้นิพจน์ทั่วไป การแยกข้อมูลจากโพสต์และเว็บไซต์โซเชียลมีเดียได้กลายเป็นวิธีปฏิบัติทั่วไปในการวิเคราะห์ข้อมูล แต่บางครั้งเราก็ลองใช้วิธีที่ซับซ้อนเพื่อให้บรรลุสิ่งที่สามารถแก้ไขได้ง่ายโดยใช้เทคนิคที่เหมาะสม

• Data Science Hack #8 การกระจายปกติ

หนึ่งในสมมติฐานที่สำคัญที่สุดในการถดถอยเชิงเส้นและโลจิสติกคือข้อมูลของเราจะต้องปฏิบัติตามการแจกแจงแบบปกติ แต่เราทุกคนรู้ว่ามักจะไม่ใช่กรณีในชีวิตจริง เรามักจะต้องแปลงข้อมูลของเราเป็นการกระจายปกติ/ เกาส์เซียน

• Data Science Hack #9 ลบ Emojis ออกจากข้อความ

การประมวลผลล่วงหน้าเป็นหนึ่งในขั้นตอนสำคัญสำหรับการปรับปรุงประสิทธิภาพของโมเดล หนึ่งในเหตุผลหลักสำหรับการประมวลผลข้อความล่วงหน้าคือการลบอักขระที่ไม่พึงประสงค์ออกจากข้อความเช่นเครื่องหมายวรรคตอนอิโมจิลิงก์และอื่น ๆ ที่ไม่จำเป็นสำหรับคำสั่งปัญหาของเรา

• Data Science Hack #10 วิธีข้อศอกสำหรับตัวจําแนก

วิธีการข้อศอกใช้สำหรับการระบุค่า K ในเพื่อนบ้าน K-Nearest มันเป็นพล็อตข้อผิดพลาดที่ค่าที่แตกต่างกันของ K และเราเลือกค่า k ที่มีข้อผิดพลาดน้อยที่สุด!

• Data Science Hack #11 minmax scaler

ส่วนสำคัญของการวิเคราะห์ข้อมูลคือการประมวลผลล่วงหน้า หลายครั้งที่เราจำเป็นต้องขยายคุณสมบัติของเราเช่นในกรณีของ K-NN เราจำเป็นต้องขยายข้อมูลก่อนที่จะสร้างโมเดลหรืออื่น ๆ มันจะให้ผลลัพธ์ปลอม

• Data Science Hack #12 Feature Engineering สำหรับข้อมูลอนุกรมเวลา

ข้อมูลส่วนใหญ่ที่รวบรวมในวันนี้ถือตัวแปรวันที่และเวลา มีข้อมูลมากมายที่คุณสามารถแยกออกจากคุณสมบัติเหล่านี้และคุณสามารถใช้ประโยชน์ได้ในการวิเคราะห์ของคุณ!

• Data Science Hack #13 ข้อมูลจำลองสำหรับการถดถอยเชิงเส้น

แบบจำลอง Deeplearning มักจะต้องใช้ #DATA จำนวนมากสำหรับการฝึกอบรม แต่การรับข้อมูลจำนวนมากมาพร้อมกับความท้าทายของตัวเอง แทนที่จะใช้เวลาหลายวันในการรวบรวมข้อมูลด้วยตนเองคุณสามารถใช้เทคนิคการเพิ่มภาพ มันเป็นกระบวนการสร้างภาพใหม่ ภาพใหม่เหล่านี้ถูกสร้างขึ้นโดยใช้ภาพการฝึกอบรมที่มีอยู่และด้วยเหตุนี้เราไม่จำเป็นต้องรวบรวมด้วยตนเอง

• Data Science Hack #14 HuggingFace Tokenization

Tokenization เป็นงานหลักในขณะที่สร้างคำศัพท์ HuggingFace เพิ่งสร้างห้องสมุดสำหรับ Tokenization ซึ่งให้การดำเนินการของโทเคนิเซอร์ที่ใช้มากที่สุดในปัจจุบันโดยมุ่งเน้นไปที่ประสิทธิภาพและความคล่องตัว คุณสมบัติที่สำคัญ: Ultra-Fast: พวกเขาสามารถเข้ารหัสข้อความ 1GB ใน ~ 20Sec บน CPU ของเซิร์ฟเวอร์มาตรฐาน

• Data Science Hack #15 แบ่งข้อมูลต่อเนื่องและจัดหมวดหมู่

คุณสามารถแยกคุณสมบัติที่เป็นหมวดหมู่และตัวเลขลงใน DataFrames แยกในรหัสเพียง 1 บรรทัด! สามารถทำได้โดยใช้ฟังก์ชั่น select_dtypes

• Data Science Hack #16 การทำโปรไฟล์แพนด้า

คุณต้องการทำการวิเคราะห์ข้อมูลอย่างรวดเร็วบน DataFrame ของคุณหรือไม่? คุณสามารถใช้การทำโปรไฟล์แพนด้าเพื่อสร้างรายงานโปรไฟล์ของชุดข้อมูลของคุณในรหัสเพียง 1 บรรทัด!

• Data Science Hack #17 การจัดรูปแบบ DataFrame

แปลง DataFrame รูปแบบกว้างเป็นรูปแบบ DataFrame แบบยาวในรหัสเพียง 1 บรรทัด! ใน pd.melt () มีการใช้คอลัมน์อีกหนึ่งคอลัมน์เป็นตัวระบุ "Unmelt the Data" ใช้ฟังก์ชัน Pivot ()

• Data Science Hack #18 Magic Function- %ประวัติ

คุณรู้หรือไม่ว่าคุณจะได้รับประวัติของคำสั่งทั้งหมดที่ทำงานภายในสมุดบันทึก Jupyter ของคุณได้อย่างไร? ใช้ประวัติ %ฟังก์ชั่นเวทมนตร์ในตัวของ Jupyter Notebook! หมายเหตุ - แม้ว่าคุณจะตัดเซลล์ในสมุดบันทึกของคุณประวัติ %จะพิมพ์คำสั่งเหล่านั้นด้วย!

• Data Science Hack #19 HeatMap บน Pandas Dataframe

สร้างความร้อนบน Pandas Dataframe โดยใช้ Seoborn! มันช่วยให้คุณเข้าใจช่วงของค่าที่สมบูรณ์แบบที่เหลือบ

• Data Science Hack #20 พล็อตเมทริกซ์ความสับสน

Scikit-Learn ได้เปิดตัวเวอร์ชัน 0.22.1 ที่เสถียรพร้อมคุณสมบัติใหม่และการแก้ไขข้อบกพร่อง หนึ่งฟังก์ชั่นใหม่คือฟังก์ชั่น plot_confusion_matrix ซึ่งสร้างเมทริกซ์ความสับสนที่ใช้งานง่ายและปรับแต่งได้มากสำหรับตัวจําแนกของคุณ เคล็ดลับโบนัส: คุณสามารถระบุรูปแบบของตัวเลขที่ปรากฏในกล่องโดยใช้พารามิเตอร์ values_format ('n' สำหรับตัวเลขทั้งหมด '.2f' สำหรับลอย ฯลฯ )

• Data Science Hack #21 Ipython Interactive Shell

จะเป็นอย่างไรถ้าคุณเรียกใช้คำสั่งต่อไปนี้ในเซลล์เดียวของสมุดบันทึก Jupyter ของคุณ? df.shape df.head () แน่นอนว่ามันจะเป็นห้าแถวแรกของ dataframe ของคุณ เราสามารถรับเอาต์พุตของทั้งคำสั่งทำงานในเซลล์เดียวกันได้หรือไม่? คุณสามารถทำได้โดยใช้ InteractiveShell

• Data Science Hack #22 Python TQDM

พวกคุณส่วนใหญ่เคยได้ยินเกี่ยวกับ Library TQDM และคุณอาจใช้มันติดตามความคืบหน้าของการทำงานตลอดไปสำหรับลูป เวลาส่วนใหญ่ที่เราเขียนฟังก์ชั่นที่ซับซ้อนซึ่งซ้อนกันสำหรับลูป #TQDM อนุญาตให้ติดตามได้เช่นกัน นี่คือวิธีที่คุณสามารถติดตามลูปซ้อนกันโดยใช้ TDQM ใน Python

• Data Science Hack #23 Augmentation

แบบจำลอง Deeplearning มักจะต้องใช้ข้อมูลจำนวนมากสำหรับการฝึกอบรม แต่การรับข้อมูลจำนวนมากมาพร้อมกับความท้าทายของตัวเอง แทนที่จะใช้เวลาหลายวันในการรวบรวมข้อมูลด้วยตนเองคุณสามารถใช้เทคนิคการเพิ่มภาพ มันเป็นกระบวนการสร้างภาพใหม่ ภาพใหม่เหล่านี้ถูกสร้างขึ้นโดยใช้ภาพการฝึกอบรมที่มีอยู่และด้วยเหตุนี้เราไม่จำเป็นต้องรวบรวมด้วยตนเอง

• Data Science Hack #24 การตั้งค่าธีมสมุดบันทึก Dark Jupyter

ธีม Jupyter เป็นวิธีที่ง่ายในการเปลี่ยนธีมฟอนต์และอีกมากมายในสมุดบันทึก Jupyter ของคุณ

ขั้นตอน -

1. ติดตั้ง JUPYTER -FEMES -
   • ใช้ Anaconda

     conda install -c conda-forge jupyterthemes

   • ใช้ PIP

     pip install jupyterthemes

2. ตรวจสอบรายการธีม -

   jt - l

3. เลือกธีม

   jt -t chesterish

4. เพื่อกู้คืนเป็นธีมเริ่มต้น -

   jt -r

• Data Science Hack #25 เปลี่ยนความกว้างของเซลล์ในสมุดบันทึก Jupyter

ในการทำเช่นนี้เราใช้ธีม Jupyter มันเป็นวิธีที่ง่ายในการเปลี่ยนธีมฟอนต์และอีกมากมายในสมุดบันทึก Jupyter ของคุณ

ขั้นตอน -

1. ติดตั้ง JUPYTER -FEMES -

   • ใช้ Anaconda

     conda install -c conda-forge jupyterthemes

   • ใช้ PIP

     conda install -c pip install jupyterthemes

2. เปลี่ยนธีมความกว้างของเซลล์ความสูงของเซลล์

   jt -t chesterish -cellw 100% lineh 170

• Data Science Hack #26 parse_dates ใน read_csv () เพื่อเปลี่ยนประเภทข้อมูลเป็น dateTime

คุณจะทำอย่างไรเมื่อคุณต้องการเปลี่ยนประเภทข้อมูลของคอลัมน์เป็น DateTime? เราสามารถทำได้โดยตรงในเวลาที่อ่านข้อมูลโดยใช้อาร์กิวเมนต์ parse_dates

• Data Science Hack 27 Share Jupyter Notebook โดยใช้ nbViewer

คุณสามารถแบ่งปันสมุดบันทึก Jupyter ของคุณกับผู้ที่ไม่ใช่โปรแกรมเมอร์ได้อย่างง่ายดายและวิธีที่ดีที่สุดในการทำคือการใช้ Jupyter NbViewer เคล็ดลับมืออาชีพ - คุณสามารถใช้สารยึดเกาะเพื่อเรียกใช้รหัสจาก NBViewer บนเครื่องของคุณ!

• Data Science Hack #28 แผนผังการตัดสินใจ

คุณรู้วิธีพล็อตแผนผังการตัดสินใจในรหัสเพียง 1 บรรทัดหรือไม่? Sklearn ให้ฟังก์ชั่นง่าย ๆ plot_tree () เพื่อทำงานนี้ คุณสามารถปรับแต่งพารามิเตอร์ hyperparameters ตามความต้องการของคุณ

• Data Science Hack #29 Invert Dictionary

คุณรู้หรือไม่ว่าคุณสามารถกลับพจนานุกรมใน Python ได้อย่างไร? พจนานุกรมเป็นคอลเลกชันที่ไม่ได้เรียงลำดับเปลี่ยนแปลงและจัดทำดัชนี มีการใช้กันอย่างแพร่หลายในการเขียนโปรแกรมแบบวันต่อวันและงานการเรียนรู้ของเครื่อง

• Data Science Hack #30 Plots แบบโต้ตอบโดยใช้ Plotly

Cufflinks ผูกพล็อตโดยตรงกับ pandas dataframes! ดังนั้นคุณสามารถสร้างแผนภูมิแบบโต้ตอบได้โดยไม่ต้องยุ่งยากหรือมีรหัสยาว

• Data Science Hack #31 เขียนไฟล์ Python โดยตรงจาก Jupyter Notebook Cell

การแฮ็คนี้เกี่ยวกับการบันทึกเนื้อหาของเซลล์เป็นไฟล์. py โดยใช้คำสั่ง Magic %% WriteFile จากนั้นเรียกใช้ไฟล์ในสมุดบันทึก Jupyter อื่นโดยใช้ Magic Command %Run Run Run

• Data Science Hack #32 โครงสร้างข้อมูลพิมพ์สวย

คุณสับสนในขณะที่พิมพ์โครงสร้างข้อมูลบางส่วนหรือไม่? ไม่ต้องกังวลมันเป็นเรื่องธรรมดามาก โมดูลการพิมพ์สวยเป็นวิธีที่ง่ายในการพิมพ์โครงสร้างข้อมูลด้วยวิธีที่น่าพอใจ!

• Data Science Hack #33 Date Parser

รหัสนี้ช่วยให้คุณสามารถแปลงวันที่ของรูปแบบใด ๆ เป็นรูปแบบที่ระบุ หลายครั้งที่เราได้รับวันที่ของรูปแบบต่าง ๆ ในข้อมูลของเรา แฮ็คนี้จะช่วยให้คุณแปลงรูปแบบเหล่านั้นทั้งหมดเป็นรูปแบบที่ระบุ

• Data Science Hack #34 การเลือกคุณลักษณะโดยใช้ SelectFroverel

หนึ่งในวิธีการเลือกคุณสมบัติคือการใช้แอตทริบิวต์ feature_importance_ ของตัวประมาณพื้นฐาน การใช้ฟังก์ชั่น SelectFroverel คุณสามารถระบุตัวประมาณและเกณฑ์สำหรับ Feature_importance_ แฮ็คนี้ใช้ 'หมายถึง' เป็นเกณฑ์ คุณสามารถปรับแต่งธรณีประตูเพื่อให้ได้ผลลัพธ์ที่ดีที่สุด เพื่อเรียนรู้เพิ่มเติมเยี่ยมชมเอกสาร

• Data Science Hack #35 แปลงสตริงเป็นตัวละคร

วิธีที่ง่ายที่สุดในการแปลงสตริงเป็นอักขระคืออะไร? นี่คือแฮ็คง่าย ๆ ที่มีประโยชน์ในขณะที่ทำงานกับข้อมูลข้อความ

• Data Science Hack #36 ปรับขนาดภาพ

ในขณะที่การสร้างรูปแบบการจำแนกรูปภาพโดยใช้การเรียนรู้อย่างลึกซึ้งจำเป็นต้องมีภาพทั้งหมดที่ควรมีขนาดเท่ากัน อย่างไรก็ตามเนื่องจากข้อมูลมาจากแหล่งข้อมูลที่แตกต่างกันรูปภาพอาจมีรูปร่างที่แตกต่างกัน ดังนั้นในการแปลงให้เป็นรูปร่างเดียวกันเราสามารถใช้ฟังก์ชั่น Resize จาก CV แบบเปิด แฮ็คนี้จะช่วยให้คุณแปลงภาพรูปร่างใด ๆ เป็นรูปร่างที่กำหนด

• Data Science Hack #37 ใช้แพนด้าในแบบคู่ขนาน

ต้องใช้เวลาในการดำเนินการบนแพนด้า dataframe ของคุณหรือไม่? Pandarallel เป็นเครื่องมือที่เรียบง่ายและมีประสิทธิภาพในการขนานการทำงานของ Pandas ในซีพียูที่มีอยู่ทั้งหมดของคุณ!

• Data Science Hack #38 Expressions เทียบกับความเข้าใจในรายการ

เครื่องกำเนิดไฟฟ้าให้ผลครั้งละหนึ่งรายการและสร้างขึ้นเมื่อต้องการเท่านั้น เครื่องกำเนิดไฟฟ้ามีประสิทธิภาพมากขึ้น แฮ็คนี้เปรียบเทียบนิพจน์เครื่องกำเนิดไฟฟ้ากับรายการความเข้าใจ

• Data Science Hack #39 ทดสอบ regex ของคุณ

คุณหลีกเลี่ยง regex เพราะยากที่จะอ่านและเขียนและยุ่งยากในการได้รับใช่ไหม? แฮ็คนี้ช่วยให้คุณแก้ไข regex ได้ Regex101 เป็นตัวทดสอบ Regex ออนไลน์ดีบักเกอร์พร้อมไฮไลต์สำหรับ PHP, PCRE, Python, Golang และ JavaScript

• Data Science Hack #40 แปลงรายการรายการเป็นรายการ

บางครั้งข้อมูลอาจอยู่ในรูปแบบของรายการซ้อนกัน ตัวอย่างเช่นข้อมูลอาจเป็นบันทึกการทำธุรกรรมที่ชาญฉลาดสำหรับผลิตภัณฑ์เฉพาะ อย่างไรก็ตามคุณอาจต้องใช้ในมิติเดียวเท่านั้น การแฮ็คนี้จะช่วยให้คุณแบนรายการรายการลงในรายการเดียว

• Data Science Hack #41 ซ่อนข้อความพิมพ์

เรามักจะใช้คำสั่งพิมพ์เพื่อวัตถุประสงค์ในการดีบัก แฮ็คนี้จะช่วยให้คุณปิดงบพิมพ์ในส่วนเฉพาะของรหัสเพื่อให้การดีบักง่ายขึ้น

• Data Science Hack #42 SPLIT PDF เอกสารหน้าฉลาด

แฮ็คนี้จะช่วยให้คุณแยกเอกสาร PDF เดียวเป็นหลายหน้า

• Data Science Hack #43 รวมเอกสาร PDF

การแฮ็กนี้จะช่วยให้คุณรวมเอกสาร PDF หลายรายการไว้ในเอกสารเดียว แฮ็คนี้เป็นหน้าผกผันของแฮ็ค #42 หน้าเอกสาร PDF ที่ฉลาด

• Data Science Hack #44 สร้างภาพข้อมูลที่กำหนดเองใน Keras

บางครั้งคุณอาจต้องใช้ฟังก์ชันการทำงานที่ไม่ได้รับโดยตรงจากเครื่องถ่ายภาพของ Keras คุณสามารถสร้างเสื้อคลุมรอบ ๆ ได้อย่างง่ายดายเพื่อให้เหมาะกับความต้องการของคุณ

1. ตัวอย่างเช่น USECASE ของคุณคือคุณมีรูปแบบการเรียนรู้ลึกหลายอินพุตเช่นนี้

(เช่นเครือข่ายประสาทซึ่งรับข้อมูลจากแหล่งข้อมูลหลายแหล่งและทำการฝึกอบรมรวมกันในข้อมูลนี้) และคุณต้องการให้เครื่องกำเนิดข้อมูลควรจัดการการเตรียมข้อมูลได้ทันทีคุณสามารถสร้าง wrapper รอบคลาส imagedatagenerator เพื่อให้เอาต์พุตที่จำเป็น

2. กรณีการใช้งานอื่นอาจเป็นได้ว่าคุณต้องการปรับขนาดภาพจากรูปร่างบอกว่า 150x150 เป็นรูปร่าง 224x224 ซึ่งโดยทั่วไปใช้โดยรุ่นที่ผ่านการฝึกฝนคุณสามารถปรับแต่ง imagedatagenerator โดยไม่ต้องเข้ารหัสตัวสร้างข้อมูลของคุณเองจากพื้นดิน