‫ยินดีต้อนรับกลับมา ทุกคน เข้าสู่การอภิปรายอย่างต่อเนื่องเกี่ยวกับทฤษฎีและสัญชาตญาณเบื้องหลังเวกเตอร์เครื่องสนับสนุน
‫ในการบรรยายนี้ เราจะเน้นไปที่เคล็ดลับเคอร์เนลและคณิตศาสตร์ที่อยู่เบื้องหลังเวกเตอร์เครื่องสนับสนุน
‫ก่อนหน้านี้ เราได้พูดถึงแต่สัญชาตญาณเบื้องหลังวิธีการเหล่านี้เท่านั้น
‫เราจะทำตอนนี้โดยย่อเกี่ยวกับคณิตศาสตร์ทั่วไปว่าเราสร้างขึ้นเพื่อรองรับเวกเตอร์แมชชีนได้อย่างไร
‫และเราจะหารือกันด้วยว่าคณิตศาสตร์เกี่ยวข้องกับการโทรในชั้นเรียนกายสิทธิ์อย่างไร
‫เราจะเริ่มด้วยการทบทวนสั้นๆ เกี่ยวกับการใช้ตัวแยกประเภทตามระยะขอบ
‫ดังนั้นการขยายจากตัวแยกประเภทระยะขอบสูงสุดไปยังตัวแยกประเภทเวกเตอร์สนับสนุน จากนั้นใช้เคล็ดลับเคอร์เนลสำหรับเครื่องเวกเตอร์สนับสนุนในที่สุด
‫ตอนนี้อย่าลังเลที่จะพิจารณาว่านี่เป็นการบรรยายเสริมซึ่งคุณสามารถแทนที่ด้วยการอ่านแบบสัมพัทธ์
‫การอ่านเบื้องหลังสามารถพบได้ในบทที่ 9 ของ Introduction to Statistical Learning
‫สำหรับภาพรวมเชิงลึกที่ครอบคลุมของทุกสิ่งที่กล่าวถึง คุณสามารถดูสิ่งพิมพ์ต้นฉบับโดย
‫Cortez และ APNIC ที่เรียกว่า Support Vector Networks ใน Machine Learning Journal
‫อันดับแรก เรามาพูดถึงไฮเปอร์พอยต์ที่นิยามทางคณิตศาสตร์กันก่อน
‫ที่นี่ฉันสามารถจินตนาการถึงพื้นที่สองมิติที่มีคุณสมบัติสองอย่าง x หนึ่งและ x สอง
‫ไฮเปอร์ระนาบเป็นเพียงเส้นในสองคุณสมบัติ ซึ่งหมายความว่าผมสามารถนิยามสิ่งนี้ทางคณิตศาสตร์ได้เหมือนกับเส้นที่เราเคยเห็นมาก่อน
‫เบต้า ไม่ใช่สำหรับการสกัดกั้นบวกเบต้าหนึ่งครั้ง x หนึ่ง บวก เบต้าสองครั้ง x สอง และตั้งค่านี้ให้เป็นศูนย์
‫และจะมีชุดเบต้าบางชุดที่จะกำหนดบรรทัดนี้
‫โปรดจำไว้ว่า ฉันสามารถขยายสิ่งนี้เป็น p ของมิติข้อมูล เพียงแค่ทำต่อไปโดยมีค่าสัมประสิทธิ์เบต้าเดียวสำหรับทุกฟีเจอร์
‫นี่คือคำจำกัดความทางคณิตศาสตร์ของระนาบสำหรับคุณสมบัติจำนวน P บางส่วน
‫มาพูดถึงการแยกเครื่องบินกัน
‫แนวคิดเบื้องหลังไฮเปอร์เพลนสำหรับเวคเตอร์แมชชีนสนับสนุนคือ พวกมันกำลังแยกคลาสออก ซึ่งหมายความว่าฉันควรเริ่มคิดถึงไม่ใช่แค่เส้นระนาบเท่านั้น
‫แต่นิยามทางคณิตศาสตร์ของสิ่งที่ฉันจะพิจารณาว่าเป็นปัจจัยแยก .
‫ผมอยากพิจารณาว่าค่าที่อยู่เหนือศูนย์จะตกด้านหนึ่งของระนาบนี้
‫ในทำนองเดียวกัน ค่าที่ต่ำกว่าศูนย์จะตกที่อีกด้านหนึ่งของระนาบ
‫ตอนนี้ผมมีสมการชุดหนึ่งที่สามารถกำหนดได้ว่าคุณตกลงไปด้านใดของระนาบ
‫การพิจารณาครั้งสุดท้ายที่เราต้องทำเพื่อกำหนดบางอย่างในทางคณิตศาสตร์ เช่น ตัวแยกประเภทระยะขอบสูงสุดคือจุดข้อมูลเอง
‫สิ่งที่ควรทราบในที่นี้คือ เมื่อเราพิมพ์สิ่งนี้ตามหลักคณิตศาสตร์ โดยปกติแล้ว
‫เราจะแสดงจุดคุณลักษณะหรือจุดข้อมูลจริงเป็นเมทริกซ์ทรานสโพสของ X
‫กล่าวคือ x หนึ่งถึง n แทนจำนวนจุดข้อมูล และ 1 ถึง P แทนจำนวนคุณลักษณะ
‫ดังนั้นโปรดสังเกตว่าสิ่งนี้ถูกย้ายจากวิธีที่เราเขียนข้อมูลของเราโดยทั่วไป
‫ในบางอย่างเช่น data frame ของ PANDAS มันเป็นข้อมูลเดียวกันเพียงแค่ทรานสโพส
‫ดังนั้นคอลัมน์ของแถวและแถวของคอลัมน์ อีกครั้งหนึ่งผ่าน NN
‫คือจำนวนจุดเอง หนึ่งถึง P คือจำนวนคุณลักษณะจริง
‫ในกรณีนี้ เราจะมีคุณสมบัติสองอย่าง x หนึ่ง และ x สอง จากไดอะแกรมทางด้านขวา และเราจะมีหกจุด
‫ดังนั้น 1 ถึง 6 จะเป็น 1 ถึง N
‫ตอนนี้ ลองใช้ข้อมูลทั้งหมดนี้เพื่อกำหนดตัวแยกประเภทมาร์จิ้นสูงสุดในทางคณิตศาสตร์
‫โปรดจำไว้ว่าจุดประสงค์ทั้งหมดของตัวแยกประเภทระยะขอบสูงสุดคือการเพิ่ม M โดยที่ M คือระยะขอบที่ขยายจากระนาบไฮเปอร์
‫ดังนั้นเราจึงพยายามเลือกค่าสัมประสิทธิ์เบต้าที่ดีที่สุดที่สามารถเพิ่มมาร์จิ้นนี้ได้ แต่เราก็มีข้อจำกัดบางประการ
‫เราอยู่ภายใต้ข้อจำกัดทั้งสองนี้ตามชุดข้อมูล
‫ดังนั้นสิ่งนี้หมายความว่าอย่างไร?
‫ทั้งหมดนี้หมายความว่าสิ่งที่เราพยายามทำคือพิจารณาจุดข้อมูลที่นี่
‫ในกรณีนี้ เรามีจุดข้อมูลหกจุดหรือหนึ่งจุดผ่าน RN
‫และสิ่งที่เราต้องการทำคือต้องแน่ใจว่าเราทำตามข้อกำหนดของหัวข้อนี้ โดยพื้นฐานแล้วจุดข้อมูลจะเท่ากับหรือมากกว่าระยะขอบ
‫ขึ้นอยู่กับว่าจริง ๆ แล้วจุดข้อมูลอยู่ด้านใด
‫โดยพื้นฐานแล้วนี่เป็นเพียงวิธีการทางคณิตศาสตร์ที่บอกว่าสำหรับตัวแยกประเภทระยะขอบสูงสุด ไม่มีจุดข้อมูลใดที่สามารถอยู่ภายในระยะขอบได้
‫นอกจากนี้ เรายังต้องใช้กำลังสองบางส่วนนี้สำหรับค่าสัมประสิทธิ์เบต้าเท่ากับหนึ่ง
‫ทีนี้ สิ่งนี้ช่วยสอดคล้องกับสมการอื่นโดยพิจารณาว่า ถ้าคุณต้องแทนค่าคุณลักษณะลงในสมการด้านล่าง
‫ถ้าคุณอยู่ภายใต้เบต้ากำลังสองและผลรวมของค่าเหล่านั้นเท่ากับหนึ่ง แล้ว
‫y ของ EI คูณ โดยค่าสัมประสิทธิ์เบต้าคูณค่าคุณลักษณะทำให้คุณมีระยะห่างในแนวตั้งฉากจากจุดไปยังระนาบไฮเปอร์
‫และช่วยให้มั่นใจได้ว่าระยะทางนั้นอย่างน้อยก็ใหญ่เท่ากับระยะขอบ
‫นี่เป็นเพียงการบอกว่าด้วยข้อจำกัดนี้ เราสามารถคำนวณระยะทางมุมฉากในทางคณิตศาสตร์จากจุดใดก็ได้ไปยังระนาบไฮเปอร์
‫และในที่นี้ เรามีคำจำกัดความทั้งหมด ซึ่งในทางคณิตศาสตร์ของตัวแยกประเภทระยะขอบสูงสุด
‫อีกครั้ง เมื่อพิจารณาจากเมทริกซ์ทรานสโพสของจุดข้อมูล เราต้องการหาสัมประสิทธิ์เบตาที่จะเพิ่ม
‫m ให้มากที่สุดภายใต้สมการทั้งสองนี้ ซึ่งทำให้แน่ใจได้ว่าจุดต่างๆ อยู่นอกระยะขอบเหล่านั้นและอยู่ด้านที่ถูกต้อง
‫ของระยะขอบที่กำหนดในชั้นเรียนของพวกเขา
‫และเราอยู่ภายใต้สัมประสิทธิ์ผลรวมเบตากำลังสองนี้ เท่ากับหนึ่ง เพื่อกำหนดระยะทางมุมฉากจากจุดไปยังระนาบไฮเปอร์
‫ทีนี้มาดูตัวแยกประเภทเวกเตอร์สนับสนุนกัน
‫โปรดจำไว้ว่า ตัวแยกประเภทเวกเตอร์สนับสนุนนั้นแตกต่างจากตัวแยกประเภทระยะขอบสูงสุด เนื่องจากอนุญาตให้มีการจัดประเภท
‫MIS โดยพื้นฐานแล้วอนุญาตให้จุดจำนวนหนึ่งอยู่ภายในระยะขอบ
‫ดังนั้นเราจึงยังคงต้องการเพิ่มระยะขอบนี้ให้มากที่สุด และเรายังต้องการทำให้แน่ใจว่าผลรวมของเบตากำลังสองเท่ากับหนึ่ง
‫เพื่อให้สามารถกำหนดระยะห่างมุมฉากจากเวกเตอร์ไปยังระนาบได้
‫แต่เนื่องจากเป็นตัวแยกประเภทเวกเตอร์สนับสนุน ตอนนี้ฉันอนุญาตให้มีข้อผิดพลาดบางอย่าง
‫สังเกตว่าฉันกำลังใช้ epsilon และ epsilon นี้เป็นความสัมพันธ์ระหว่างค่า C ที่ตั้งไว้ โดยที่ค่า C นี้จะเป็นตัวกำหนดจำนวนการจำแนกประเภทที่ผิดพลาดที่คุณยอมให้ตัวเอง
‫ดังนั้นจึงค่อนข้างเป็นสมการเดียวกัน ยกเว้นตอนนี้ระยะขอบมีปัจจัยข้อผิดพลาดนี้ ปัจจัย epsilon
‫กำหนดโดยผลรวมของ epsilon ที่น้อยกว่าหรือเท่ากับเพื่อดูว่าผู้ใช้สามารถให้ C ได้ที่ไหน
‫และเราจะสามารถใช้การตรวจสอบความถูกต้องข้ามเพื่อแก้ปัญหาสำหรับ C ที่เหมาะสมที่สุด เพื่อเพิ่มความแม่นยำสูงสุด หรือเพิ่มความแม่นยำสูงสุด
‫หรือเรียกคืนได้ ขึ้นอยู่กับสิ่งที่เราพยายามเพิ่มประสิทธิภาพจริงที่นี่
‫แต่นี่คือคำจำกัดความแบบเต็มของตัวแยกประเภทเวกเตอร์สนับสนุน โดยพื้นฐานแล้ว เหมือนกับตัวแยกประเภทระยะขอบสูงสุด
‫แต่ด้วยข้อจำกัดเพิ่มเติมเหล่านี้หรือการเพิ่มข้อเท็จจริงที่ว่าเราอาจมีการจำแนกประเภทที่ผิดพลาดซึ่งถูกจำกัดด้วยค่า
‫C บางส่วน และเมื่อ C มีค่าเป็นศูนย์ เราก็กลับมาที่ตัวแยกประเภทระยะขอบสูงสุด โดยพื้นฐานแล้วจะไม่อนุญาตให้มีข้อผิดพลาดใดๆ
‫ตอนนี้บันทึกย่อเกี่ยวกับค่า C นี้
‫คุณควรสังเกตว่าวิธีที่เรานิยามมันในที่นี้ในทางคณิตศาสตร์ ยิ่งค่า C มากเท่าไหร่ เราก็ยิ่งยอมให้มีข้อผิดพลาดมากขึ้นเท่านั้น
‫Insight สามารถเรียนรู้ได้เนื่องจากพวกเขาต้องการคงความสอดคล้องกันในหลายโมเดล
‫พวกเขาบอกว่า C เป็นพารามิเตอร์การทำให้เป็นมาตรฐาน ซึ่งแปรผกผันกับ C ที่แสดงในสมการที่นี่
‫นั่นคือทั้งหมดที่จะบอกว่าในทางคณิตศาสตร์ ในสมการที่เราแสดงที่นี่ เมื่อคุณเพิ่ม C คุณจะเพิ่มจำนวนการจำแนกประเภทที่ผิดที่คุณอนุญาตให้มีข้อมูลเชิงลึกที่สามารถเรียนรู้ได้
‫เป็นสัดส่วนผกผันกับสมการที่แสดงไว้นี้
‫เห็นได้ชัดว่าพวกเขาจะชัดเจนมากขึ้นเมื่อเราเริ่มทดลองกับการเรียนรู้ทางจิต แต่เป็นเพียงบางสิ่งที่ต้องจำไว้ว่า
‫C ในกายสิทธิ์เรียนรู้เอกสารและการเรียกคลาสสำหรับเวกเตอร์เครื่องสนับสนุนนั้นไม่เหมือนกันทุกประการที่ฉันแสดงที่นี่
‫ในสมการหรือที่คุณมักจะอ่านเมื่อคุณกำลังอ่านสมการสำหรับเวกเตอร์เครื่องสนับสนุนจริงๆ
‫มันเป็นสัดส่วนผกผันกับ C จริง ๆ และนั่นเป็นเพียงเพราะพวกเขาต้องการให้พารามิเตอร์การทำให้เป็นมาตรฐานนั้นสอดคล้องกันในหลาย
‫ๆ โมเดล
‫ตกลง.
‫สุดท้ายนี้ มาดูการสนับสนุนเวกเตอร์แมชชีนกัน และวิธีที่เรานิยามสิ่งเหล่านี้ทางคณิตศาสตร์
‫จำได้ว่าเราจำเป็นต้องใช้เครื่องสนับสนุนเวกเตอร์ ซึ่งเราไม่สามารถค้นหาไฮเปอร์ระนาบที่แยกออกได้อย่างชัดเจนสำหรับจุดข้อมูลของเรา
‫ที่นี่เรามีสิ่งที่ดูเหมือนสิ่งที่เราแยกจากกันไม่ได้จริงๆ
‫เรามีแต้มอยู่ตรงกลางแล้วมีคลาสอื่นล้อมรอบ
‫สิ่งที่เราทำดังที่เราพูดคุยกันก่อนหน้านี้คือเปลี่ยนสิ่งนี้เป็นมิติที่สูงขึ้นหรือพื้นที่คุณลักษณะ
‫ตอนนี้ฉันสามารถมีคุณลักษณะ x1x2 ไปจนสุดทางเพื่อขยายจำนวนคุณลักษณะ และฉันสามารถใช้บางอย่าง
‫เช่น การแปลงพหุนามโดยใช้ x หนึ่งและ x หนึ่งกำลังสอง x เป็น x สองกำลังสอง ไปจนถึง XP และ xp
‫กำลังสอง
‫เพื่อพยายามหาว่ามีไฮเปอร์เพลนในพื้นที่คุณลักษณะขนาดใหญ่กว่านี้หรือไม่ ที่จะสามารถแยกคลาสทั้งสองนี้ออกได้สำเร็จ
‫และฉันยังอนุญาตให้มีการจัดประเภทที่ไม่ถูกต้องในพื้นที่คุณลักษณะที่สูงขึ้นนี้
‫อีกครั้งที่ฉันต้องการทำคือเพิ่มระยะขอบให้สูงสุด
‫แต่ตอนนี้ฉันมีค่าสัมประสิทธิ์เบต้าอีกมากที่ต้องพิจารณา ทั้งนี้ขึ้นอยู่กับพื้นที่คุณลักษณะที่ฉันกำลังขยายส่วนนี้
‫ดังนั้นหากเราจัดรูปแบบทางคณิตศาสตร์ทั้งหมด สิ่งที่เรากำลังทำอยู่นี้คือ เรากำลังบวกบวกสำหรับกรณีง่าย
‫ๆ ของพหุนามกำลังสอง
‫โปรดทราบว่านี่ไม่ใช่เครื่องเวกเตอร์สนับสนุนทั่วไป
‫ฉันแค่แสดงเครื่องเวกเตอร์สนับสนุนที่เราแสดงให้เห็นก่อนหน้านี้ว่าการขยายพื้นที่คุณลักษณะถูกยกกำลังสองไว้ที่ไหน
‫โดยพื้นฐานแล้วหนึ่งในเครื่องเวกเตอร์สนับสนุนที่ง่ายที่สุดที่เราสามารถทำได้
‫ดังนั้นเราจึงไม่เพียงแค่พิจารณา x1x2 ไปจนถึง XP อีกต่อไป แต่เรากำลังพิจารณาค่าคุณลักษณะกำลังสองด้วย
‫ฉันยังต้องการเพิ่มมาร์จิ้นของฉันให้สูงสุด
‫M แต่ตอนนี้ฉันมีสัมประสิทธิ์ไม่เพียงแต่สำหรับคุณสมบัติดั้งเดิมแต่ยังมีสัมประสิทธิ์สำหรับคุณสมบัติกำลังสองด้วย
‫และฉันอนุญาตให้พลาดการจำแนกประเภทซึ่งคุณจะสังเกตเห็นว่าจริง ๆ แล้วอยู่ในหัวเรื่อง Y โดยที่มันมากกว่าหรือเท่ากับระยะขอบคูณด้วยหนึ่งลบด้วยเอปไซลอน
‫โดยที่เอปไซลอนถูกกำหนดอีกครั้งโดยพารามิเตอร์ผู้ใช้ C นี้โดยพื้นฐานแล้วทำให้สามารถจำแนกประเภทผิดได้แม้ใน
‫พื้นที่คุณลักษณะที่สูงขึ้นนี้
‫ดังนั้นเครื่องเวกเตอร์สนับสนุนที่มีการใช้พื้นที่คุณลักษณะที่ใหญ่กว่านี้จะช่วยให้ฉันสามารถหาวิธีแยกพื้นที่คุณลักษณะจริงเพื่อจำแนกจุดเหล่านี้ได้อย่างถูกต้อง
‫แม้จะอยู่เหนือข้อจำกัดของคุณลักษณะดั้งเดิม
‫เนื่องจากตอนนี้ฉันกำลังพิจารณาพื้นที่คุณลักษณะที่ใหญ่กว่าของสิ่งต่างๆ เช่น x กำลังสองหรือ x สองกำลังสอง เป็นต้น
‫ตอนนี้คำถามหลักที่เกิดขึ้นเมื่อเราย้ายไปยังพื้นที่คุณลักษณะที่ใหญ่ขึ้นคือเราจะจัดการกับความซับซ้อนที่เพิ่มขึ้นนี้ได้อย่างไร
‫เราแสดงให้เห็นแค่ตัวอย่างง่ายๆ ของดีกรีพหุนามของสอง
‫เป็นไปได้มากที่ชุดข้อมูลที่ซับซ้อนกว่านี้ เราจะต้องขยายพหุนามนี้ให้ใหญ่ขึ้นมาก
‫และเมื่อลำดับพหุนามเพิ่มมากขึ้น จำนวนการคำนวณที่จำเป็นในการแก้ปัญหาหามาร์จิ้นก็เพิ่มขึ้นจนถึงจุดที่มันอาจเป็นไปไม่ได้เลยที่จะคำนวณการคำนวณมาร์จิ้นจำนวนมากนั้นจริงๆ
‫คำตอบในการจัดการสิ่งนี้อยู่ในเคล็ดลับเคอร์เนล ซึ่งใช้ประโยชน์จากผลคูณภายในของเวกเตอร์
‫สิ่งนี้เรียกอีกอย่างว่าผลิตภัณฑ์ DOT
‫ก่อนที่เราจะแสดงให้คุณเห็นว่าเราสามารถใช้เคล็ดลับเคอร์เนลกับการคำนวณเครื่องเวกเตอร์ที่สนับสนุนได้อย่างไร
‫เรามาทบทวนกันอย่างรวดเร็วว่าผลิตภัณฑ์ดอทหรือผลิตภัณฑ์ภายในมีความหมายอะไร
‫ที่นี่เราจะลดรูปดอทโปรดัคให้อยู่ระหว่างเวกเตอร์สองตัว และจำไว้ว่าเวกเตอร์สามารถเป็นมากกว่าสองมิติดังที่แสดงไว้ที่นี่สามารถเป็นได้หลายมิติ
‫แต่เพื่อความง่าย เราจะใช้สิ่งนี้ในสเปซสองมิติ
‫ฉันมีเวกเตอร์ A และเวกเตอร์ B และผลคูณ DOT หรือผลคูณภายในระหว่างเวกเตอร์สองตัวนี้ถูกกำหนดเป็นผลรวมขององค์ประกอบย่อยแต่ละตัวคูณกัน
‫กล่าวคือ หากผมมีเวกเตอร์สองมิติแสดงไว้ตรงนี้ ก็จะมีองค์ประกอบย่อยตามแกน
‫x และองค์ประกอบย่อยตามแกน y ซึ่งผมนิยามได้ว่าเป็น 1 และ b หนึ่งตามแกน x แล้วตามด้วย
‫2 และ B สองตามแกน y
‫และคุณสามารถจินตนาการได้ว่าเมื่อเราไปยังเวกเตอร์สามมิติ เวกเตอร์สี่มิติ ฯลฯ จะมีองค์ประกอบย่อยสำหรับแต่ละมิติเหล่านั้นและสำหรับผลิตภัณฑ์ DOT
‫นั่นหมายความว่าในกรณีนี้ ผลิตภัณฑ์ภายในหรือผลิตภัณฑ์ DOT
‫ระหว่าง A และ B จะเท่ากับผลรวมของแต่ละองค์ประกอบย่อยเหล่านั้นคูณกัน
‫ตอนนี้ คุณอาจจำได้จากชั้นเรียนคณิตศาสตร์ของคุณว่านี่ไม่ใช่คำจำกัดความหรือสัญกรณ์ทางคณิตศาสตร์เพียงอย่างเดียวสำหรับผลิตภัณฑ์
‫ผลิตภัณฑ์ยังสามารถกำหนดเป็นการคูณของขนาดของเวกเตอร์แต่ละตัวคูณด้วยโคไซน์ของดีกรีระหว่างพวกมัน
‫เหตุใดสิ่งนี้จึงสำคัญที่ต้องรู้ด้วย
‫สังเกตว่าถ้าเราเริ่มคิดถึงดอทโปรดัคในรูปแบบนี้
‫มันก็คือความคล้ายคลึงกันระหว่างเวกเตอร์
‫นี่จึงทำให้เกิดการคำนวณเหมือนกับว่า A คูณ B หนึ่ง บวก a สองครั้ง คูณ B สอง
‫เป็นอีกคำจำกัดความหนึ่งของผลิตภัณฑ์
‫เหตุผลที่มีประโยชน์ก็เพราะว่าด้วยการผลิตโคไซน์ของทีต้า
‫มันเป็นการวัดความคล้ายคลึงกันระหว่างเวกเตอร์
‫คุณสามารถคิดเรื่องนี้ได้โดยพิจารณาถึงกรณีที่รุนแรง
‫ลองนึกภาพว่าระดับระหว่างสิ่งเหล่านี้เป็นศูนย์
‫โคไซน์ของศูนย์เท่ากับ 1 โดยที่หมายความว่าผลคูณนั้นโดยพื้นฐานแล้วการคูณขนาดของเวกเตอร์
‫A และเวกเตอร์ B
‫มันสมเหตุสมผลเพราะถ้าดีกรีเป็นศูนย์ นั่นหมายความว่าเวกเตอร์ทั้งสองนี้ชี้ไปในทิศทางเดียวกันเป๊ะๆ
‫ซึ่งหมายความว่าดีกรีหรือโคไซน์ทีต้าของพวกมันเท่ากัน 100% ดังนั้นมันจึงควรเท่ากับหนึ่ง
‫คุณจะสังเกตเห็นในกรณีที่เวกเตอร์สองตัวนี้ตั้งฉากหรือตั้งฉากกับโคไซน์
‫90 องศา ซึ่งกันและกันซึ่งจะเท่ากับศูนย์ หมายความว่าในผลคูณเท่ากับศูนย์
‫แล้วถ้าพวกมันชี้ไปในทิศตรงกันข้าม นั่นคือโคไซน์
‫180 องศา เราก็จะได้ค่าลบ โดยพื้นฐานแล้วจะบอกว่ามันเป็นลบ
‫คูณด้วยขนาดของ a และขนาดของ B
‫เห็นได้ชัดว่าเราสามารถนึกถึงผลิตภัณฑ์ภายในนี้เป็นการวัดความคล้ายคลึงกัน
‫ทีนี้มาพูดถึงกลเม็ดสำคัญกันต่อ
‫เราสามารถนึกถึงตัวแยกประเภทเวกเตอร์สนับสนุนเชิงเส้นในแง่ของผลิตภัณฑ์ภายในนี้
‫หรือเราสามารถพูดได้ว่าเรามีฟังก์ชันบางอย่างของ X เท่ากับเบต้า naught บวกผลรวมของเทอมอัลฟาคูณด้วยผลคูณภายในของจุดฝึกแต่ละคู่
‫โดยพื้นฐานแล้วเราคำนวณผลิตภัณฑ์ภายในของการสังเกตการฝึกอบรมทุกคู่
‫และคุณสามารถดูการอ่านในบทที่เก้าของ Esler
‫สำหรับรายละเอียดเชิงลึกมากขึ้นหรือคุณสามารถตรวจสอบสิ่งพิมพ์จาก
‫Cortez และ APNIC รวมถึงเหตุผลที่เราคำนวณผลิตภัณฑ์ภายในได้จริง
‫แต่ตอนนี้ มันเหมือนกับว่า ฉันสามารถเขียนตัวแยกประเภทเวกเตอร์สนับสนุนเชิงเส้นใหม่
‫ในรูปของผลิตภัณฑ์ระหว่างกัน
‫ตอนนี้ เนื่องจากฉันสามารถคำนวณผลคูณระหว่างสังเกตการฝึกทุกคู่
‫คูณด้วยพารามิเตอร์อัลฟา คุณจะรู้ว่าในกรณีนี้ พารามิเตอร์อัลฟ่าจะไม่เป็นศูนย์สำหรับเวกเตอร์สนับสนุนเท่านั้น
‫ลองย้อนกลับไปดูอีกครั้งและดูว่าเหมาะสมหรือไม่
‫ฉันเพิ่งบอกคุณว่าฉันสามารถเขียนตัวแยกประเภทเวกเตอร์สนับสนุนเชิงเส้นใหม่ได้โดยใช้สมการนี้
‫ซึ่งบอกว่าแทนที่จะคำนวณค่าสัมประสิทธิ์เบต้านี้คูณกับค่าคุณสมบัติเอง ฉันจะพยายามคำนวณอัลฟานี้คูณด้วยผลคูณภายในของคู่ของทั้งหมด
‫การสังเกตการฝึกอบรม
‫แต่ถ้าฉันเขียนมันใหม่ด้วยวิธีนี้ คุณจะรู้ว่าอัลฟ่าไม่ใช่ศูนย์เท่านั้นสำหรับเวกเตอร์สนับสนุนที่ทำเครื่องหมายและสีเหลืองบนพล็อตนั้น
‫ทีนี้ มันสมเหตุสมผลไหม?
‫พูดโดยสัญชาตญาณ มันจำได้ว่าระยะขอบนั้นขึ้นอยู่กับเวกเตอร์แนวรับเท่านั้น
‫จากมุมมองของระยะขอบก็ไม่สำคัญ
‫เมื่อคุณแตะเวกเตอร์แนวรับแล้ว เวกเตอร์ใดที่อยู่นอกเหนือมัน
‫เพราะคุณกำหนดระยะขอบนั้นด้วยเวกเตอร์แนวรับแรกที่มันสัมผัสเท่านั้น ซึ่งหมายความว่าคุณได้ช่วยตัวเองในการคำนวณจำนวนมากโดยไม่ต้องกังวลกับ
‫สนับสนุนเวกเตอร์
‫นั่นคือเวกเตอร์ที่สัมผัสกับระยะขอบ
‫ตอนนี้ด้วยเหตุนี้ ฉันสามารถเขียนใหม่จาก
‫I เท่ากับ 1 จนถึงจำนวน n ของจุด และให้พิจารณาเฉพาะว่าผมตั้งค่า s โดยที่ s คือชุดของดัชนีของจุดสนับสนุน
‫โดยพื้นฐานแล้ว สมการเดียวกัน แต่ผมกำลังพิจารณาเฉพาะจุดเวกเตอร์แนวรับ เพราะเราสามารถแสดงว่าอัลฟาขึ้นอยู่กับจุดรองรับเหล่านั้นเท่านั้น
‫โดยพื้นฐานแล้วไม่ต้องคำนวณมากเท่าไหร่
‫จากนั้นมาที่ฟังก์ชันเคอร์เนล
‫เราจะนิยามฟังก์ชันพันเอกเป็นฟังก์ชัน K ระหว่างจุดฝึกสองจุด
‫จุดฝึกอบรม I และจุดฝึกอบรม I เฉพาะ
‫และเราสามารถแสดงว่านี่จะเท่ากับผลรวม
‫x ของ j คูณด้วย x v ไพรม์ของ j และนี่น่าจะดูคุ้นๆ เพราะมันดูเหมือนผลิตภัณฑ์ภายในกับเคอร์เนล
‫คุณสามารถคิดว่ามันเป็นฟังก์ชันที่วัดความคล้ายคลึงกันของการสังเกตสองอย่าง
‫และเราเพิ่งพูดถึงว่าผลิตภัณฑ์ DOT และผลิตภัณฑ์ภายในเป็นการวัดความคล้ายคลึงกันอย่างไร
‫นั่นหมายความว่า ถ้าคุณเริ่มดูที่สมการตัวแยกประเภทเวกเตอร์สนับสนุนเชิงเส้นนั้นจริงๆ
‫เราจะนิยามมันโดยใช้ผลคูณภายใน
‫ตอนนี้ฉันสามารถใช้ความสัมพันธ์ของฉันของผลิตภัณฑ์ภายในที่เท่ากับผลรวมของการคูณเหล่านี้ของแต่ละองค์ประกอบย่อยเพื่อสลับในฟังก์ชันเคอร์เนลของฉันเป็นตัวแยกประเภทเวกเตอร์สนับสนุนที่เขียนใหม่นี้
‫โดยพื้นฐานแล้วทำให้เรามีเครื่องเวกเตอร์สนับสนุนซึ่งฉันสามารถสลับได้อย่างง่ายดาย ในฟังก์ชันเคอร์เนลใด ๆ ที่ฉันต้องการ โดยที่ฟังก์ชันเคอร์เนลนั้นเป็นการวัดความคล้ายคลึงกัน
‫และมีฟังก์ชันเคอร์เนลมากมายให้เลือก
‫ในที่นี้ เรากำลังแสดงฟังก์ชันเคอร์เนลที่ง่ายที่สุด
‫ซึ่งก็แค่เคอร์เนลเชิงเส้น แต่ผมสามารถมีพหุนามเคอร์เนลได้
‫ตอนนี้ฉันแค่กำลังคำนวณฟังก์ชันเคอร์เนลนี้
‫ซึ่งฉันมีความสัมพันธ์ระหว่างฟังก์ชันเคอร์เนลกับระดับของสิ่งที่ต้องการคำนวณ
‫ช่วยตัวเองในการคำนวณได้มากเพราะฉันไม่ได้คำนวณการคำนวณในพื้นที่คุณลักษณะทั้งหมดอีกต่อไป
‫ฉันกำลังคำนวณเคอร์เนลซึ่งเป็นผลิตภัณฑ์ภายใน
‫พันเอกที่ได้รับความนิยมอีกคนหนึ่งคือพันเอกวิทยุเบสหรือที่รู้จักกันในชื่อฟังก์ชั่นเบสวิทยุ RBF
‫นี่เป็นพันเอกที่ซับซ้อนกว่ามาก และที่จริงแล้ว หากคุณพยายามคำนวณสิ่งนี้จริง ๆ โดยไม่ใช้ผลิตภัณฑ์ภายใน
‫ในทางทฤษฎีจะสร้างการเปรียบเทียบเชิงคำนวณจำนวนอนันต์
‫ดังนั้นวิธีเดียวที่จะทำสิ่งนี้ทางคณิตศาสตร์ก็คือกับฟังก์ชันเคอร์เนลที่จะใช้ผลิตภัณฑ์ภายใน
‫ดังนั้นการใช้เมล็ดพืชทดแทนจึงเรียกว่าเคล็ดลับเคอร์เนล
‫และนั่นคือสิ่งที่เกิดขึ้นจริงเมื่อเราใช้เครื่องเวกเตอร์สนับสนุน
‫เราสามารถเขียนความสัมพันธ์นั้นใหม่จากตัวจำแนกเวกเตอร์สนับสนุนในแง่ของผลิตภัณฑ์ภายใน
‫แล้วเราก็มีเมล็ดพืชหลากหลายให้เลือกซึ่งถูกกำหนดโดยพื้นฐานเป็นฟังก์ชันความคล้ายคลึงกัน
‫ซึ่งฉันสามารถสลับในทุกที่ที่ฉันเห็นผลิตภัณฑ์ภายในเกิดขึ้น
‫จากนั้นเมล็ดพืชก็ช่วยให้เราหลีกเลี่ยงการคำนวณในพื้นที่คุณลักษณะที่ขยายใหญ่ขึ้นได้
‫โดยเพียงแค่ต้องดำเนินการคำนวณสำหรับจุดฝึกแต่ละคู่ที่แตกต่างกันเท่านั้น
‫เราแค่ต้องพิจารณาเวกเตอร์สนับสนุนเหล่านั้นด้วยตัวมันเองเท่านั้น
‫รายละเอียดเบื้องหลังนี้สามารถพบได้ในหัวข้อที่ 9 3. 2 และไอส์เลอร์
‫อย่างโดยสัญชาตญาณ สิ่งที่เราได้เห็นแล้วก็คือ
‫Inner Products ทำหน้าที่เป็นตัววัดความคล้ายคลึงระหว่างเวกเตอร์และวิธีที่ดีที่สุดที่ฉันสามารถอธิบายเวกเตอร์เครื่องสนับสนุนโดยสัญชาตญาณ
‫ในกรณีที่คุณไม่ชัดเจนเล็กน้อยโดยเคล็ดลับของเคอร์เนลก็คือการใช้ ของเมล็ดข้าวสามารถคิดได้ว่าเป็นการวัดความคล้ายคลึงกันระหว่างพื้นที่คุณลักษณะเดิมกับพื้นที่คุณลักษณะที่ขยายใหญ่ขึ้น
‫ดังนั้น แทนที่จะต้องทำการคำนวณแบบดิบจริงๆ ในพื้นที่คุณลักษณะที่ขยายใหญ่ขึ้น
‫ฉันสามารถพูดได้ว่าเคอร์เนลจะให้การวัดความคล้ายคลึงระหว่างพื้นที่คุณลักษณะดั้งเดิมกับพื้นที่คุณลักษณะขนาดใหญ่
‫และใช้เมล็ดในการคำนวณแทน ประหยัด ฉันทำงานด้านการคำนวณจำนวนมากในพื้นที่คุณลักษณะที่ขยายใหญ่ขึ้น
‫ตกลง.
‫ตอนนี้เราเข้าใจทฤษฎีและสัญชาตญาณที่อยู่เบื้องหลังเวคเตอร์แมชชีนแล้ว
‫เรามาลองใช้พวกมันกับโค้ดกัน
‫เจอกันใหม่ตอนหน้าค่ะ