โครงข่ายประสาทเทียม (โครงข่ายประสาทเทียม) เป็นระบบของตัวประมวลผลอย่างง่าย (เซลล์ประสาทเทียม) ที่เชื่อมต่อและโต้ตอบซึ่งกันและกัน โปรเซสเซอร์ดังกล่าวมักจะค่อนข้างง่าย (โดยเฉพาะเมื่อเปรียบเทียบกับโปรเซสเซอร์ที่ใช้ คอมพิวเตอร์ส่วนบุคคล- โปรเซสเซอร์แต่ละตัวในเครือข่ายดังกล่าวจะจัดการกับสัญญาณที่ได้รับเป็นระยะๆ และสัญญาณที่ส่งไปยังโปรเซสเซอร์อื่นๆ เป็นระยะๆ เท่านั้น และถึงกระนั้นก็มีความเชื่อมโยงกันอย่างเพียงพอ เครือข่ายขนาดใหญ่ด้วยการโต้ตอบที่ควบคุมได้โปรเซสเซอร์เหล่านี้จึงสามารถทำงานที่ค่อนข้างซับซ้อนได้เพราะ โครงข่ายประสาทเทียมเรียนรู้เกี่ยวกับงาน

ไม่เป็นความลับเลยที่โครงข่ายประสาทเทียมมักใช้ในการถ่ายภาพมากที่สุด เราได้เห็นแล้วว่าพวกเขาสามารถทำงานกับแอนิเมชั่นได้อย่างไร คอมพิวเตอร์ปกติและภาพวาดก็มีราคาแพงกว่าผลงานของศิลปินชื่อดัง ไม่น่าแปลกใจเลยที่เป็นโครงข่ายประสาทเทียมที่เป็นพื้นฐานของแอปพลิเคชั่น FaceApp ซึ่งในเวลาไม่กี่วันก็ได้รับความนิยมไปทั่วโลก แอพสโตร์และ .

อีลอน มัสก์ หลังตั้งอาณานิคมบนดาวอังคาร

Google เปิดตัวโครงข่ายประสาทเทียมทดลองใหม่ Translatotron ซึ่งสามารถแปลคำพูดเป็นภาษาอื่นได้โดยตรงโดยไม่ต้องใช้มัน การแสดงข้อความและบันทึกข้อมูลเสียงและอัตราการพูดของผู้พูดตามบล็อกของบริษัท ระบบหน่วยความจำระยะสั้นแบบยาวสามารถรับการป้อนข้อมูลด้วยเสียงและประมวลผลเป็นสเปกตรัม จากนั้นจึงสร้างสเปกตรัมใหม่จากภาษาเป้าหมาย ภายใต้เงื่อนไขบางประการ สิ่งนี้ไม่เพียงแต่จะเพิ่มความเร็วในการแปลเท่านั้น แต่ยังรวมถึงความแม่นยำด้วย คำอธิบายที่สมบูรณ์ยิ่งขึ้นของการพัฒนาใหม่สามารถพบได้ในบทความที่ตีพิมพ์ในพื้นที่เก็บข้อมูลออนไลน์ของบทความทางวิทยาศาสตร์ arXiv.org

1.2 พื้นที่การใช้งานโครงข่ายประสาทเทียม

โครงข่ายประสาทเทียมในปัจจุบันมีการใช้กันอย่างแพร่หลายในการแก้ปัญหามากที่สุด งานที่แตกต่างกันและมีการใช้อย่างแข็งขันเมื่อโซลูชันอัลกอริธึมแบบเดิมกลับกลายเป็นว่าไม่ได้ผลหรือเป็นไปไม่ได้เลย งานที่เครือข่ายประสาทเทียมได้รับความไว้วางใจให้แก้ไขมีดังต่อไปนี้: การจดจำข้อความ ระบบความปลอดภัยและกล้องวงจรปิด ระบบอัตโนมัติของกระบวนการจดจำภาพ การควบคุมแบบปรับเปลี่ยน การประมาณฟังก์ชันการทำงาน การพยากรณ์ - และนั่นไม่ใช่ทั้งหมด การใช้โครงข่ายประสาทเทียมทำให้คุณสามารถทำการจดจำออปติคัลหรือ สัญญาณเสียง- การใช้งานฮาร์ดแวร์ของ ANN เหมาะอย่างยิ่งสำหรับการแก้ปัญหาการระบุและการควบคุม เนื่องจากโครงสร้างแบบขนานทำให้การทำงานมีความเร็วสูงมาก

ความสามารถที่อธิบายไว้ส่วนใหญ่เกี่ยวข้องกับโครงข่ายประสาทเทียมแบบหลายชั้นที่ได้รับการฝึกโดยอัลกอริธึมการแพร่กระจายกลับ และเครือข่ายประสาทที่กำลังเติบโตโดยอิงตามตัวแปรของอัลกอริธึมความสัมพันธ์แบบเรียงซ้อน แต่มีโครงข่ายประสาทเทียมประเภทอื่น - โครงข่ายประสาทเทียม หน่วยความจำเชื่อมโยง, โครงข่ายประสาทเทียมสำหรับการหาปริมาณข้อมูล, การบีบอัดข้อมูลโดยการสร้างส่วนประกอบหลักที่เป็นอิสระ, โครงข่ายประสาทเทียมสำหรับแยกสัญญาณผสม เป็นต้น กล่าวคือ ช่วงของปัญหาที่แก้ไขได้ด้วยโครงข่ายประสาทเทียมนั้นกว้างมาก เนื่องจากชุดของอัลกอริธึมโครงข่ายประสาทเทียมนั้นกว้างมาก

1.3 การจำแนกประเภทของโครงข่ายประสาทเทียม

มีวิธีที่ค่อนข้างเป็นสากลมากมายในการจัดระเบียบเครื่องมือและกระบวนการจริงของการใช้โครงข่ายประสาทเทียมบนฐานซอฟต์แวร์และฮาร์ดแวร์ต่างๆ คุณสามารถเลือกสิ่งที่เหมาะสมที่สุดสำหรับปัญหาบางอย่างได้ตลอดเวลา - ทุกอย่างถูกกำหนดโดยคุณสมบัติของปัญหาและข้อกำหนดสำหรับการแก้ปัญหา

อย่างไรก็ตาม การใช้โครงข่ายประสาทเทียมมีความซับซ้อนด้วยเหตุผลหลายประการ เป็นไปไม่ได้ที่จะเกิด ANN สากลอันใดอันหนึ่งที่เหมาะสม ประเภทต่างๆงาน โครงข่ายประสาทเทียมถูกใช้ในสองเวอร์ชัน:

1) โครงข่ายประสาทเทียมถูกสร้างขึ้นเพื่อแก้ไขปัญหาบางประเภท

2) สำหรับแต่ละกรณีของปัญหา โครงข่ายประสาทเทียมบางอย่างจะถูกสร้างขึ้นเพื่อค้นหาวิธีแก้ปัญหากึ่งที่เหมาะสมที่สุดสำหรับปัญหานี้

โครงข่ายประสาทเทียมมีหลายประเภท การจำแนกประเภทแสดงไว้ในรูปที่ 1.1

รูปที่ 1.1 การจำแนกประเภทของ ANN

กลุ่มเครือข่ายการดำเนินการโดยตรงที่พบมากที่สุดคือเพอร์เซปตรอนหลายชั้น ซึ่งเซลล์ประสาทถูกจัดเรียงเป็นชั้นๆ และเชื่อมต่อกันด้วยการเชื่อมต่อทิศทางเดียวที่วิ่งจากอินพุตไปยังเอาต์พุตของเครือข่าย เครือข่ายฟีดฟอร์เวิร์ดเป็นแบบคงที่ในแง่ที่ว่าสำหรับอินพุตที่กำหนดพวกมันจะสร้างค่าเอาต์พุตหนึ่งชุดที่ไม่ขึ้นอยู่กับ สถานะก่อนหน้าเครือข่าย

เครือข่ายที่เกิดซ้ำเป็นแบบไดนามิกเพราะว่าเนื่องจาก ข้อเสนอแนะอินพุตของเซลล์ประสาทได้รับการแก้ไขซึ่งนำไปสู่การเปลี่ยนแปลงสถานะของเครือข่าย พฤติกรรมของเครือข่ายเกิดซ้ำอธิบายได้ด้วยสมการเชิงอนุพันธ์หรือสมการผลต่าง ซึ่งมักจะอยู่ในลำดับแรก สิ่งนี้จะขยายขอบเขตการใช้งานโครงข่ายประสาทเทียมและวิธีการฝึกอบรมพวกมันอย่างมาก เครือข่ายถูกจัดระเบียบเพื่อให้แต่ละเซลล์ประสาทได้รับข้อมูลจากเซลล์ประสาทอื่น อาจมาจากตัวมันเองและจากสิ่งแวดล้อม

นอกจากนี้เรายังสามารถแยกแยะความแตกต่างสองแนวทางหลักในการใช้งานโครงข่ายประสาทเทียม: ดิจิทัลและแอนะล็อก ข้อดีของการใช้งานแบบอะนาล็อกคือ: ความเร็วสูง ความน่าเชื่อถือ และประสิทธิภาพ อย่างไรก็ตามขอบเขตที่เป็นไปได้ การใช้งานจำนวนมากของนิวโรชิปแอนะล็อกที่ได้รับการฝึกนั้นค่อนข้างแคบ นี่เป็นเพราะความซับซ้อนอย่างมากในการใช้ฮาร์ดแวร์ของอัลกอริธึมการฝึกอบรมที่มีประสิทธิภาพสูงและความจำเป็นในการฝึกอบรมพิเศษสำหรับผู้ใช้ที่มีศักยภาพเพื่อการจัดกระบวนการปรับตัวที่เหมาะสมที่สุด ในเวลาเดียวกัน neurocomputer แบบแอนะล็อก (โครงข่ายประสาทเทียม) ที่ผ่านการฝึกอบรมซึ่งมีโครงสร้างการเชื่อมต่อแบบตายตัวหรือปรับได้เล็กน้อย - ตัวประมวลผลทางประสาท - อาจแพร่หลายมากขึ้น

งานในการสร้างโปรเซสเซอร์ประสาทนั้นขึ้นอยู่กับการฝึกโมเดลโครงข่ายประสาทเทียมดิจิทัลให้ทำงานบนคอมพิวเตอร์ดิจิทัลทั่วไป

เครือข่ายสามารถจำแนกตามจำนวนเลเยอร์ได้ ในกรณีนี้ความไม่เชิงเส้นของฟังก์ชันการเปิดใช้งานมีบทบาทสำคัญ เนื่องจากหากไม่มีคุณสมบัตินี้หรือไม่ได้เป็นส่วนหนึ่งของอัลกอริธึมการทำงานของเซลล์ประสาทแต่ละอัน ผลลัพธ์ของการทำงานของโครงข่ายประสาทเทียม n-layer ใด ๆ จะเป็น ลดลงจนคูณเวกเตอร์สัญญาณอินพุต φ ด้วยเมทริกซ์ของสัมประสิทธิ์การถ่วงน้ำหนัก นั่นคือในความเป็นจริง โครงข่ายประสาทเทียมดังกล่าวเทียบเท่ากับโครงข่ายประสาทเทียมชั้นเดียวที่มีเมทริกซ์น้ำหนักของชั้นเดียว W นอกจากนี้ บางครั้งความไม่เชิงเส้นยังถูกนำมาใช้ในการเชื่อมต่อซินแนปติกอีกด้วย

1.4 โครงสร้างและหลักการทำงานของโครงข่ายประสาทเทียม

องค์ประกอบขีดจำกัดแบบไบนารีถูกเลือกให้เป็นแบบจำลองเซลล์ประสาท โดยคำนวณผลรวมถ่วงน้ำหนักของสัญญาณอินพุต และสร้างสัญญาณเอาท์พุตที่มีค่า 1 หากผลรวมนี้เกินค่าขีดจำกัดที่กำหนด มิฉะนั้นจะเป็น 0 จนถึงปัจจุบันโมเดลนี้ยังไม่มีการเปลี่ยนแปลงที่สำคัญ มีการแนะนำฟังก์ชันการเปิดใช้งานประเภทใหม่ แบบจำลองโครงสร้างของเซลล์ประสาททางเทคนิคแสดงไว้ในรูปที่ 1.3

รูปที่ 1.3 แบบจำลองทางการของเซลล์ประสาทเทียม

ข้อมูลเข้าของเซลล์ประสาทเทียมจะได้รับสัญญาณจำนวนหนึ่ง ซึ่งแต่ละสัญญาณเป็นสัญญาณส่งออกของเซลล์ประสาทอื่น หรือสัญญาณอินพุตของแบบจำลองโครงข่ายประสาทเทียม ข้อมูลแต่ละค่าจะถูกคูณด้วยน้ำหนักที่สอดคล้องกัน ซึ่งคล้ายกับความแข็งแรงของไซแนปติกของเซลล์ประสาททางชีววิทยา น้ำหนักเป็นตัวกำหนดว่าอินพุตที่สอดคล้องกันของเซลล์ประสาทส่งผลต่อสถานะของมันมากน้อยเพียงใด ผลิตภัณฑ์ทั้งหมดจะถูกรวมเข้าด้วยกันเพื่อกำหนดระดับการกระตุ้นการทำงานของเซลล์ประสาท สถานะของเซลล์ประสาทถูกกำหนดโดยสูตร

โดยที่ φ คือชุดของสัญญาณที่มาถึงอินพุตของเซลล์ประสาท

w i – ค่าสัมประสิทธิ์น้ำหนักของเซลล์ประสาท

, (1.2)

โดยที่ n คือขนาดของเวกเตอร์อินพุต

w 0 - "อคติทางประสาท" นำมาใช้เพื่อเริ่มต้นเครือข่าย - เชื่อมต่อกับอินพุตคงที่ +1

F – ฟังก์ชั่นการเปิดใช้งานของเซลล์ประสาท

เซลล์ประสาทสามารถจัดกลุ่มเป็นโครงสร้างเครือข่ายได้หลายวิธี คุณสมบัติการทำงานของเซลล์ประสาทและวิธีที่พวกมันรวมเข้ากับโครงสร้างเครือข่ายจะกำหนดคุณสมบัติของโครงข่ายประสาทเทียม เพื่อแก้ปัญหาการระบุและการควบคุม สิ่งที่เหมาะสมที่สุดคือเครือข่ายประสาทเทียมหลายชั้น (MNN) ของการดำเนินการโดยตรงหรือการรับรู้หลายชั้น เมื่อออกแบบ MNN เซลล์ประสาทจะรวมกันเป็นชั้นต่างๆ ซึ่งแต่ละชั้นจะประมวลผลเวกเตอร์ของสัญญาณจากชั้นก่อนหน้า การใช้งานขั้นต่ำคือโครงข่ายประสาทเทียมสองชั้นซึ่งประกอบด้วยเลเยอร์อินพุต (การกระจาย) ระดับกลาง (ซ่อน) และเลเยอร์เอาท์พุต

รูปที่ 1.4 บล็อกไดอะแกรมโครงข่ายประสาทเทียมสองชั้น

การใช้งานโมเดลโครงข่ายประสาทเทียมแบบไปข้างหน้าสองชั้นมีการแสดงทางคณิตศาสตร์ดังต่อไปนี้:

, (1.7)

โดยที่ n φ คือมิติของเวกเตอร์ของอินพุต φ ของโครงข่ายประสาทเทียม

n h – จำนวนเซลล์ประสาทในเลเยอร์ที่ซ่อนอยู่

θ – เวกเตอร์ของพารามิเตอร์ที่ปรับได้ของโครงข่ายประสาทเทียม รวมถึงค่าสัมประสิทธิ์การถ่วงน้ำหนักและอคติของระบบประสาท (w ji, W ij)

f j (x) – ฟังก์ชั่นการเปิดใช้งานของเซลล์ประสาทชั้นที่ซ่อนอยู่;

F i (x) - ฟังก์ชั่นการเปิดใช้งานของเซลล์ประสาทเลเยอร์เอาท์พุต

เพอร์เซปตรอนเป็นเครือข่ายที่ประกอบด้วยชั้นเซลล์ประสาทอย่างเป็นทางการที่เชื่อมต่อกันตามลำดับหลายชั้น (รูปที่ 1.3) ที่ระดับต่ำสุดของลำดับชั้นจะมีเลเยอร์อินพุตซึ่งประกอบด้วยองค์ประกอบทางประสาทสัมผัส ซึ่งมีหน้าที่เพียงรับและแจกจ่ายข้อมูลอินพุตผ่านเครือข่ายเท่านั้น จากนั้นจะมีชั้นที่ซ่อนอยู่หนึ่งหรือน้อยกว่าหลายชั้น เซลล์ประสาทแต่ละอันบนเลเยอร์ที่ซ่อนอยู่มีอินพุตหลายช่องที่เชื่อมต่อกับเอาต์พุตของเซลล์ประสาทของเลเยอร์ก่อนหน้าหรือโดยตรงกับเซ็นเซอร์อินพุต φ 1 ..φ n และเอาต์พุตหนึ่งอัน เซลล์ประสาทมีลักษณะเป็นเวกเตอร์เฉพาะของพารามิเตอร์ที่ปรับได้ θ หน้าที่ของเซลล์ประสาทคือการคำนวณผลรวมถ่วงน้ำหนักของอินพุตพร้อมกับการแปลงแบบไม่เชิงเส้นให้เป็นสัญญาณเอาท์พุต:

ระบบผู้เชี่ยวชาญ(อ.บาตูโร) พร้อมทั้งบรรยายโดย ศ. หนึ่ง. Gorban บนโครงข่ายประสาทเทียม ภาคผนวก 1. โปสเตอร์สำหรับการป้องกันประกาศนียบัตร เทคโนโลยีสำหรับการดึงความรู้จากเครือข่ายประสาท: ¨ การอนุมัติ ¨ การออกแบบซอฟต์แวร์ ¨ การใช้ในวัตถุประสงค์ทางจิตวิทยาของงาน ¨ การอนุมัติเทคโนโลยีที่ยืดหยุ่นสำหรับการแยก...

ความสามารถของ MP ในการคาดการณ์ผลลัพธ์อย่างไม่มีวิพากษ์วิจารณ์ถือเป็นจุดอ่อน เครือข่าย RBF มีความไวต่อ "คำสาปแห่งมิติ" มากกว่า และประสบปัญหาอย่างมากเมื่อจำนวนอินพุตมีขนาดใหญ่ 5. การสร้างแบบจำลองโครงข่ายประสาทเทียมเพื่อการทำนายมูลค่าอสังหาริมทรัพย์ 5.1 ​​คุณสมบัติของการพยากรณ์โครงข่ายประสาทเทียมในปัญหาการประเมินมูลค่าอสังหาริมทรัพย์ การใช้โครงข่ายประสาทเทียมสามารถ...

วิเคราะห์แนวโน้มและคาดการณ์สถานการณ์ในอนาคต ผู้เข้าร่วมตลาดหลักทรัพย์ทุกคนจะวางแผนการดำเนินงานหลังจากการวิเคราะห์อย่างรอบคอบแล้วเท่านั้น วิธีการทางสถิติการพยากรณ์การพัฒนาของตลาดหลักทรัพย์ขึ้นอยู่กับการสร้างดัชนีหุ้น การคำนวณตัวบ่งชี้การกระจายตัว การแปรผัน ความแปรปรวนร่วม การอนุมาน และการแก้ไข ดัชนีหุ้นเป็นที่นิยมมากที่สุดรอบ...

ณ วันที่ 20/05/06 (รายการราคา Platan) – 2,654 รูเบิล ภาคผนวก D ข้อมูลเริ่มต้นสำหรับการดำเนินการในส่วนองค์กรและเศรษฐกิจ หัวข้อของงานที่มีคุณสมบัติขั้นสุดท้าย: ระบบโครงข่ายประสาทเทียมสำหรับการวินิจฉัยและควบคุมหน่วยสูบน้ำลึกแบบแท่งดูด สถานที่ฝึกงานก่อนอนุปริญญา: UGATU ราคาใกล้เคียงกัน: 40,000 รูเบิล ราคาเสนอขาย: 35,000 ถู. จำนวนที่ต้องการ : 1 ชิ้น ปลดประจำการ...

ในช่วงครึ่งแรกของปี 2559 โลกได้ยินเกี่ยวกับการพัฒนามากมายในด้านโครงข่ายประสาทเทียม - Google (ผู้เล่นเครือข่าย Go AlphaGo), Microsoft (บริการจำนวนมากสำหรับการระบุรูปภาพ), สตาร์ทอัพ MSQRD, Prisma และอื่น ๆ สาธิตอัลกอริทึมของพวกเขา

บุ๊กมาร์ก

บรรณาธิการของเว็บไซต์จะบอกคุณว่าโครงข่ายประสาทเทียมคืออะไร จำเป็นสำหรับอะไร เหตุใดพวกเขาจึงยึดครองโลกในขณะนี้ และไม่ใช่หลายปีก่อนหน้าหรือหลังจากนั้น คุณสามารถสร้างรายได้จากเครือข่ายเหล่านี้ได้มากเพียงใด และใครคือผู้เล่นหลักในตลาด ผู้เชี่ยวชาญจาก MIPT, Yandex, Mail.Ru Group และ Microsoft ยังได้แบ่งปันความคิดเห็นของพวกเขาด้วย

โครงข่ายประสาทเทียมคืออะไร และแก้ปัญหาอะไรได้บ้าง

โครงข่ายประสาทเทียมถือเป็นทิศทางหนึ่งในการพัฒนาระบบปัญญาประดิษฐ์ แนวคิดนี้คือการสร้างแบบจำลองการทำงานของระบบประสาทของมนุษย์ให้ใกล้เคียงที่สุดเท่าที่จะเป็นไปได้ กล่าวคือ ความสามารถในการเรียนรู้และแก้ไขข้อผิดพลาด นี่คือ คุณสมบัติหลักโครงข่ายประสาทเทียมใด ๆ - สามารถเรียนรู้ได้อย่างอิสระและดำเนินการตามประสบการณ์เดิม ทำให้ข้อผิดพลาดน้อยลงในแต่ละครั้ง

โครงข่ายประสาทเทียมไม่เพียงเลียนแบบกิจกรรมเท่านั้น แต่ยังเลียนแบบโครงสร้างของระบบประสาทของมนุษย์ด้วย เครือข่ายดังกล่าวประกอบด้วย จำนวนมากองค์ประกอบการประมวลผลส่วนบุคคล (“เซลล์ประสาท”) ในกรณีส่วนใหญ่ “เซลล์ประสาท” แต่ละตัวจะอยู่ในเลเยอร์เฉพาะของเครือข่าย ข้อมูลอินพุตจะถูกประมวลผลตามลำดับในทุกเลเยอร์ของเครือข่าย พารามิเตอร์ของ “เซลล์ประสาท” แต่ละตัวสามารถเปลี่ยนแปลงได้ขึ้นอยู่กับผลลัพธ์ที่ได้รับจากชุดข้อมูลอินพุตก่อนหน้า ดังนั้นจึงเปลี่ยนลำดับการทำงานของทั้งระบบ

Andrey Kalinin หัวหน้าแผนกค้นหา Mail.ru ของกลุ่ม Mail.Ru ตั้งข้อสังเกตว่าโครงข่ายประสาทเทียมสามารถแก้ปัญหาแบบเดียวกับอัลกอริทึมการเรียนรู้ของเครื่องอื่นๆ ได้ ความแตกต่างอยู่ที่แนวทางการฝึกอบรมเท่านั้น

งานทั้งหมดที่โครงข่ายประสาทเทียมสามารถแก้ไขได้นั้นเกี่ยวข้องกับการเรียนรู้ ในการใช้งานโครงข่ายประสาทเทียมหลักๆ ได้แก่ การพยากรณ์ การตัดสินใจ การจดจำรูปแบบ การเพิ่มประสิทธิภาพ และการวิเคราะห์ข้อมูล

Vlad Shershulsky ผู้อำนวยการโครงการความร่วมมือทางเทคโนโลยีที่ Microsoft ในรัสเซียตั้งข้อสังเกตว่าปัจจุบันมีการใช้โครงข่ายประสาทเทียมในทุกที่: “ตัวอย่างเช่น เว็บไซต์อินเทอร์เน็ตขนาดใหญ่หลายแห่งใช้โครงข่ายนี้เพื่อสร้างปฏิกิริยาต่อพฤติกรรมของผู้ใช้ที่เป็นธรรมชาติและเป็นประโยชน์ต่อผู้ชมมากขึ้น โครงข่ายประสาทเทียมรองรับส่วนใหญ่ ระบบที่ทันสมัยการรู้จำและการสังเคราะห์เสียงพูด รวมถึงการรู้จำและประมวลผลภาพ พวกมันถูกใช้ในระบบนำทางบางระบบ ไม่ว่าจะเป็นหุ่นยนต์อุตสาหกรรมหรือรถยนต์ไร้คนขับ อัลกอริธึมที่ใช้โครงข่ายประสาทเทียมปกป้อง ระบบสารสนเทศจากการโจมตีที่เป็นอันตรายและช่วยระบุเนื้อหาที่ผิดกฎหมายบนเครือข่าย”

ในอนาคตอันใกล้นี้ (5-10 ปี) Shershulsky เชื่อว่าโครงข่ายประสาทเทียมจะถูกใช้อย่างกว้างขวางยิ่งขึ้น:

ลองนึกภาพรถเกี่ยวข้าว แอคชูเอเตอร์ซึ่งติดตั้งกล้องวิดีโอไว้มากมาย พืชแต่ละต้นจะถ่ายภาพได้ห้าพันภาพต่อนาทีในวิถีโคจรของมัน และใช้โครงข่ายประสาทเทียมในการวิเคราะห์ว่าเป็นวัชพืช ได้รับผลกระทบจากโรคหรือแมลงศัตรูพืชหรือไม่ และพืชแต่ละต้นจะได้รับการดูแลเป็นรายบุคคล นิยาย? ไม่มากอีกต่อไป และภายในห้าปีมันอาจกลายเป็นบรรทัดฐาน - วลาด เชอร์ชุลสกี้, ไมโครซอฟต์

มิคาอิล เบิร์ตเซฟ หัวหน้าห้องปฏิบัติการระบบประสาทและการเรียนรู้เชิงลึกที่ MIPT Center for Living Systems จัดทำแผนที่เบื้องต้นเกี่ยวกับการพัฒนาโครงข่ายประสาทเทียมสำหรับปี 2559-2561:

• ระบบการรับรู้และจำแนกวัตถุในภาพ
• อินเทอร์เฟซการโต้ตอบด้วยเสียงสำหรับอินเทอร์เน็ตของสิ่งต่าง ๆ
• ระบบตรวจสอบคุณภาพการบริการในศูนย์บริการ
• ระบบตรวจจับข้อผิดพลาด (รวมถึงการทำนายเวลา การซ่อมบำรุง) ความผิดปกติ ภัยคุกคามทางกายภาพทางไซเบอร์
• ระบบรักษาความปลอดภัยทางปัญญาและการตรวจสอบ
• แทนที่ฟังก์ชั่นบางอย่างของผู้ให้บริการคอลเซ็นเตอร์ด้วยบอท
• ระบบวิเคราะห์วิดีโอ
• ระบบการเรียนรู้ด้วยตนเองที่เพิ่มประสิทธิภาพการจัดการการไหลของวัสดุหรือตำแหน่งของวัตถุ (ในคลังสินค้า การขนส่ง)
• ระบบควบคุมการเรียนรู้ด้วยตนเองอัจฉริยะสำหรับกระบวนการผลิตและอุปกรณ์ (รวมถึงหุ่นยนต์)
• การเกิดขึ้นของระบบการแปลแบบทันทีที่เป็นสากลสำหรับการประชุมและการใช้งานส่วนตัว
• การเกิดขึ้นของที่ปรึกษาบอท การสนับสนุนด้านเทคนิคหรือผู้ช่วยส่วนตัวที่มีฟังก์ชั่นคล้ายกับบุคคล

Grigory Bakunov ผู้อำนวยการฝ่ายจัดจำหน่ายเทคโนโลยี Yandex เชื่อว่าพื้นฐานสำหรับการกระจายโครงข่ายประสาทเทียมในอีกห้าปีข้างหน้าคือความสามารถของระบบดังกล่าวที่จะนำมาใช้ โซลูชั่นต่างๆ: “สิ่งสำคัญที่โครงข่ายประสาทเทียมทำเพื่อบุคคลในตอนนี้คือการช่วยเขาจากการตัดสินใจที่ไม่จำเป็น ดังนั้นจึงสามารถใช้งานได้เกือบทุกที่ซึ่งการตัดสินใจที่ไม่ชาญฉลาดโดยบุคคลที่มีชีวิต ในอีกห้าปีข้างหน้า ทักษะนี้จะถูกนำไปใช้ประโยชน์ ซึ่งจะเข้ามาแทนที่การตัดสินใจของมนุษย์ด้วยเครื่องจักรง่ายๆ”

เหตุใดโครงข่ายประสาทเทียมจึงได้รับความนิยมอย่างมากในตอนนี้

นักวิทยาศาสตร์ได้พัฒนาโครงข่ายประสาทเทียมมานานกว่า 70 ปี ความพยายามครั้งแรกในการสร้างโครงข่ายประสาทเทียมอย่างเป็นทางการเกิดขึ้นในปี 1943 เมื่อนักวิทยาศาสตร์ชาวอเมริกันสองคน (Warren McCulloch และ Walter Pitts) นำเสนอบทความเกี่ยวกับแคลคูลัสเชิงตรรกะของความคิดของมนุษย์และกิจกรรมของระบบประสาท

อย่างไรก็ตาม จนกระทั่งเมื่อไม่นานมานี้ Andrey Kalinin จาก Mail.Ru Group กล่าวว่าความเร็วของโครงข่ายประสาทเทียมนั้นต่ำเกินไปสำหรับเครือข่ายดังกล่าวที่จะแพร่หลาย ดังนั้นระบบดังกล่าวจึงส่วนใหญ่ใช้ในการพัฒนาที่เกี่ยวข้องกับ วิสัยทัศน์คอมพิวเตอร์และในพื้นที่อื่นๆ มีการใช้อัลกอริธึมการเรียนรู้ของเครื่องอื่นๆ

ส่วนที่ต้องใช้แรงงานมากและใช้เวลานานของกระบวนการพัฒนาโครงข่ายประสาทเทียมคือการฝึกอบรม เพื่อให้โครงข่ายประสาทเทียมสามารถแก้ไขปัญหาที่ได้รับมอบหมายได้อย่างถูกต้อง จำเป็นต้อง "ดำเนินการ" ทำงานบนชุดข้อมูลอินพุตหลายสิบล้านชุด ด้วยการถือกำเนิดของเทคโนโลยีการเรียนรู้แบบเร่งรัดต่างๆ ที่ Andrei Kalinin และ Grigory Bakunov เชื่อมโยงการแพร่กระจายของโครงข่ายประสาทเทียม

สิ่งสำคัญที่เกิดขึ้นตอนนี้คือมีกลอุบายต่าง ๆ ที่ทำให้สามารถสร้างโครงข่ายประสาทเทียมที่มีความเสี่ยงน้อยกว่าในการฝึกขึ้นใหม่ - Grigory Bakunov, Yandex

“ประการแรก มีรูปภาพที่มีป้ายกำกับ (ImageNet) ขนาดใหญ่และเปิดเผยต่อสาธารณะซึ่งคุณสามารถเรียนรู้ได้ ประการที่สอง การ์ดแสดงผลสมัยใหม่ทำให้สามารถฝึกโครงข่ายประสาทเทียมและใช้งานได้เร็วขึ้นหลายร้อยเท่า ประการที่สาม เครือข่ายประสาทเทียมสำเร็จรูปที่ผ่านการฝึกอบรมมาแล้วปรากฏว่าจดจำรูปภาพได้ ซึ่งคุณสามารถสร้างแอปพลิเคชันของคุณเองได้โดยไม่ต้องใช้เวลานานในการเตรียมโครงข่ายประสาทเทียมสำหรับการทำงาน ทั้งหมดนี้ทำให้มั่นใจได้ว่าการพัฒนาโครงข่ายประสาทเทียมจะมีประสิทธิภาพมากโดยเฉพาะในด้านการรับรู้ภาพ” Kalinin กล่าว

ตลาดโครงข่ายประสาทเทียมมีขนาดเท่าใด?

“คำนวณง่ายมาก คุณสามารถดำเนินการสาขาใดก็ได้ที่ใช้แรงงานที่มีทักษะต่ำ เช่น เจ้าหน้าที่ศูนย์บริการข้อมูล และลบทรัพยากรบุคคลทั้งหมดออก ฉันจะบอกว่าเรากำลังพูดถึงตลาดที่มีมูลค่าหลายพันล้านดอลลาร์ แม้แต่ในประเทศเดียวก็ตาม เป็นเรื่องง่ายที่จะเข้าใจว่ามีกี่คนในโลกที่ถูกจ้างงานทักษะต่ำ ดังนั้นแม้จะพูดแบบนามธรรมมาก ฉันคิดว่าเรากำลังพูดถึงตลาดมูลค่าหนึ่งแสนล้านดอลลาร์ทั่วโลก” Grigory Bakunov ผู้อำนวยการฝ่ายจัดจำหน่ายเทคโนโลยีของ Yandex กล่าว

ตามการประมาณการ อาชีพมากกว่าครึ่งหนึ่งจะเป็นแบบอัตโนมัติ - นี่คือ ปริมาณสูงสุดโดยที่ตลาดสำหรับอัลกอริธึมการเรียนรู้ของเครื่อง (และโดยเฉพาะโครงข่ายประสาทเทียม) สามารถเพิ่มขึ้นได้ - Andrey Kalinin จาก Mail.Ru Group

“อัลกอริธึมการเรียนรู้ของเครื่องเป็นขั้นตอนต่อไปในการทำให้กระบวนการใดๆ เป็นแบบอัตโนมัติในการพัฒนาใดๆ ซอฟต์แวร์- ดังนั้น อย่างน้อยตลาดก็สอดคล้องกับตลาดซอฟต์แวร์ทั้งหมด แต่ค่อนข้างจะเกินกว่านั้น เนื่องจากเป็นไปได้ที่จะสร้างโซลูชันอัจฉริยะใหม่ๆ ที่ไม่สามารถเข้าถึงได้ในซอฟต์แวร์เก่า" Andrey Kalinin หัวหน้าแผนกค้นหา Mail.ru ของ Mail กล่าวต่อ รุ กรุ๊ป.

เหตุใดนักพัฒนาโครงข่ายประสาทเทียมจึงสร้างแอปพลิเคชันมือถือสำหรับตลาดมวลชน

ในช่วงไม่กี่เดือนที่ผ่านมามีโครงการบันเทิงชื่อดังหลายโครงการที่ใช้โครงข่ายประสาทเทียม - นี่คือบริการวิดีโอยอดนิยมที่ เครือข่ายทางสังคม Facebook และแอปพลิเคชันรัสเซียสำหรับการประมวลผลภาพ (การลงทุนจาก Mail.Ru Group ในเดือนมิถุนายน) และอื่นๆ

ความสามารถของโครงข่ายประสาทเทียมของตนเองนั้นแสดงให้เห็นโดยทั้ง Google (เทคโนโลยี AlphaGo ชนะแชมป์ใน Go ในเดือนมีนาคม 2559 บริษัท ขายภาพวาด 29 ชิ้นที่วาดโดยโครงข่ายประสาทเทียมในการประมูล ฯลฯ ) และ Microsoft (โครงการ CaptionBot ซึ่ง จดจำภาพในรูปถ่ายและสร้างคำบรรยายสำหรับพวกเขาโดยอัตโนมัติ โครงการ WhatDog ซึ่งกำหนดสายพันธุ์ของสุนัขจากภาพถ่าย บริการ HowOld ซึ่งกำหนดอายุของบุคคลในภาพถ่ายและอื่น ๆ ) และยานเดกซ์ (ใน) เดือนมิถุนายน ทีมงานได้รวมบริการจดจำรถยนต์ในรูปถ่ายไว้ในแอปพลิเคชัน Avto.ru นำเสนอการบันทึกดนตรีที่บันทึกโดยอัลบั้มโครงข่ายประสาทเทียม ในเดือนพฤษภาคม เธอได้สร้างโปรเจ็กต์ LikeMo.net สำหรับการวาดภาพในสไตล์ของศิลปินชื่อดัง)

บริการความบันเทิงดังกล่าวไม่ได้ถูกสร้างขึ้นมาเพื่อแก้ไข ความท้าทายระดับโลกซึ่งโครงข่ายประสาทเทียมมุ่งเป้าไปที่ แต่เพื่อแสดงให้เห็นถึงความสามารถของโครงข่ายประสาทเทียมและดำเนินการฝึกอบรม

“เกมเป็นลักษณะเฉพาะของพฤติกรรมของเราในฐานะสายพันธุ์ ในด้านหนึ่ง เกือบทุกอย่างสามารถจำลองได้โดยใช้สถานการณ์ในเกม สถานการณ์ทั่วไปพฤติกรรมของมนุษย์ และในทางกลับกัน ผู้สร้างเกม และโดยเฉพาะอย่างยิ่ง ผู้เล่นจะได้รับความเพลิดเพลินอย่างมากจากกระบวนการนี้ นอกจากนี้ยังมีแง่มุมที่เป็นประโยชน์อย่างหมดจดอีกด้วย เกมที่ออกแบบมาอย่างดีไม่เพียงแต่สร้างความพึงพอใจให้กับผู้เล่นเท่านั้น แต่ยังฝึกฝนอัลกอริธึมโครงข่ายประสาทเทียมในขณะที่พวกเขาเล่นอีกด้วย ท้ายที่สุดแล้ว โครงข่ายประสาทเทียมก็ขึ้นอยู่กับการเรียนรู้ตามตัวอย่าง” Vlad Shershulsky จาก Microsoft กล่าว

“ประการแรก การกระทำนี้เกิดขึ้นเพื่อแสดงความสามารถของเทคโนโลยี ไม่มีเหตุผลอื่นจริงๆ หากเรากำลังพูดถึง Prisma ก็ชัดเจนว่าเหตุใดพวกเขาจึงทำ พวกเขาสร้างไปป์ไลน์ที่ช่วยให้พวกเขาทำงานกับรูปภาพได้ เพื่อสาธิตสิ่งนี้ พวกเขาเลือกวิธีการที่ค่อนข้างง่ายในการสร้างสไตล์ ทำไมไม่? นี่เป็นเพียงการสาธิตวิธีการทำงานของอัลกอริทึม” Grigory Bakunov จาก Yandex กล่าว

Andrey Kalinin จาก Mail.Ru Group มีความคิดเห็นที่แตกต่าง: “แน่นอนว่านี่เป็นสิ่งที่น่าประทับใจจากมุมมองของสาธารณชน ในทางกลับกัน ฉันจะไม่พูดว่าผลิตภัณฑ์เพื่อความบันเทิงไม่สามารถนำมาใช้อีกต่อไปได้ พื้นที่ที่มีประโยชน์- ตัวอย่างเช่น งานตกแต่งสไตล์รูปภาพมีความเกี่ยวข้องอย่างมากกับอุตสาหกรรมจำนวนหนึ่ง (การออกแบบ เกมคอมพิวเตอร์แอนิเมชั่นเป็นเพียงตัวอย่างบางส่วน) และการใช้โครงข่ายประสาทเทียมอย่างเต็มรูปแบบสามารถลดต้นทุนและวิธีการสร้างเนื้อหาให้เหมาะสมได้อย่างมาก”

ผู้เล่นหลักในตลาดโครงข่ายประสาทเทียม

ดังที่ Andrey Kalinin ตั้งข้อสังเกต โดยส่วนใหญ่แล้วโครงข่ายประสาทเทียมส่วนใหญ่ในตลาดไม่ได้มีความแตกต่างกันมากนัก “เทคโนโลยีของทุกคนมีความคล้ายคลึงกันโดยประมาณ แต่การใช้โครงข่ายประสาทเทียมถือเป็นความสุขที่ทุกคนไม่สามารถจ่ายได้ หากต้องการฝึกโครงข่ายประสาทเทียมอย่างอิสระและทำการทดลองจำนวนมาก คุณต้องมีชุดการฝึกขนาดใหญ่และเครื่องจักรจำนวนมากที่มีการ์ดแสดงผลราคาแพง แน่นอนว่าบริษัทขนาดใหญ่มีโอกาสเช่นนี้” เขากล่าว

ในบรรดาผู้เล่นหลักในตลาด Kalinin กล่าวถึง Google และแผนก Google DeepMind ซึ่งสร้างเครือข่าย AlphaGo และ Google Brain Microsoft มีการพัฒนาของตนเองในด้านนี้ - ดำเนินการโดยห้องปฏิบัติการวิจัยของ Microsoft การสร้างโครงข่ายประสาทเทียมนั้นดำเนินการที่ IBM, Facebook (แผนกหนึ่งของ Facebook AI Research), Baidu (สถาบัน Baidu Institute of Deep Learning) และอื่นๆ มีการพัฒนาหลายอย่างในมหาวิทยาลัยเทคนิคทั่วโลก

Grigory Bakunov ผู้อำนวยการฝ่ายจัดจำหน่ายเทคโนโลยีของ Yandex ตั้งข้อสังเกตว่าสตาร์ทอัพก็พบการพัฒนาที่น่าสนใจในด้านโครงข่ายประสาทเทียมเช่นกัน “ฉันจะจำบริษัท ClarifAI ได้ เป็นต้น นี่คือสตาร์ทอัพเล็กๆ ที่ครั้งหนึ่งเคยสร้างโดยคนจาก Google ตอนนี้พวกเขาอาจจะเก่งที่สุดในโลกในการกำหนดเนื้อหาของภาพ” สตาร์ทอัพดังกล่าว ได้แก่ MSQRD, Prisma และอื่นๆ

ในรัสเซีย การพัฒนาในด้านโครงข่ายประสาทเทียมไม่เพียงดำเนินการโดยบริษัทสตาร์ทอัพเท่านั้น แต่ยังดำเนินการโดยบริษัทเทคโนโลยีขนาดใหญ่ด้วย ตัวอย่างเช่น กลุ่มบริษัท Mail.Ru Group ใช้โครงข่ายประสาทเทียมในการประมวลผลและจำแนกข้อความในการวิเคราะห์การค้นหาและรูปภาพ บริษัทยังดำเนินการพัฒนาทดลองที่เกี่ยวข้องกับบอทและระบบการสนทนาอีกด้วย

ยานเดกซ์กำลังสร้างโครงข่ายประสาทเทียมของตัวเอง: “โดยพื้นฐานแล้ว เครือข่ายดังกล่าวถูกนำมาใช้ในการทำงานกับภาพและเสียงแล้ว แต่เรากำลังสำรวจความสามารถของพวกเขาในด้านอื่น ๆ ตอนนี้เรากำลังทำการทดลองมากมายในการใช้โครงข่ายประสาทเทียมในการทำงานกับข้อความ” มหาวิทยาลัยกำลังมีการพัฒนา: Skoltech, MIPT, Moscow State University, Higher School of Economics และอื่นๆ

หากคุณติดตามข่าวสารจากโลกแห่งวิทยาศาสตร์และเทคโนโลยี คุณอาจเคยได้ยินบางอย่างเกี่ยวกับแนวคิดของโครงข่ายประสาทเทียม

ตัวอย่างเช่นในปี 2559 ระบบประสาท เครือข่ายกูเกิล AlphaGo เอาชนะหนึ่งในผู้เล่น Counter-Strike: Global Offensive มืออาชีพที่ดีที่สุดในโลกด้วยคะแนน 4-1 YouTube ยังได้ประกาศว่าพวกเขาจะใช้โครงข่ายประสาทเทียมเพื่อทำความเข้าใจวิดีโอของพวกเขาให้ดียิ่งขึ้น

แต่โครงข่ายประสาทเทียมคืออะไร? มันทำงานอย่างไร? และเหตุใดจึงได้รับความนิยมในการประมวลผลด้วยเครื่องจักร?

คอมพิวเตอร์เปรียบเสมือนสมอง

นักประสาทวิทยาสมัยใหม่มักพูดถึงสมองว่าเป็นคอมพิวเตอร์ประเภทหนึ่ง โครงข่ายประสาทเทียมมีเป้าหมายที่จะทำสิ่งที่ตรงกันข้าม นั่นคือสร้างคอมพิวเตอร์ที่ทำงานเหมือนกับสมอง

แน่นอนว่าเรามีเพียงความเข้าใจอย่างผิวเผินเท่านั้น ฟังก์ชั่นที่ซับซ้อนสมอง แต่ด้วยการสร้างแบบจำลองที่เรียบง่ายของวิธีที่สมองประมวลผลข้อมูล เราสามารถสร้างคอมพิวเตอร์ประเภทหนึ่งที่ทำงานแตกต่างไปจากคอมพิวเตอร์มาตรฐานอย่างมาก

โปรเซสเซอร์คอมพิวเตอร์ประมวลผลข้อมูลตามลำดับ (“ตามลำดับ”) พวกเขาดำเนินการหลายอย่างกับชุดข้อมูลทีละรายการ การประมวลผลแบบขนาน (“การประมวลผลหลายเธรดในเวลาเดียวกัน”) ช่วยเพิ่มความเร็วให้กับคอมพิวเตอร์ได้อย่างมากโดยใช้โปรเซสเซอร์หลายตัวในซีรีส์

ในรูปด้านล่าง ตัวอย่างการประมวลผลแบบขนานต้องใช้โปรเซสเซอร์ที่แตกต่างกันห้าตัว:

โครงข่ายประสาทเทียม (หรือที่เรียกว่าเพื่อแยกความแตกต่างจากโครงข่ายประสาทเทียมจริงในสมอง) มีโครงสร้างที่แตกต่างกันโดยพื้นฐาน มันเชื่อมโยงกันมาก สิ่งนี้ช่วยให้คุณประมวลผลข้อมูลได้อย่างรวดเร็ว เรียนรู้จากข้อมูลนั้น และอัปเดตโครงสร้างภายในของคุณเองเพื่อปรับปรุงประสิทธิภาพ

อย่างไรก็ตาม ความสัมพันธ์ในระดับสูงมีผลกระทบที่ตามมาบางประการ ตัวอย่างเช่น โครงข่ายประสาทเทียมสามารถรับรู้โครงสร้างข้อมูลที่ไม่ชัดเจนได้ดีมาก

ความสามารถในการเรียนรู้

ความสามารถในการเรียนรู้ของโครงข่ายประสาทเทียมคือจุดแข็งที่ยิ่งใหญ่ที่สุด ในสถาปัตยกรรมการคำนวณมาตรฐาน โปรแกรมเมอร์จะต้องออกแบบอัลกอริทึมที่บอกคอมพิวเตอร์ว่าจะทำอย่างไรกับข้อมูลขาเข้าเพื่อให้แน่ใจว่าคอมพิวเตอร์จะให้คำตอบที่ถูกต้อง

คำตอบสำหรับ I/O สามารถทำได้ง่ายๆ เช่น "เมื่อกดปุ่ม A", "A ปรากฏบนหน้าจอ" หรือซับซ้อนกว่าการดำเนินการทางสถิติที่ซับซ้อน ในทางกลับกัน โครงข่ายประสาทเทียมไม่ต้องการอัลกอริธึมเดียวกัน พวกเขาสามารถพัฒนาอัลกอริธึมของตนเองได้โดยใช้กลไกการเรียนรู้ อัลกอริธึมของเครื่องเพื่อให้แน่ใจว่าทำงานได้อย่างถูกต้อง

สิ่งสำคัญคือต้องทราบว่าเนื่องจากโครงข่ายประสาทเทียมเป็นโปรแกรมที่เขียนบนเครื่องที่ใช้มาตรฐาน ฮาร์ดแวร์สำหรับการประมวลผลตามลำดับ เทคโนโลยีในปัจจุบันยังคงมีข้อจำกัดอยู่ การสร้างโครงข่ายประสาทเทียมเวอร์ชันฮาร์ดแวร์เป็นปัญหาที่แตกต่างไปจากเดิมอย่างสิ้นเชิง

จากเซลล์ประสาทไปจนถึงโหนด

ตอนนี้เราได้วางรากฐานสำหรับวิธีการทำงานของโครงข่ายประสาทเทียมแล้ว เราก็สามารถเริ่มดูรายละเอียดเฉพาะบางประการได้ โครงสร้างพื้นฐานของโครงข่ายประสาทเทียมมีลักษณะดังนี้:

แต่ละวงกลมเรียกว่า "โหนด" และจำลองเซลล์ประสาทเดี่ยว ทางด้านซ้ายคือโหนดอินพุต ตรงกลางคือโหนดที่ซ่อนอยู่ และทางด้านขวาคือโหนดเอาต์พุต

ในแง่พื้นฐานที่สุด โหนดอินพุตยอมรับค่าอินพุต ซึ่งอาจเป็นไบนารี 1 หรือ 0 ส่วนหนึ่งของค่าสี RGB สถานะของตัวหมากรุก หรือสิ่งอื่นใด โหนดเหล่านี้แสดงถึงข้อมูลที่เข้าสู่เครือข่าย

แต่ละโหนดอินพุตเชื่อมต่อกับโหนดที่ซ่อนอยู่หลายโหนด (บางครั้งกับทุกโหนดที่ถูกซ่อน บางครั้งอาจเป็นชุดย่อย) โหนดอินพุตจะนำข้อมูลที่ได้รับมาและส่งผ่านไปยังเลเยอร์ที่ซ่อนอยู่

ตัวอย่างเช่น โหนดอินพุตอาจส่งสัญญาณ ("ไฟ" ในสำนวนประสาทวิทยา) หากได้รับ 1 และคงอยู่เฉยๆ หากได้รับศูนย์ แต่ละโหนดที่ซ่อนอยู่มีขีดจำกัด: หากอินพุตที่สรุปทั้งหมดถึงค่าที่กำหนด โหนดนั้นจะเริ่มทำงาน

จากไซแนปส์ไปจนถึงการเชื่อมต่อ

การเชื่อมต่อแต่ละครั้งจะมีน้ำหนักที่แน่นอน ซึ่งเทียบเท่ากับไซแนปส์ทางกายวิภาค ซึ่งช่วยให้เครือข่ายให้ความสำคัญกับการทำงานของโหนดใดโหนดหนึ่งมากขึ้น นี่คือตัวอย่าง:

อย่างที่คุณเห็น น้ำหนักของการเชื่อมต่อ "B" สูงกว่าน้ำหนักของการเชื่อมต่อ "A" และ "C" สมมติว่าโหนดที่ซ่อนอยู่ "4" จะเริ่มทำงานก็ต่อเมื่อได้รับเท่านั้น ข้อมูลทั่วไป"2" หรือมากกว่า ซึ่งหมายความว่าหาก "1" หรือ "3" เริ่มทำงานทีละรายการ "4" จะไม่เริ่มทำงาน แต่ "1" และ "3" รวมกันจะทริกเกอร์โหนด โหนด "2" ยังสามารถเริ่มต้นโหนดได้เองผ่านการเชื่อมต่อ "B"

มาดูสภาพอากาศกัน ตัวอย่างการปฏิบัติ- สมมติว่าคุณกำลังออกแบบโครงข่ายประสาทเทียมแบบง่ายๆ เพื่อพิจารณาว่าควรมีคำเตือนพายุฤดูหนาวหรือไม่

การใช้การเชื่อมต่อและน้ำหนักข้างต้น โหนด 4 สามารถทริกเกอร์ได้เฉพาะในกรณีที่อุณหภูมิต่ำกว่า -18 C และลมสูงกว่า 48 กม./วินาที หรือจะทริกเกอร์หากโอกาสที่หิมะตกมากกว่า 70 เปอร์เซ็นต์ อุณหภูมิจะถูกป้อนไปที่โหนด 1 ลมไปยังโหนด 3 และความน่าจะเป็นที่หิมะจะถูกส่งไปยังโหนด 2 ตอนนี้โหนด 4 สามารถนำทั้งหมดนี้มาพิจารณาเมื่อกำหนดสัญญาณที่จะส่งไปยังเลเยอร์เอาท์พุต

ดีกว่าตรรกะง่ายๆ

แน่นอนว่าฟังก์ชันนี้สามารถนำไปใช้ได้อย่างง่ายดายโดยใช้เกท AND/OR แบบธรรมดา แต่โครงข่ายประสาทเทียมที่ซับซ้อนกว่า เช่นโครงด้านล่าง มีความสามารถในการดำเนินการที่ซับซ้อนกว่ามาก

โหนดเลเยอร์เอาต์พุตทำงานในลักษณะเดียวกับเลเยอร์ที่ซ่อนอยู่: โหนดเอาต์พุตจะรวมอินพุตจากเลเยอร์ที่ซ่อนอยู่ และหากถึงค่าที่กำหนด โหนดเอาต์พุตจะทริกเกอร์และส่งสัญญาณเฉพาะ ในตอนท้ายของกระบวนการ เลเยอร์เอาต์พุตจะส่งสัญญาณชุดหนึ่งที่บ่งชี้ผลลัพธ์ของอินพุต

แม้ว่าเครือข่ายที่แสดงด้านบนจะเรียบง่าย แต่โครงข่ายประสาทเทียมระดับลึกสามารถมีเลเยอร์ที่ซ่อนอยู่มากมายและมีโหนดหลายร้อยโหนด

แก้ไขข้อบกพร่อง

กระบวนการนี้ยังค่อนข้างง่าย แต่ที่ซึ่งโครงข่ายประสาทเทียมมีความจำเป็นจริงๆ ก็คือการเรียนรู้ โครงข่ายประสาทเทียมส่วนใหญ่ใช้กระบวนการ backpropagation ที่ส่งสัญญาณกลับผ่านเครือข่าย

ก่อนที่นักพัฒนาจะปรับใช้โครงข่ายประสาทเทียม พวกเขาเรียกใช้เครือข่ายนี้ผ่านขั้นตอนการฝึกอบรมซึ่งจะได้รับชุดอินพุตพร้อมเอาต์พุตที่ทราบ ตัวอย่างเช่น โปรแกรมเมอร์สามารถสอนโครงข่ายประสาทเทียมให้จดจำรูปภาพได้ ข้อมูลเข้าอาจเป็นรูปภาพรถยนต์ และผลลัพธ์ที่ถูกต้องคือคำว่า "รถยนต์"

โปรแกรมเมอร์จัดเตรียมรูปภาพเป็นอินพุตและดูว่ามีอะไรออกมาจากโหนดเอาต์พุต หากเครือข่ายตอบสนองด้วย "เครื่องบิน" โปรแกรมเมอร์จะบอกคอมพิวเตอร์ว่าไม่ถูกต้อง

จากนั้นเครือข่ายจะทำการปรับเปลี่ยนการเชื่อมต่อของตัวเอง โดยเปลี่ยนน้ำหนักของการเชื่อมโยงที่แตกต่างกันระหว่างโหนด การดำเนินการนี้ขึ้นอยู่กับอัลกอริธึมการเรียนรู้พิเศษที่เพิ่มลงในเครือข่าย เครือข่ายจะปรับน้ำหนักการเชื่อมต่อต่อไปจนกว่าจะสร้างเอาต์พุตที่ถูกต้อง

นี่เป็นการทำให้ง่ายขึ้น แต่โครงข่ายประสาทเทียมสามารถเรียนรู้การดำเนินการที่ซับซ้อนมากได้โดยใช้หลักการที่คล้ายกัน

การปรับปรุงอย่างต่อเนื่อง

แม้หลังจากการฝึกอบรมแล้ว backpropagation (การฝึกอบรม) ยังคงดำเนินต่อไป - และนี่คือจุดที่โครงข่ายประสาทเทียมเจ๋งจริงๆ พวกเขาเรียนรู้ต่อไปขณะใช้งานและบูรณาการ ข้อมูลใหม่และโดยการเปลี่ยนแปลงน้ำหนักของสารประกอบต่างๆ ให้มีประสิทธิภาพมากขึ้นตามภารกิจที่ตั้งใจไว้

มันอาจจะง่ายแค่การจดจำรูปแบบหรือซับซ้อนพอ ๆ กับการเล่น CS:GO

ดังนั้นโครงข่ายประสาทเทียมจึงมีการเปลี่ยนแปลงและปรับปรุงอยู่ตลอดเวลา และอาจส่งผลตามมาที่ไม่คาดคิด นำไปสู่เครือข่ายที่จัดลำดับความสำคัญสิ่งต่าง ๆ ที่โปรแกรมเมอร์ไม่คิดว่าจะจัดลำดับความสำคัญ

นอกเหนือจากกระบวนการที่อธิบายไว้ข้างต้นซึ่งเรียกว่าการเรียนรู้แบบมีผู้สอนแล้ว ยังมีอีกวิธีหนึ่งคือการเรียนรู้แบบไม่มีผู้สอน

ในสถานการณ์นี้ โครงข่ายประสาทเทียมรับข้อมูลอินพุตและพยายามสร้างข้อมูลดังกล่าวขึ้นมาใหม่เหมือนกับเอาต์พุต โดยใช้การถ่ายทอดกลับเพื่ออัปเดตการเชื่อมต่อ นี่อาจฟังดูเหมือนเป็นการฝึกที่ไร้ประโยชน์ แต่นี่คือวิธีที่เครือข่ายเรียนรู้ที่จะดึงคุณสมบัติที่เป็นประโยชน์และสรุปคุณสมบัติเหล่านั้นเพื่อปรับปรุงแบบจำลองของพวกเขา

คำถามเชิงลึก

Backpropagation เป็นอย่างมาก วิธีที่มีประสิทธิภาพสอนโครงข่ายประสาทเทียม...เมื่อประกอบด้วยชั้นเพียงไม่กี่ชั้น เมื่อจำนวนเลเยอร์ที่ซ่อนอยู่เพิ่มขึ้น ประสิทธิภาพของการแพร่กระจายกลับจะลดลง นี่เป็นปัญหาสำหรับเครือข่ายระดับลึก การใช้ backpropagation มักจะไม่มีประสิทธิภาพมากไปกว่าเครือข่ายธรรมดา

นักวิทยาศาสตร์ได้พัฒนาวิธีแก้ปัญหาหลายประการสำหรับปัญหานี้ ซึ่งมีข้อมูลเฉพาะที่ค่อนข้างซับซ้อนและอยู่นอกเหนือขอบเขตของส่วนเบื้องต้นนี้ โซลูชันเหล่านี้พยายามทำอะไรมากมาย ในภาษาง่ายๆเรียกว่าการลดความซับซ้อนของเครือข่ายโดยการสอนให้ "บีบอัด" ข้อมูล

ในการดำเนินการนี้ เครือข่ายเรียนรู้ที่จะดึงคุณลักษณะการระบุตัวตนน้อยลงจากข้อมูลอินพุต ซึ่งท้ายที่สุดจะมีประสิทธิภาพมากขึ้นในการคำนวณ โดยพื้นฐานแล้ว เครือข่ายสร้างภาพรวมและนามธรรมในลักษณะเดียวกับที่มนุษย์เรียนรู้

หลังจากการฝึกอบรมนี้ เครือข่ายสามารถตัดโหนดและการเชื่อมต่อที่เห็นว่ามีความสำคัญน้อยกว่าได้ ทำให้เครือข่ายมีประสิทธิภาพมากขึ้นและเรียนรู้ได้ง่ายขึ้น

แอปพลิเคชั่นโครงข่ายประสาทเทียม

ด้วยวิธีนี้ โครงข่ายประสาทเทียมจำลองวิธีที่สมองเรียนรู้โดยใช้โหนดหลายชั้น ทั้งอินพุต ซ่อน และเอาท์พุต และพวกเขาสามารถเรียนรู้ได้ทั้งในสถานการณ์ภายใต้การดูแลและไม่ได้รับการดูแล เครือข่ายที่ซับซ้อนสามารถสร้างนามธรรมและลักษณะทั่วไปได้ ซึ่งทำให้เครือข่ายมีประสิทธิภาพและสามารถเรียนรู้ได้มากขึ้น

เราสามารถใช้ระบบที่น่าตื่นเต้นเหล่านี้เพื่ออะไร?

ตามทฤษฎีแล้ว เราสามารถใช้โครงข่ายประสาทเทียมสำหรับเกือบทุกอย่าง และคุณอาจใช้มันโดยไม่รู้ตัว เป็นเรื่องปกติมากในการจดจำคำพูดและการมองเห็น เนื่องจากพวกเขาสามารถเรียนรู้ที่จะเลือกคุณสมบัติบางอย่าง ซึ่งเป็นสิ่งที่พบได้ทั่วไปในเสียงหรือภาพ

ดังนั้นเมื่อคุณพูดว่า "ตกลง Google" iPhone ของคุณจะเรียกใช้คำพูดของคุณผ่านโครงข่ายประสาทเทียมเพื่อทำความเข้าใจสิ่งที่คุณกำลังพูด บางทีอาจมีโครงข่ายประสาทเทียมอื่นที่เรียนรู้ที่จะคาดเดาสิ่งที่คุณน่าจะขอ

รถยนต์ที่ขับเคลื่อนด้วยตนเองสามารถใช้โครงข่ายประสาทเทียมเพื่อประมวลผลข้อมูลภาพได้ ดังนั้นจึงปฏิบัติตามกฎจราจรและหลีกเลี่ยงการชนกัน หุ่นยนต์ทุกประเภทสามารถได้รับประโยชน์จากโครงข่ายประสาทเทียมที่ช่วยให้พวกเขาเรียนรู้ที่จะปฏิบัติงานได้อย่างมีประสิทธิภาพ คอมพิวเตอร์สามารถเรียนรู้การเล่นเกม เช่น หมากรุกหรือ CS:GO ได้ หากคุณเคยโต้ตอบกับแชทบอท อาจเป็นไปได้ที่แชทบอทจะใช้โครงข่ายประสาทเทียมเพื่อแนะนำการตอบสนองที่เหมาะสม

การค้นหาทางอินเทอร์เน็ตสามารถได้รับประโยชน์อย่างมากจากโครงข่ายประสาทเทียม เนื่องจากโมเดลการประมวลผลแบบขนานที่มีประสิทธิภาพสูงสามารถสร้างข้อมูลจำนวนมากได้อย่างรวดเร็ว โครงข่ายประสาทเทียมยังสามารถเรียนรู้นิสัยของคุณเพื่อปรับแต่งผลการค้นหาในแบบของคุณหรือคาดการณ์สิ่งที่คุณกำลังจะค้นหาในอนาคตอันใกล้นี้ โมเดลการคาดการณ์นี้จะมีคุณค่าอย่างมากต่อนักการตลาด (และใครก็ตามที่ต้องการทำนายพฤติกรรมที่ซับซ้อนของมนุษย์)

การจดจำรูปแบบ การจดจำภาพด้วยแสง การคาดการณ์ตลาดหุ้น การค้นหาเส้นทาง การประมวลผลข้อมูลขนาดใหญ่ การวิเคราะห์ต้นทุนทางการแพทย์ การคาดการณ์การขาย ปัญญาประดิษฐ์ในวิดีโอเกม ความเป็นไปได้นั้นแทบจะไม่มีที่สิ้นสุด ความสามารถของโครงข่ายประสาทเทียมในการเรียนรู้รูปแบบ สร้างลักษณะทั่วไป และการทำนายพฤติกรรมได้สำเร็จ ทำให้พวกเขามีคุณค่าในสถานการณ์นับไม่ถ้วน

อนาคตของโครงข่ายประสาทเทียม

โครงข่ายประสาทเทียมมีความก้าวหน้าตั้งแต่มาก โมเดลที่เรียบง่ายไปจนถึงการจำลองการฝึกระดับสูง สิ่งเหล่านี้อยู่บนโทรศัพท์ แท็บเล็ต และบริการบนเว็บมากมายที่เราใช้ มีระบบการเรียนรู้ของเครื่องอื่นๆ อีกมากมาย

แต่โครงข่ายประสาทเทียมเนื่องจากความคล้ายคลึงกัน (ในรูปแบบที่ง่ายมาก) ถึง สมองของมนุษย์เป็นสิ่งที่น่าตื่นเต้นที่สุด แม้ว่าเราจะพัฒนาและปรับปรุงโมเดลเหล่านี้ต่อไป แต่เราไม่สามารถพูดได้ว่าโมเดลเหล่านี้มีความสามารถอะไร

คุณรู้จักแอปพลิเคชั่นที่น่าสนใจของโครงข่ายประสาทเทียมหรือไม่? คุณมีประสบการณ์ในการทำงานกับพวกเขาด้วยตัวเองหรือไม่? อะไรทำให้คุณตื่นเต้นมากที่สุดเกี่ยวกับเทคโนโลยีนี้? แบ่งปันความคิดของคุณในความคิดเห็นด้านล่าง!

ครั้งนี้ฉันตัดสินใจศึกษาโครงข่ายประสาทเทียม ฉันสามารถเรียนรู้ทักษะพื้นฐานในเรื่องนี้ได้ในช่วงฤดูร้อนและฤดูใบไม้ร่วงปี 2558 จากทักษะพื้นฐาน ฉันหมายความว่าฉันสามารถสร้างโครงข่ายประสาทเทียมแบบง่ายๆ ได้ด้วยตัวเองตั้งแต่เริ่มต้น คุณสามารถค้นหาตัวอย่างได้ในที่เก็บ GitHub ของฉัน ในบทความนี้ ฉันจะให้คำอธิบายและแบ่งปันแหล่งข้อมูลที่คุณอาจพบว่ามีประโยชน์ในการศึกษาของคุณ

ขั้นตอนที่ 1 เซลล์ประสาทและวิธีการป้อนไปข้างหน้า

แล้ว “โครงข่ายประสาทเทียม” คืออะไร? รอเรื่องนี้แล้วจัดการกับเซลล์ประสาทหนึ่งอันก่อน

เซลล์ประสาทเป็นเหมือนฟังก์ชัน: ใช้ค่าหลายค่าเป็นอินพุตและส่งกลับหนึ่งค่า

วงกลมด้านล่างแสดงถึงเซลล์ประสาทเทียม ได้รับ 5 และส่งคืน 1 อินพุตคือผลรวมของไซแนปส์ทั้งสามที่เชื่อมต่อกับเซลล์ประสาท (ลูกศรสามลูกทางด้านซ้าย)

ทางด้านซ้ายของภาพเราเห็นค่าอินพุต 2 ค่า (เป็นสีเขียว) และค่าชดเชย (เป็นสีน้ำตาล)

ข้อมูลอินพุตสามารถแสดงเป็นตัวเลขของคุณสมบัติที่แตกต่างกันสองรายการได้ ตัวอย่างเช่น เมื่อสร้างตัวกรองสแปม อาจหมายถึงมีคำมากกว่าหนึ่งคำที่เขียนด้วยตัวพิมพ์ใหญ่และมีคำว่า "ไวอากร้า"

ค่าอินพุตจะถูกคูณด้วยสิ่งที่เรียกว่า "น้ำหนัก" 7 และ 3 (เน้นด้วยสีน้ำเงิน)

ตอนนี้เราเพิ่มค่าผลลัพธ์ด้วยการชดเชยและรับตัวเลขในกรณีของเรา 5 (เน้นด้วยสีแดง) นี่คือสัญญาณเข้าของเซลล์ประสาทเทียมของเรา

จากนั้นเซลล์ประสาทจะทำการคำนวณและสร้างค่าเอาต์พุต เราได้ 1 เพราะ ค่าปัดเศษของซิกมอยด์ที่จุดที่ 5 คือ 1 (เราจะพูดถึงฟังก์ชันนี้ในรายละเอียดเพิ่มเติมในภายหลัง)

หากนี่คือตัวกรองสแปม ความจริงที่ว่าเอาต์พุต 1 จะหมายความว่าข้อความถูกทำเครื่องหมายว่าเป็นสแปมโดยเซลล์ประสาท

ภาพประกอบของโครงข่ายประสาทเทียมจากวิกิพีเดีย

หากคุณรวมเซลล์ประสาทเหล่านี้เข้าด้วยกัน คุณจะได้รับโครงข่ายประสาทเทียมที่แพร่กระจายโดยตรง กระบวนการนี้จะเริ่มจากอินพุตไปยังเอาต์พุต ผ่านเซลล์ประสาทที่เชื่อมต่อกันด้วยไซแนปส์ ดังภาพด้านซ้าย

ขั้นตอนที่ 2 ซิกมอยด์

หลังจากที่คุณได้ดูบทเรียนของ Welch Labs แล้ว เป็นความคิดที่ดีที่จะลองดูหลักสูตรการเรียนรู้ของเครื่องของ Coursera เกี่ยวกับโครงข่ายประสาทเทียมสัปดาห์ที่ 4 เพื่อช่วยให้คุณเข้าใจวิธีการทำงาน หลักสูตรนี้เจาะลึกวิชาคณิตศาสตร์และใช้ Octave ในขณะที่ฉันชอบ Python มากกว่า ด้วยเหตุนี้ ฉันจึงข้ามแบบฝึกหัดและรับความรู้ที่จำเป็นทั้งหมดจากวิดีโอ

ซิกมอยด์เพียงจับคู่ค่าของคุณ (บนแกนนอน) กับช่วงตั้งแต่ 0 ถึง 1

สิ่งสำคัญอันดับแรกของฉันคือการศึกษาซิกมอยด์ เนื่องจากได้ค้นพบโครงข่ายประสาทเทียมในหลาย ๆ ด้าน ฉันรู้บางอย่างเกี่ยวกับเรื่องนี้แล้วตั้งแต่สัปดาห์ที่สามของหลักสูตรที่กล่าวมาข้างต้น ดังนั้นฉันจึงดูวิดีโอจากที่นั่น

แต่คุณจะไม่ได้ไกลกับวิดีโอเพียงอย่างเดียว เพื่อความเข้าใจที่สมบูรณ์ ฉันจึงตัดสินใจเขียนโค้ดด้วยตัวเอง ดังนั้นฉันจึงเริ่มเขียนการนำอัลกอริธึมการถดถอยโลจิสติกไปใช้ (ซึ่งใช้ซิกมอยด์)

ใช้เวลาทั้งวันและผลลัพธ์ก็ไม่น่าพอใจเลย แต่มันไม่สำคัญเพราะฉันเข้าใจแล้วว่าทุกอย่างทำงานอย่างไร สามารถดูรหัสได้

คุณไม่จำเป็นต้องทำสิ่งนี้ด้วยตัวเองเนื่องจากต้องใช้ความรู้พิเศษ - สิ่งสำคัญคือคุณเข้าใจว่าซิกมอยด์ทำงานอย่างไร

ขั้นตอนที่ 3 วิธีการ Backpropagation

การทำความเข้าใจว่าโครงข่ายประสาทเทียมทำงานอย่างไรจากอินพุตไปยังเอาต์พุตนั้นไม่ใช่เรื่องยาก เป็นการยากกว่ามากที่จะเข้าใจว่าโครงข่ายประสาทเทียมเรียนรู้จากชุดข้อมูลได้อย่างไร หลักการที่ผมใช้เรียกว่า backpropagation

กล่าวโดยย่อ: คุณประเมินว่าเครือข่ายผิดแค่ไหนและเปลี่ยนน้ำหนักของค่าอินพุต (ตัวเลขสีน้ำเงินในภาพแรก)

กระบวนการดำเนินไปตั้งแต่ต้นจนจบ เนื่องจากเราเริ่มต้นที่จุดสิ้นสุดของเครือข่าย (ดูว่าการคาดเดาของเครือข่ายเบี่ยงเบนไปจากความจริงแค่ไหน) และย้อนกลับ โดยเปลี่ยนน้ำหนักไปพร้อมกัน จนกระทั่งเราไปถึงอินพุต หากต้องการคำนวณทั้งหมดนี้ด้วยตนเอง คุณจะต้องมีความรู้เกี่ยวกับการวิเคราะห์ทางคณิตศาสตร์ Khan Academy มีหลักสูตรแคลคูลัสที่ดี แต่ฉันเรียนที่มหาวิทยาลัย คุณไม่ต้องกังวลและใช้ไลบรารีที่จะคำนวณคณิตศาสตร์ทั้งหมดให้คุณ

ภาพหน้าจอจากบทช่วยสอนของ Matt Mazur เกี่ยวกับการเผยแพร่กลับ

ต่อไปนี้เป็นแหล่งข้อมูลสามแหล่งที่ช่วยให้ฉันเข้าใจวิธีนี้:

ในขณะที่อ่านสองบทความแรก คุณควรเขียนโค้ดให้กับตัวเองอย่างแน่นอน ซึ่งจะช่วยคุณได้ในอนาคต และโดยทั่วไปแล้ว โครงข่ายประสาทเทียมไม่สามารถเข้าใจได้อย่างถูกต้องหากคุณละเลยการฝึกฝน บทความที่สามก็เจ๋งเช่นกัน แต่เป็นสารานุกรมมากกว่าเพราะมันมีขนาดเท่าหนังสือทั้งเล่ม ประกอบด้วยคำอธิบายโดยละเอียดเกี่ยวกับหลักการสำคัญทั้งหมดของโครงข่ายประสาทเทียม บทความเหล่านี้ยังช่วยให้คุณเรียนรู้แนวคิดต่างๆ เช่น ฟังก์ชันต้นทุนและการลงลาดแบบเกรเดียนต์

ขั้นตอนที่ 4 สร้างโครงข่ายประสาทเทียมของคุณเอง

เมื่อคุณอ่านบทความและบทช่วยสอนต่างๆ คุณจะเขียนโครงข่ายประสาทเทียมขนาดเล็กไม่ทางใดก็ทางหนึ่ง ฉันแนะนำให้ทำอย่างนั้นเพราะมันเป็นวิธีการสอนที่มีประสิทธิภาพมาก

บทความที่มีประโยชน์อีกบทความหนึ่งก็คือ