Web Scraping استخراج البيانات المالية

استخراج البيانات المالية للمتداول الكمي الجزء الاول

استخراج البيانات او تجريف الويب Web Scraping.

سلسلة بسيطه ومهمه لطُرق استخراج البيانات المالية للمتداولين، بتستفيد من هالسلسلة اذا كنت مهتم في بناء نظام التداول الخاص فيك والي يعتمد بشكل اساسي على جودة البيانات الي تقدر تزويد فيها نظامك لذلك تحتاج ثلاث اساسيات تشبه الانابيب “pipeline“ وهي Research → Backtest → Trade.

اغلب الوقت تقضيه في محاوله فهم وتحليل صفحة HTML او فحص عنصر من اجل البحث عن كلمه Post form توجد العديد من الادوات الخاصة مثل requests, bs4 and re تقوم بإستخراج هذه البيانات لنا.

الطريقة الاولى الإعتماد على البحث اليدوي ويكون عن طريق السورس كود الخاص بالصفحة استخدم Option & Command + U في هذه الصفحة ستجد العديد من الاكواد جافاسكربت و html وخلافهما لكن من المهم هنا معرفه هذه اللغه البسيطه والاهم معرفه tree الخاصة بها.

من المهم لك فهم اساسيات HTML وعمل html tree شرحتها سابقاً هنا لكن ماتعمقت اكثر، لو استخدمت مكتبه مثل BeautifulSoup رح تجعل حياتك اسهل، لانها ببساطه تستطيع عمل امر ومن ثم تقوم بتحويل هالصفحة الى HTML pares tree in bytes وبمجرد ماتوفر bytes يصبح البحث اكثر سهوله، لانك تستطيع البحث عن انواع كثيره مثل tag name, attributes وخلافه مثال:

result.find('div',attrs={'class':'openPrice'}).find('a').get('href')

في المثال بالاعلى قمنا بطلب احد العناصر find الذي يقوم بإجاع اول تاق {a} و get رح تمكنك من البحث داخل الخصائص المثال هنا طلبنا منه البحث داخل العنصر {a} وحددنا الخاصية href، ولها العديد من الاستخدمات.

هذا الجزء الاول بعدها سنتطرق لاستخراج البيانات من JSON عن طريق Headers واخيرا تجاوز Regular Expression لاستخراج API.