دریافت اطلاعات صفحاتی که با جاوا اسکریپت دیتارو لود میکنند
سلام دوستان عزیز
من برای دریافت اطلاعات با php با متد curl از داخل سایتی که نیاز دارم کوکی هم ست کردم ولی وقتی میخوام دیتای صفحات رو بگیرم چون با جاوا اسکریپت لود میکنه نمیتونم اینکار رو بکنم برای همین میخواستم ببینم دوستان روشی برای این کار میشناسه که این کار رو بکنم ؟
من از اون صفحات فقط بخشی از دیتارو میخوام بگیرم ممنون میشم راهنماییم کنید
گزینش سوالات
گفت و گو های مرتبط
دسته بندی سوالات
تگ‌های محبوب
دوستان عزیز لطفا راهنمایی کنید
@hesammousavi @wozniak @rezajahangir @amin.webdesign @mrjazini.ir @mrkaf @mhyeganeh @sinashahoveisi @endworld @SpyStar0003
مشکل من اینه که اطلاعات رو نمیشه از اون سایت مرجع گرفت چون دیتا ها رو با جاوا اسکریپت لود میکنه و نمیشه با php دیتا رو گرفت
@endworld ممنون از لطفتون ولی بنظرم یا من متوجه نشدم یا اشتاهی عرض کردم
ببینید ما یه سایت داریم که میخوام دیتارو ازش بگیرم یا با ذخیره کردم یا برداشتن و ذخیره در دیتابیس فق میخوام دیتا رو بگیرم از سایت ولی سایت برای اینکه دیتارو بده با جاوا اسکریپت لود میشه و بعد از چند ثانیه دیتا رو میگیره و میده برای چاپ یا ذخیره pdf ولی دیتا رو میشه به صورت html ذخیره کرد یا برداشت الان من میخوام دیتا رو از اون صفحه بگیرم اتفاقا چند هزار صفحه رو باید بررسی بکنه و دیتا هاشو بگیره
الان بنظرم کمی بیشتر باز شد مطئله ممنون میشم اگر راه حل سریعی دارید بفرمایید از اون صفحه نتونستم چیزی بفهمم
@mohammadhamza
لینکی که دادم آموزش گرفتن اطلاعات سایت از طریق جاوا اسکریپت به روش API هست.
شما کافیه آدرسی که بخوای اطلاعات دریافت کنید رو فراخوانی کنید .
بعد از آن باید تابع مورد نظر برای دریافت اطلاعات بنویسید.
اصلا کاری به دریافت اطلاعات دیتا با جاوا اسکریپت نداشته باشید و فقط اون آدرس API رو بدست بیار و توی پروژه به کار بگیر.
یکبار برید داخل خود اون سایت و inspect بگیرید و توی تب network مشاهده کنید که قسمت جا اسکریپتی چه ریکویست هایی رو به چه آدرس هایی میده . اگر دیتا رو به صورت جیسون بده که بهترین حالت ممکن هستش و شما میتونید همون درخواست ها رو در کد php خودتون ( یا هر زبان بک اند دیگری ) بدید و اون دیتا رو داشته باشید.
اگر جواب مورد نظر html بود در این حالت میتونید داخل کد php خودتون از XML Parser ها استفاده کرده و دیتا رو استخراج کنید.
آیا درست متوجه منظور شما از سوالتون شده ام؟
آ
@wozniak
سلام خداقوت ممنون از پاسخ شما
روش بالارو انجام دادم و سایت html با جاوا اسکریپت هستش که دیتارو بعد از چند ثانیه با جاوا اسکریپت دریافت میکنه که هر چقدر زور زدم چیزی غیر از اون فایل html خالی دانلود نکرد و نمیدونم دیتارو چطوری بفرستم از جاوا لود کنه بیاره و بعدش بخش مورد نظر رو بگیرم
سلام
اینکه با جاوااسکریپت لود میکنه رو متوجه نمیشم . یعنی درخواست http می‌فرسته!؟ یا با event listener دیتا رو نمایش میده؟!؟
@mohammadhamza
سلام دوست عزیر تنها راه این مسئله استفاده ار مرورگر هست ، تا شما بفهمید که جاواسکریپت لود و اجرا شده یا نه ؟!، شاید بگی ما که از مرورگر داخل کدهامون نمی تونیم استفاده کنیم .
بله ما از هسته مرورگر ها استفاده میکنیم مثلا موتور v8 کروم.
پکیج هایی هستند که میتونی اینکار رو باهاشون به راحتی انجام بدی مثل prerender :
https://github.com/prerender/prerender
هر آدرسی به که به این پکیج بدی ، تضمین میکنه که خروجی رو بعد از لود و حتی اجرا جاواسکریپ بهت بده .
هدف اصلی این پکیج ، تامین ssr برای سایت های spa هست ، اما برای وب اسکرپینگ هم میتونی استفاده کنید ، استفاده ازش هم بسیار ساده است.
