راکت

دریافت اطلاعات صفحاتی که با جاوا اسکریپت دیتارو لود میکنند

18 پاسخ

سلام دوستان عزیز
من برای دریافت اطلاعات با php با متد curl از داخل سایتی که نیاز دارم کوکی هم ست کردم ولی وقتی میخوام دیتای صفحات رو بگیرم چون با جاوا اسکریپت لود میکنه نمیتونم اینکار رو بکنم برای همین میخواستم ببینم دوستان روشی برای این کار میشناسه که این کار رو بکنم ؟
من از اون صفحات فقط بخشی از دیتارو میخوام بگیرم ممنون میشم راهنماییم کنید

ثبت پرسش جدید

پاسخ‌ها

18
محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

رایموند
رایموند
@Raymond

تخصص: مختصص وردپرس - برنامه نویس لاراول

درود خوبی...
با API با استفاده از Json اطلاعات رو در داخل پنل نمایش بده...

شاید پاسخ شما همین‌جا باشد

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

مشکل من اینه که اطلاعات رو نمیشه از اون سایت مرجع گرفت چون دیتا ها رو با جاوا اسکریپت لود میکنه و نمیشه با php دیتا رو گرفت

رایموند
رایموند
@Raymond

تخصص: مختصص وردپرس - برنامه نویس لاراول

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

@endworld ممنون از لطفتون ولی بنظرم یا من متوجه نشدم یا اشتاهی عرض کردم

ببینید ما یه سایت داریم که میخوام دیتارو ازش بگیرم یا با ذخیره کردم یا برداشتن و ذخیره در دیتابیس فق میخوام دیتا رو بگیرم از سایت ولی سایت برای اینکه دیتارو بده با جاوا اسکریپت لود میشه و بعد از چند ثانیه دیتا رو میگیره و میده برای چاپ یا ذخیره pdf ولی دیتا رو میشه به صورت html ذخیره کرد یا برداشت الان من میخوام دیتا رو از اون صفحه بگیرم اتفاقا چند هزار صفحه رو باید بررسی بکنه و دیتا هاشو بگیره
الان بنظرم کمی بیشتر باز شد مطئله ممنون میشم اگر راه حل سریعی دارید بفرمایید از اون صفحه نتونستم چیزی بفهمم

رایموند
رایموند
@Raymond

تخصص: مختصص وردپرس - برنامه نویس لاراول

@mohammadhamza
لینکی که دادم آموزش گرفتن اطلاعات سایت از طریق جاوا اسکریپت به روش API هست.
شما کافیه آدرسی که بخوای اطلاعات دریافت کنید رو فراخوانی کنید .
بعد از آن باید تابع مورد نظر برای دریافت اطلاعات بنویسید.
اصلا کاری به دریافت اطلاعات دیتا با جاوا اسکریپت نداشته باشید و فقط اون آدرس API رو بدست بیار و توی پروژه به کار بگیر.

woz
woz
@wozniak

تخصص: fan of open source world

یکبار برید داخل خود اون سایت و inspect بگیرید و توی تب network مشاهده کنید که قسمت جا اسکریپتی چه ریکویست هایی رو به چه آدرس هایی میده . اگر دیتا رو به صورت جیسون بده که بهترین حالت ممکن هستش و شما میتونید همون درخواست ها رو در کد php خودتون ( یا هر زبان بک اند دیگری ) بدید و اون دیتا رو داشته باشید.
اگر جواب مورد نظر html بود در این حالت میتونید داخل کد php خودتون از XML Parser ها استفاده کرده و دیتا رو استخراج کنید.
آیا درست متوجه منظور شما از سوالتون شده ام؟
آ

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

@wozniak
سلام خداقوت ممنون از پاسخ شما

روش بالارو انجام دادم و سایت html با جاوا اسکریپت هستش که دیتارو بعد از چند ثانیه با جاوا اسکریپت دریافت میکنه که هر چقدر زور زدم چیزی غیر از اون فایل html خالی دانلود نکرد و نمیدونم دیتارو چطوری بفرستم از جاوا لود کنه بیاره و بعدش بخش مورد نظر رو بگیرم

woz
woz
@wozniak

تخصص: fan of open source world

اگر براتون امکان داره آدرس اون صفحه رو بدید بررسی کنم

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

چون داخل پنل هستش امکانش نیست بتونید بهش دسترسی داشته باشید

رایموند
رایموند
@Raymond

تخصص: مختصص وردپرس - برنامه نویس لاراول

@mohammadhamza
حداقل از کدها عکس بگیر و اینجا به اشتراک بذار...

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

کد های html رو بفرستم؟!

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

چطوری میشه از داخل جاوااسکریپت وبسرویس رو استخراج کرد؟!

رایموند
رایموند
@Raymond

تخصص: مختصص وردپرس - برنامه نویس لاراول

@mohammadhamza
شما اول بررسی کنید که سایت مبدا وب سرویس ارائه می کند یا نه...

محمدرضا
محمدرضا
@mrjazini.ir

تخصص: <programmer/>

سلام
اینکه با جاوااسکریپت لود میکنه رو متوجه نمیشم . یعنی درخواست http می‌فرسته!؟ یا با event listener دیتا رو نمایش میده؟!؟

سعید
سعید
@Saeeed

تخصص: برنامه نویس وب

@mohammadhamza
سلام دوست عزیر تنها راه این مسئله استفاده ار مرورگر هست ، تا شما بفهمید که جاواسکریپت لود و اجرا شده یا نه ؟!، شاید بگی ما که از مرورگر داخل کدهامون نمی تونیم استفاده کنیم .
بله ما از هسته مرورگر ها استفاده میکنیم مثلا موتور v8 کروم.
پکیج هایی هستند که میتونی اینکار رو باهاشون به راحتی انجام بدی مثل prerender :
https://github.com/prerender/prerender
هر آدرسی به که به این پکیج بدی ، تضمین میکنه که خروجی رو بعد از لود و حتی اجرا جاواسکریپ بهت بده .
هدف اصلی این پکیج ، تامین ssr برای سایت های spa هست ، اما برای وب اسکرپینگ هم میتونی استفاده کنید ، استفاده ازش هم بسیار ساده است.

جواد قانع
جواد قانع
@Javadghane78

سلام جواب سوال تون رو پیدا کردید
در مورد استخراج دیتا از دیجی کالا؟؟؟
@mohammadhamza

محمد حمزه
محمد حمزه
@mohammadhamza

تخصص: جستجوگر

سلام بیخیال شدم و ادامش ندادم

برای ارسال پاسخ لازم است وارد شده یا ثبت‌نام کنید

ورود یا ثبت‌نام