问Scrapy允许我们使用JavaScript脚本从服务器抓取数据吗？
EN

Stack Overflow用户

提问于 2022-08-10 11:21:54

回答 1查看 53关注 0票数 -1

在我的大学里，我们通过输入名字和学生ID来检索我们的学期成绩。我现在正在为项目学习网络抓取，刮取或BeatifulSoup是否为一次检索100个结果提供了一个解决方案？您可以在这里查看它的内容: view-source:http://app1.helwan.edu.eg/Commerce/HasasnUpMlist.asp，它使用如下代码：

<html>
<head>
    <meta http-equiv="Content-Language" content="ar-eg">
    <title></title>

<link href="natiga.css" rel="stylesheet" type="text/css" />

<meta http-equiv="Content-Type" content="text/html; charset=windows-1256" />
<meta name="generator" content="Hassan_kandeell@yahoo.com" />
</head>
<body>

<script type="text/javascript">
<!--
var EW_DATE_SEPARATOR; // Default date separator
EW_DATE_SEPARATOR = "/";
if (EW_DATE_SEPARATOR == '') EW_DATE_SEPARATOR = '/';
EW_UPLOAD_ALLOWED_FILE_EXT = "gif,jpg,jpeg,bmp,png,doc,xls,pdf,zip"; // Allowed upload file extension
var EW_FIELD_SEP = ', '; // Default field separator
// Ajax settings
EW_LOOKUP_FILE_NAME = "ewlookup61.asp"; // lookup file name
EW_ADD_OPTION_FILE_NAME = "ewaddopt61.asp"; // add option file name
// Auto suggest settings
var EW_AST_SELECT_LIST_ITEM = 0;
var EW_AST_TEXT_BOX_ID;
var EW_AST_CANCEL_SUBMIT;
var EW_AST_OLD_TEXT_BOX_VALUE = "";
var EW_AST_MAX_NEW_VALUE_LENGTH = 5; // Only get data if value length <= this setting
// Multipage settings
var ew_PageIndex = 0;
var ew_MaxPageIndex = 0;
var ew_MinPageIndex = 0;
var EW_TABLE_CLASSNAME = "ewTable"; // Note: changed the class name as needed
var ew_MultiPageElements = new Array();
//-->
</script>
<script type="text/javascript" src="ew61.js"></script>
<script type="text/javascript" src="userfn61.js"></script>
<script language="JavaScript" type="text/javascript">
<!--
// Write your client script here, no need to add script tags.
// To include another .js script, use:
// ew_ClientScriptInclude("my_javascript.js");
//-->
</script>
<div align="center">
    <table border="0" width="1001" dir="rtl">
        <tr>
            <td width="995" colspan="2">
            <p align="center">
            <img border="0" src="Start.JPG" width="995" height="198"></td>
        </tr>
        <tr>
            <td bgcolor="#AC8601" width="737">
            <p align="center">&nbsp;</td>
            <td bgcolor="#800000" width="254">
            <p align="center"><font size="5" color="#FFFFFF"><b>نتائج كلية 
            التجارة وإدارة الأعمال</b></font></td>
        </tr>
    </table>
</div>


<script type="text/javascript">
<!--
var EW_PAGE_ID = "list"; // Page id
//-->
</script>
<script type="text/javascript">
<!--

function ew_ValidateForm2(fobj) {
    var infix = "";
    for (var i=0;i<fobj.elements.length;i++) {
        var elem = fobj.elements[i];
        if (elem.name.substring(0,2) == "s_" || elem.name.substring(0,3) == "sv_")
            elem.value = "";
    }
    return true;
}
//-->

我只是为了教育的目的，我想为我的同事做一个项目，因为网站的流量很高，甚至要花上几个小时才能得到一个结果。谢谢。

html

web-scraping

scrapy

回答 1

Stack Overflow用户

发布于 2022-08-10 14:00:43

当然，您可以使用javascript、scrapy、BeautifulSoup等一次销毁所有结果.如果所有记录都在同一页上可见的话。

如果网页通过分页显示结果，它应该访问所有页面并相应地报废。

希望这能有所帮助。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/73305404

复制

相似问题

问Scrapy允许我们使用JavaScript脚本从服务器抓取数据吗？
EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Scrapy允许我们使用JavaScript脚本从服务器抓取数据吗？EN

回答 1

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问Scrapy允许我们使用JavaScript脚本从服务器抓取数据吗？
EN