如何使用维基数据转储从维基数据页面/Q号获取相关的(英文)维基百科页面？ - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何自己搞一个维基百科？

也许很多人都是百度吧，但是也有一部分小伙伴习惯使用维基百科~ 维基百科（Wikipedia），又称人民的百科全书，是来自世界各地的人民用不同的语言共同创建的百科全书。...当然可以了，今天给大家带来的就是GitHub上的一个开源项目，教你如何使用CSS、JS、WASM和SQLite来搭建这个静态百科~ 项目的核心技术要点在于将SQLite (written in C)...编译成 WebAssembly，这样就可以使用 sql.js 读取 sqlite 的数据库文件。...作者似乎还没找到一个合适的在SQLite HttpVFS库中处理正在进行的请求的方法，如果有小伙伴是个中高手也可以自己一改哟~ 整体程序运行，只需要5个步骤： 1、获取维基百科转储文件首先去维基百科的...项目地址如下：点击下方卡片，关注公众号“TJ君” 回复“维基”，获取仓库地址

8442 0

吴恩达悄然发布AI维基，另外他的技术岗已经招满了

问耕发自凹非寺量子位出品 | 公众号 QbitAI 吴恩达又有新动作。 wiki 首先来说第一个。...目前这个维基有12个页面，分别对应：欢迎、概述（神经网络）、数学（导数、向量）、平台和工具（Python、深度学习框架）、分类器、激活函数、超参数调整、代价函数等。...但目前每个页面中包含的维基内容还非常简单，有待进一步完善和丰富。通过历史记录可以看到，这个维基创建于8月23日的中午，此后两天有相对大量的更新记录，然后整个项目似乎处于冬眠状态。...直到10月2日，这个维基才又苏醒。现在这个项目的成员账号共有8个，其中大部分是在最近一周创建的。从ID上推测，至少有两个看似是印度裔的名字，有一个是中国风的名字。...这个岗位主要职责包括前台及迎来送往、安排管理层的行程等各种行政事务。这个岗位要求经验丰富、沟通和组织能力良好，掌握基本的会计能力，熟练使用Office、ERP等办公软件等。

6489 0

您找到你想要的搜索结果了吗？

是的

没有找到

全球访问量第5的网站，创始人身家才100万美元

这是免费的网络百科全书，超过4000万篇文章，有300种语言版本，是世界上最大的百科全书。维基百科诞生于2001年1月15日。它的前身是诞生于2001年1月10日的Nupedia的维基在线版。...当时Bomis 公司的创始人之一和现CEOTim Shell以及程序员Jason Richey为维基项目做了很多工作。...2018年，英文版维基百科的文章数超过554万个，超过43,877,940个页面。...https://en.wikipedia.org/wiki/Wikipedia:About 创始人吉米·威尔斯表示，维基百科的目标是成为“人类所有知识的集大成者”，为人类历史提供“高质量的记录”，“让地球上每个人都能免费获取所有知识...要知道，这可是访问量排名前五的巨型网站。创始人就跟和财富有仇一样。不过维基百科一直是由“维基媒体基金会”运营的非营利组织靠捐款维持运营。没有广告，没有赞助商。

1.4K10 0

维基百科 MediaWiki API 解析

使用开放的 API 做一个自己的小项目，是一个很好的学习方法。但好像开放的 API 选择并不多。这里给大家多一个选择，简单介绍一下维基百科使用的 MediaWiki API。...但我在使用过程中发现，返回的 JSON 数据很多都是用「*」号或者是数字作为字段名的，解析起来很麻烦。这种情况下可以尝试增加 formatversion = 2，让返回的数据更正常一些，便于解析。...下面讲一下另一个重要的参数。 prop 如果是要获取某个页面的相关数据，就涉及到 prop 这个参数。它用来指定要获取的数据类型，它的可选值也很多，下面也挑几个常用的说。...另外要注意，不是每个页面都是有封面的。 revisions 接下来是最重要的获取页面内容了。revisions 文档解释是用来获取修订版本信息的，可以用来获取最新的页面数据。...想要有很深入的了解，还是要去研究一下官方文档。我用冰与火中文维基的接口写了一个 Android App，叫「冰与火维基」，但还有一些没优化好的地方，感兴趣的可以在这里下载到。

4.1K1 0

关于维基百科你不知道的十件事：

事实上你无法改变维基百科里的任何内容…… 你只能增加内容。维基百科是一个被设计为可以保存所有修改的数据库。...我们最好的文章会被颁发「特色条目」的头衔，有问题的页面则会被提名删除。「维基专题」的目标是提升某个特定领域议题的文章质量。...除了维基百科之外，维基媒体基金会还经营有其他八个姊妹计划：维基词典（多语言的字典和词典）、维基文库（文献纪录的图书馆）、维基共享资源（一个储存有超过一百万笔图片、影片和声音档案的媒体数据库）、维基教科书...（教科书和手册数据库）、维基大学（交互式学习资源）、维基新闻（全民可参与的新闻网站）、维基语录（名人名言的集锦）以及维基物种（所有生物的物种数据库）。...维基媒体基金会的控制者为理事会，根据规定其成员大部分必须由维基媒体社群中选出。理事会和维基媒体基金会的工作人员不会干涉编辑事务，每项维基媒体计划也都各自独立管理并以舆论为导向。

1.4K4 0

【Wikidata】维基数据详解

Wikidata也是维基媒体基金会的一个项目。尤其是： “Wikidata作为其维基媒体姊妹项目结构化数据的中央存储，包括维基百科（...）。”...可以将Wikidata看成具有超过4600万个数据项的维基数据库（2018年4月）。根据维基媒体的使命，每个人都可以添加和编辑数据，并免费使用它。 ? ? ?...可用的数据 ---- ---- 像维基百科一样，维基数据中存储着各种数据。因此，当你正在寻找特定数据集或想要回答一个奇怪的问题时，可以先去维基数据找找。...---- ---- 要从维基数据中获取数据，只需使用三元组（如上所述）来编写SPARQL查询。请注意，我们使用特定的标识符来定义正确的关系和项目： SELECT ?...在上面的例子中，我已经看过它们：“作为成员”的关系具有标识符wdt：P463，并且项目“欧盟”由wd：Q458标识。但你如何得到它们？我推荐的是查看查询结果的维基百科。

4.2K2 0

SVD奇异值分解的数学涵义及其应用实例

SVD的求解过程上述关于SVD在二维平面上的结论可以轻易地推广到多维情况. 那SVD具体如何求解呢?...其中矩阵Q为酉矩阵, 即满足QT=Q-1. 矩阵Λ=diag(λ1,...λn)为矩阵A的特征值所组成的对角矩阵....降维数据降维在机器学习, 数据挖掘等领域是一个重要的技术, 通过数据降维可以挖掘数据的关键信息, 降低运算的成本....使用SVD进行降维的核心思想是, 通过对feature向量(如机器学习中的数据向量)所组成的矩阵X进行分解, 可直接得到降维后的feature向量矩阵, 这其实就是PCA(主成分分析, Principal...维基百科, 自由的百科全书.

1.2K4 0

维基团队与Jigsaw合作审查社区中带有人身攻击的评论

尽管没有一个解决方案可以解决这个问题，但支持维基百科的非营利组织维基媒体基金会决定使用AI来更多地了解问题，并考虑如何解决这个问题。...为了阻止这一趋势，维基媒体基金会与Jigsaw（以前称为谷歌创意的技术孵化器）合作开展一项名为Detox的研究项目，使用机器学习来标记可能是人身攻击的评论。...该项目的第一步是使用来自维基百科谈话页面的100000个攻击性评论来训练机器学习算法，这些评论由一个由4000人组成的团队确定，其中每个评论都有十个不同的人类评论者。...AI编写维基百科文章 AI也可以“写”维基百科的文章，但必须从某个地方开始：谷歌大脑中的一个团队教软件来总结网页上的信息，并撰写一篇维基百科风格的文章。...事实证明，人类还没有准备好让机器自动生成维基百科条目，但是我们正在努力。虽然维基百科运营中AI的使用案例仍在进行优化，但机器无疑可以帮助组织分析他们每天产生的大量数据。

5333 0

Wikipedia pageview数据获取(bigquery)

该数据集自2015年五月启用，其具体的pageview定义为对某个网页内容的请求，会对爬虫和人类的访问量进行区分，粒度为小时级别，如下图： bigquery介绍维基百科数据可以通过其API获取。...但是API只能拿到每个页面天级别的数据或者全部页面小时级的数据，如果需要获取每个页面小时级的数据，则需要通过其原始数据文件进行分析。...由于数据在bigquery中使用分区表的形式存放，因此每次请求一年的数据。...` WHERE datehour BETWEEN "2015-01-01" AND "2016-01-01" GROUP BY datehour,wiki; 获取各个语言版本维基的首页数据。...进一步处理写了个python程序进行进一步的处理，以获取每个页面的pageview访问数据。目标为得到对应页面五年来的pageview数据并保存为csv文件。

2.7K1 0

如何用R和API免费获取Web数据？

来源我们找的样例，是维基百科。维基百科的API总览，请参考这个页面。 ? 假设我们关心的，是某一个时间段内，指定维基百科文章页面的访问量。...操作实际操作过程中，我们从维基百科上换另外一篇维基文章作为样例，以证明本操作方法的通用性。选择的文章是我们在介绍词云制作时使用过的，叫做“Yes, Minisiter”。...作为一部30多年前的剧集，今天还不断有人访问其维基页面，可见它的魅力。从图中可以非常明显看到几个峰值，你能解释它们出现的原因吗？这将作为今天的另外一道习题，供你思考。...小结简单回顾一下，本文我们接触到了以下重要知识点：获取Web数据的三种常见方式及其应用场景；常见API的目录资源获取地址和使用方法；如何用R来调用API，并且从服务器反馈结果中抽取关心的数据。...希望读过本文，你能初步掌握上述内容，并且根据文中提供的链接和教程资源拓展学习相关知识。讨论你之前利用API获取过Web数据吗？除了R以外，你还使用过哪些API的调用工具？

2.2K2 0

查找论文文献的小技巧

把页面滑到底部, 你就会发现新大陆: 维基百科的规范性较强, 几乎每个词条都会附带参考文献和延伸阅读等材料, 找不到合适的中文文献, 这里可以提供....当你切换到英文的维基百科, 文献更是扑面而来: 维基百科上的描述需要人工维护, 因此中英文模式下看到的内容是不一样的, 同样搜索 "模式识别", 英文下的参考文献达到22条, 而中文下只有4条....可能对于大部分人, 硬啃英文维基是比较有难度的, 这时候可以挑着来找. 比如我要找模式识别的应用, 直接点击导航的 Uses 关键词, 就不用通篇硬啃了....点击被引次数, 相关的文章都可以找到....以下的中英文文献并无严格区分必须要在对应网站下载, 只是在相应网站下载成功率较高. 英文文献 1. 维基百科前文提到我们可以去维基百科查参考文献, 特别是英文的参考文献.

2K1 0

站在机器学习视角下来看主成分分析

基矢量不必是正交的，但子空间中的每个基矢量都可以使用Gram-Schmidt过程替换为正交基，我们可以很容易地将基矢的长度改为1.因此，这个优化问题的约束条件是基向量的长度必须为1。 ?...我们将从最容易处理的情况开始，即当投影维数k = 1时。使用k = 1情况的好处是我们可以去除Pi或基向量q的内部求和，因为这里只有一个向量。...等效于最大化协方差矩阵以及与X的X转置相关联的特征值。注意，X的X转置的维度是dxd，但是其轨迹被最大化的矩阵具有kx k的维度。...到目前为止，我们只致力于获得新维度的基础向量。但是，我们真正想要的是将原始数据投影到新维度上。PCA的最后一步是我们需要将Q的Q转置与原始数据矩阵相乘以获得投影矩阵。...我们从（dxk）Q矩阵开始，Q的Q转置导致dxd维度。通过乘以（dxn）X矩阵，投影矩阵是dxn。

1.2K5 0

软件界面中一些易混淆易用错的界面文案，以及一些约定俗成的文案约定

另外一些如论坛 zhànghào，QQ zhànghào 等没有明前与钱相关的应用，其通常也包含一些虚拟的服务行为记录、以及与其他用户相关的虚拟交易方式（例如论坛币、Q 币），因此也推荐使用“账户”。...从含义上讲，这些信息与“账”描述中的“货物出入的记载”这一句是相关的，而与“帐”中的“布、纱、绸子等制成的遮蔽物”不相关。...因此，即便是这些与钱不直接相关的用户 zhànghù 或者 zhànghào 也更加推荐使用 “账号” 和 “账户”。那么实际中大家是如何使用的呢？...在我们刚刚参考的维基文库中，其使用的就是 “账号”：京东/1号店/支付宝的登录页面使用了 “账号”（淘宝使用了“会员名”来规避了这种争议词的使用）：淘宝使用了“会员名”来规避了这种争议词的使用。...---- 参考资料第一批异形词整理表 - 维基文库，自由的图书馆第一批异体字整理表 - 维基文库，自由的图书馆 [【撤销】【撤消】× 【C】√ - 校对标准：寻找权威依据 - Powered by

1786 0

关于抓取维基百科,百度百科,Google News的记录

最近由于项目中需要抓取维基百科,百度百科,Google News的数据，做了些研究。...维基百科开放性做的好，用强大的API支持查询，不过中文的API貌似是基于繁体的，而且中文的维基信息太少了，有些关键词没有对应的词条。于是目标转向百度百科。...0000对应的是某个词条了。要想根据URL来获取就首先需要把关键词转换成对应的数字。通过httpwatch查看后发现http://baike.baidu.com/searchword/?...word= keyWord &pic=1&sug=1&enc=gbk 这个url返回的信息中包含了关键词对应的0000.html此格式的数据。关键词要gb2312编码。...把信息提取出来，拼接一下url，这样就能顺利获取百度百科的html页面了。然后把html页面做处理，输出到自己的页面上。因为html页面结构复杂，在服务器做处理效率低。

5374 0

2019-02-06 如何从文本中抽取结构化信息

、国内电话号码正则匹配、清华大学XLORE:中英文跨语言百科知识图谱、清华大学人工智能技术系列报告、自然语言生成、NLP太难了系列、自动对联数据及机器人、用户名黑名单列表、罪名法务名词及分类模型、微信公众号语料...中文谣言数据: github 该数据文件中，每一行为一条json格式的谣言数据，字段释义如下： rumorCode: 该条谣言的唯一编码，可以通过该编码直接访问该谣言举报页面。...概念，实例，属性和上下位关系数目百度中文维基英文维基总数概念数量 32,009 150,241 326,518 508,768 实例数量 1,629,591 640,622 1,235,178...英文维基百度 - 10,216/336,890 4,846/303,108 中文维基 10,216/336,890 - 28,921/454,579 英文维基 4,846/303,108 28,921...清华大学人工智能技术系列报告： link 每年会出AI领域相关的报告，内容包含自然语言处理 link 知识图谱 link 数据挖掘 link 自动驾驶 link 机器翻译 link 区块链

3.4K4 0

详解中文维基百科数据处理流程及脚本代码

阅读大概需要6分钟跟随小博主，每天进步一丢丢文末有精彩导读最近在做词向量相关工作，词向量的训练数据采用中文维基百科数据，训练之前，要对维基百科数据进行处理，这篇文章记录了一些处理过程及相关的脚本...一、维基百科维基百科（Wikipedia），是一个基于维基技术的多语言百科全书协作计划，也是一部用不同语言写成的网络百科全书。...二、维基百科处理 1 环境配置（1）编程语言采用 python3 （2）Gensim第三方库，Gensim是一个Python的工具包，其中有包含了中文维基百科数据处理的类，使用方便。...，像词向量任务，在这得到的数据里，还包含很多的英文，日文，德语，中文标点，乱码等一些字符，我们要把这些字符清洗掉，只留下中文字符，仅仅留下中文字符只是一种处理方案，不同的任务需要不同的处理，这里已经写好了一份脚本...包括如何处理和各种脚本，跟着流程实现一遍，你就能简单上手类似的数据处理部分。当然，如果想了解词向量理论，点这里。

2.3K2 0

资源 | XGBoost 中文文档开放：上去就是一把梭

机器之心整理作者：蒋思源近日，ApacheCN 开放了 XGBoost 中文文档项目，该项目提供了 XGBoost 相关的安装步骤、使用教程和调参技巧等中文内容。...相比于 MART 的梯度提升，XGBoost 所使用的牛顿提升很有可能能够学习到更好的结构。XGBoost 还包含一个额外的随机化参数，即列子采样，这有助于进一步降低每个树的相关性。...该项目不仅包含完整的安装指南：安装页面提供了有关如何在各种操作系统上构建和安装 xgboost 软件包的说明. 由如下两个步骤组成: 1....该文档的参数调整部分介绍了如何理解 Bias-Variance（偏差-方差）权衡、控制过拟合和处理不平衡的数据集等方面。...此外，本文档还提供了非常重要的 XGBoost 运行过程，包括 libsvm 文本格式、Numpy 2 维数组和 xgboost 二进制缓存文件等数据接口，参数设置、训练过程、预测和绘图等方法。

1.2K11 0

谷歌位列《时代》周刊网站影响力评选首位

根据市场调查机构的最新数据，谷歌网仍然是互联网上最普遍的搜索工具，占到移动搜索引擎市场的97%和桌面搜索引擎使用量的79%。...[图片] 图：维基创始人阿桑奇 TOP3：wikipedia.org（维基百科）尽管国人访问维基百科的几率不大（因为某种你懂得的原因...）...，但是自2001年推出以来，该网站在全球范围的知名度的毋庸置疑的，凭借500万多个英文条目，维基百科成为事实上的网络百科全书，但因为维基百科文章可以由网络编辑随意更改，因此维基百科的信息容易受个人错误观念影响...但这并没有妨碍它的知名度高企：根据亚马逊的分析网站Alexa的统计，维基解密是全球第五大访问量zui高的网站。维基创始人阿桑奇想必无人不知吧，他就是因为揭秘了太多国家机密而成为通缉犯。...从wikipedia.org的后缀我们也可以了解到，维基百科的非营利性，因此在域名保护上还是有欠缺，除了.com/.net国际域名之外，wikipedia.com.cn域名在大佬姚劲波的手中，而.cn也在国内域名投资人手中

1.2K0 0

维基链开发者社区问答Q&A

Q5：EOS有21个超级节点，Bitshere有101个节点，Steemit有21个节点，List有101个节点，Torn有27个节点。维基只有11个记账节点，如何确保安全？...A8：如果同步的是主网，需要重新启动程度耐心等待，刚启动的时候，特别是区块没有同步完的时候，会有点卡！ Q9：如何看到最新的区块高度？...A10：wtimes是维基时代重要的流通通证，未来可兑换维基链周边礼品以及社区相关福利，请持续关注维基时代。...除了经济价值，WTIMES会具有在维基链社区的投票和获取高价值内容等等权益。这块通证化激励模式起来肯定会有升值的空间。 Q11：我把主网区块同步完，可以自己把blocks打包用到其他节点吗？...Q15：是否可以在维基链上搭建私链？ A15:可以搭建.regtest.这块我们教程文档暂时还没有出来，需要导入11个私钥作为挖矿节点。

6572 0

用Python搭建一个校园维基网站（一）

主要需求为百科的搜索百科的标签分类人人皆可参与编辑界面简洁大方直观其实有一个很好的技术选型，那就是开源的wikihow 英文、中文，它的UI简洁不失美观，单维基页面的展示很清晰，而且是基于某种...为了方便，前端样式选择了轻量的purecss框架，有现成的一些页面样式可以使用，而且比较符合个人审美。...此外，由于之前的内容发布使用WordPress博客系统，需要导入原来的原生HTML内容，维基页面要兼容原生html，所以目前游客的权限较低，修改后需要提交审核。...markdown编辑功能暂时没有加上，不过有开源的插件，使用很方便。效果图 ? 移动端首页 ? PC端首页 ? 标签页 ? 搜索结果页面 ? PC端单维基页面 ? 移动端单维基页面 ?...4、python manage.py migrate数据库迁移。 5、python manage.py createsuperuser创建管理员。

3K10 1

点击加载更多

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭