web scraping – 英中– Linguee词典
In addition
[… ]
XBird also supports HTML Web pages to crawl (scraping).
此外XBird还支持HTML Web页面抓取（scraping） 。
If a load that exceeds the operating range
is exerted it could lead to deformation, scraping, oil leaks, etc. Refer to the performance [… ]curve and use the appropriate
[… ]pressure for the length of the swing lever used.
如果负荷过大，超出使用范围，则会发生变形，咬 缸，漏油等故障。使用时请参照能力曲线图在 与压板 长度 相对应的压力下使用。
2) If you manufacture a link lever with different dimensions than the chart above, it could lead to malfunctions, including poor clamp force not up to specification, deformation and scraping.
请参照第5页） 2) 请务必严格按照上表中的尺寸加工链接压板，否则，将造成夹紧力达不到规格 要求，或发生变形，咬缸，动作不正常等故障。
Significant ground scraping and landscaping [… ]have been undertaken over an extensive area at and around the location, with new dirt roads established.
在该场 所及周围的广大区域进行了大量的地 面 刮 擦 和 景观 美化 工作，并建设了新的泥土 路。
Other than for the purposes of and subject to the conditions prescribed under the Copyright Act
1968(Cth) (or any other applicable legislation throughout the world), or as otherwise provided for in this copyright notice, no part of any Materials may in any form or by any means (including framing, screen scraping, electronic, mechanical, microcopying, photocopying or recording) be reproduced, adapted, stored in a retrieval system or transmitted without the prior written permission of Servcorp.
除1968年版权法（Cth）以外的目的和条件下（或全球任何的其他适用法例），或另有规定外，对于本版权 公告，未经世服宏图书面许可, 本网站任何部分的任何材料不可能在任何形式或以任何方式（包括制定，萤幕抓取 ，电子，机械， microcopying ，复印或录音）被复制，改编，存放在一个检索系统或传播。
Future phases will focus on expanding the deployment of enterprise content
management core modules for collaboration and the management of documents, records and Web content, as well as the management of digital and multimedia assets.
未来阶段将着重于扩大部署用于文件协作和管理、记录 和网络内容 以及管理数字和多媒体资产的企 业 内容 管理核心模块。
2. 1. 3 The examination for purposes of recording and reporting findings to a
veterinarian of samples, including haematology and blood chemistry, urine examination, stool examination, skin and scraping examinations, rumen fluid examination and examinations in which the Woods lamp is used.
2. 3 為作出記錄和向獸醫報告結果檢查下列樣本：包括血 液學及血液化學樣本、尿液檢查、糞便檢查、皮膚及 皮屑檢查、瘤胃液體檢查，以及使用活士燈的檢查
Yesterday, “Yuk-man” proposed an amendment with the effect of scraping the Central Policy Unit (CPU). On this point, my view is that while the CPU has been saying that studies have to be conducted on the retirement issue in the hope that this long-standing [… ]
[… ]problem of great public concern can be solved, it is regrettable that it has achieved nothing so far.
昨天“毓民”曾提 出裁撤中央政策組的修正案，對此我的論點是，中央政策組一直說要 研究退休問題，希望能解決這個長久存在而大家均極感關注的問題， 但可惜至目前為止仍是交白卷。
Dr Chung seems to suggest that academics have “special” dignity and
should not “humiliate themselves by obsequiously bowing and scraping simply for some petty paychecks”, as he describes in his [… ]article.
鍾博士認為學者有「特殊」的尊嚴，不應為「微薄的俸祿」而卑躬屈膝，為五斗米而折腰。
By submitting material to any of our
[… ] servers, for example, by e-mail
or via the VERTU World Wide Web pages, you agree that: (a) [… ]the material will not contain any
[… ]item that is unlawful or otherwise unfit for publication; (b) you will use reasonable efforts to scan and remove any viruses or other contaminating or destructive features before submitting any material; and (c) you own the material or have the unlimited right to provide it to us and VERTU may publish the material free of charge and/or incorporate it or any concepts described in it in our products without accountability or liability (d) you agree not to take action against us in relation to material that you submit and you agree to indemnify us if any third party takes action against us in relation to the material you submit.
阁下向我们的任何服务器提交资料，例如，通过电子邮件或通过VERTU 全 球 网 页， 意味 着阁下同意：(a) 该资料不会包含任何非法或不适合公开发布的内容；(b) [… ] 在提交任何资料之前，阁下将尽合理努力扫描并杀除任何病毒或其他污染性或破坏性因素；以及
[… ] (c) 阁下拥有该资料的所有权或拥有将该资料提供给我们的不受限制的权利，并且VERTU可以免费发布该资料，和/或可以将该资料或该资料中描述的任何概念加入我们的产品而不因此承担义务或责任；(d) 阁下同意不会就阁下提交的资料对我们采取任何不利措施，并且阁下同意，若任何第三方就阁下提交的资料对我们采取不利措施，阁下将对我们进行赔偿。
Notwithstanding anything to the contrary contained herein, this prohibition includes: (a) copying or adapting the HTML code used to generate web pages on the Talent Network; (b) using or attempting to use engines, manual or automated software, tools, devices, agents, scripts robots or other means, devices, mechanisms or processes (including, but not limited to, browsers, spiders, robots, avatars or
[… ] intelligent agents) to
navigate, search, access, “scrape, ” “crawl, ” or “spider” any web pages or any Services [… ]provided on the Talent
[… ]Network other than the search engine and search agents available from CareerBuilder on such Talent Network and other than generally available third party web browsers (e. g., Internet Explorer, Firefox, Safari); and (c) aggregating, copying or duplicating in any manner any of the Content or information available from any of the Talent Network, without the express written consent of CareerBuilder.
即使 本协议有任何相反规定，但仍然不得违反以下禁止事项：（a） 复制或改编人才网的网页HTML代码； b）使用或企图使用引擎、手动或自动软件、工具、
[… ] 设备、代理、Robot脚本或其它方式、设备、机制或
进程（包括但不限于浏览器、爬虫、robot、头像或 智能代理）来导航、搜索、访问、“ 刮” 、 “ 爬” 或“ 爬巡” 人才网的网页或所提供的任何服务， 但通过在人才网上由凯业必达所提供的搜索引擎和搜索代理 [… ] 以及使用常见的第三方Web浏览器（例如IE、
[… ] Firefox, Safari)的情况除外；（c）未经凯业必达明确的书面同意 而对人才网的任何内容或信息 以任何方式进行汇集或复制。
IInnovation: At the iba in Düsseldorf, DIOSNA shows its
innovative Elevator-Tipper with scraping device.
创新：在杜塞尔多夫国际烘焙技术会议上，DIOSNA展出其创 新 的 带 有 刮 器 的 升降 自卸 车。
Features
include screen scraping, advanced graphic [… ]fonts, and superior printing capabilities.
它的特性包括屏幕抓取，高 级图解字体以及卓越的打印功能。
Musical instruments that 3-year-olds can use effectively include shakers of all
[… ] kinds, tambourines, bells, drums and
bongos, blocks (by scraping and tapping), triangles, [… ]rhythm sticks, and novelty musical instruments.
3 岁幼儿可玩得好的乐器有各种摇式玩具、手鼓、铃铛、鼓和邦戈鼓 、 木鱼 （刮磨和拍打）、 三角铁、节奏棒以及新奇的乐器。
Recent research from Implied Intelligence(2) indicates that yellow pages sites outperform Google, Foursquare and
[… ] Yelp in local search and accuracy, despite all of
these services scraping their local data [… ]from yellow pages directories.
Implied Intelligence的最新研究(2)显示，尽管谷歌、Foursquare和Yelp的本地数据都是 从黄页目录中挖掘的，但是在本地搜索与准确 性 方 面 ，黄 页网 站表现仍优于前三者。
It is mainly employed in the land leveling and roadway excavation of large areas like roads, airports, farmlands etc. ;
[… ] transferring of soils and crushed stones;
ditching and slope scraping; pavement leveling; [… ]snow removing etc, is an indispensable
[… ]engineering machinery for national defense engineering, mine construction, road construction, water conservancy project construction, farmland improvement etc.
主要用于公路、机场、农田等大面积的地面平整和开挖路基；转移土壤、碎石混合料； 开 边 料、 刮 边 坡 ；路 面平 整；除雪清道等。
Our efforts in this area include the development of various energy efficiency guidelines to promote energy conservation in commercial properties; launching the Energy Efficiency Registration Scheme for Buildings to promote voluntary compliance of Building Energy Codes; organizing Energy Efficiency Awards to promote sustainable energy use and recognize good energy saving practices; carrying out public awareness programmes for promoting energy efficiency and renewable energy;
[… ] providing information to the public through
technical talks, web-based education [… ]kits, school talks, information leaflets and
[… ]energy end-use databases; and mobilizing the community to take action at personal level to adopt energy saving measures under the “Action Blue Sky” campaign.
我們在這個範圍的工作，包括發展不同的能源效益指引，以推廣 在商業物業節約能源；推行香港建築物能源效益註冊計劃，以推廣自願
[… ] 採用建築物能源守則；籌辦香港能源效益獎，以推廣可持續能源使用及 表揚良好節省能源工作；推行公眾教育活動，以推廣能源效益及可再生
能源；經技術講座、網絡為本的教育工具、學校講座、宣傳單張及能源 最終使用數據，為 公眾提供有關資訊；在「藍天行動」計劃下推動公眾 [… ]盡個人力量採用節約能源措施。
Screen-scraping is achieved by reading the Text property, which returns all the text in the scroll-back buffer as well as the [… ]display.
通过读取Text属性来完成屏幕抓取，它 将所有文本返回到回卷（scroll-back）缓冲区中并显示出来。
Taking into consideration its own comments in paragraph X. 16 above, the Committee is of the
[… ] view that any
additional requirements for the implementation of the web-based follow-up system should be met from a more [… ]rational utilization
[… ]of resources under staff travel and consultants, as well as contributions from member organizations.
咨询委员会考虑到 其在上文第十. 16 段中的评论意见，认为实施网基跟 踪系 统的任何额外所需经费 均应通过较为合理地使用工作人员差旅和咨询人项下的资源以及获得成员组织 的捐款来满足。
Rodney arrives in Robot City and meets Fender (Robin Williams), a
ramshackle robot scraping by through taking [… ]souvenir photos (with a camera that has
[… ]no film) and selling maps to the stars’ homes.
罗德尼到达机器人城，并符合挡泥板（罗宾·威廉姆斯），一个摇摇欲坠 的 机 器 人 刮 通 过 留念 （有 一个摄像头，具有无膜），销售映射到明星的家。
E-coat, which is typically
removed by hand scraping, can be difficult [… ]to remove when too thick or in hard-to-reach locations.
通常需要通过手工刮削去除的电泳 漆如果太厚或位于难以触及的位置，可能会很难去除。
Communications and information, example of an achievement: Concerning the processes undertaken by the sectors in assembling the data and information which were submitted as their contributions for the completion of the C/3 report, the CI Sector indicated that information pertaining to various training events, seminars, book launches, etc., were already being collected on an ongoing basis,
[… ] under the banner of “news events” reported
from CI staff in field offices, and uploaded onto “Web World”, the CI portal.
传播和信息成果实例：在各部门收集数据和信息用来完成C/3报告的过程中，传播和信
息部门指出，有关各种培训事项、研讨会、书籍发布会等的信息都已经被不断地收集起来了，在 “新闻事件”的名目下，由总部外办事处的传播和信息工作人员报告上来，再上传 到 “网 络世 界” ——传播和信息部门的门户网站上。
The procedure for sampling oil
[… ] stranded on shorelines or
within an intertidal zone generally involves scraping or gathering the oil into a sample jar (Figure [… ]7), taking care
[… ]to minimise the sand and debris content.
搁浅在海岸线或位于潮间带中的油类的取样程序 通常涉及到将油类弄碎或收 集到样本瓶中（图 7），并要谨慎操作，以最大限度减少 砂和 残片 含量。
One can see patterns, pores do exist, and the distribution is not uniform, sides of animal fibers, the side section, hierarchical
[… ] discernible, have lower animal fibers,
with fingernails scraping test will be leather [… ]fiber pile up, feel, a few fibers
[… ]can also be dropped, and synthetic leather tails can see fabric, side no animal fiber, general surface without pores, but some have leather artificial pores, there will be no visible pores exist, some pattern is not obvious, or have more rules of artificial manufacturing pattern, the pores are fairly consistent.
面可以看到花纹、毛孔确实存在，并且分布得不均匀，反面有动物纤维，侧断面，层次明显可辨，下层有动物纤维 ， 用手 指 甲 刮试 会 出 现 皮革 纤维竖起，有起绒的感觉，少量纤维也可掉落下来，而合成革反面能看到织物，侧面无动物纤维，一般表皮无毛孔 ，但有些有仿皮人造毛孔，会有不明显的毛孔存在，有些花纹也不明显，或者有较规则的人工制造花纹，毛孔也相 当一致。
The digital infrared edge sensor with a CCD line chip detects very precisely the position of web edges of homogeneous, opaque webs such as paper, nonwovens, rubber, tire cord, wovens and knits.
数字式的红外线电眼通过一个CCD晶片能准确地测试到同种的，不透光材料的边缘位置，比如：纸，无纺布，橡 胶，帘子线，编织布或针织布。
The employment crisis is only just beginning,
and in countries rich and poor alike, the number of people scratching and scraping for a day-to-day existence has soared.
就业危 机刚刚开始，无论在富国还是穷国都是如此，每天为填饱肚子四处奔波的人数激 增。
While we do
incorporate third-party data to enhance our services – such as GEO IP information from MaxMind, and Traffic Information from Alexa, common techniques for obtaining search engine data – for example – scraping is often classed as a breach of service, and hence this data is unlikley to find its way into Majestics database.
尽管为了加强我们的服务，我们确实会纳入第三方数据，如 MaxMind 的 GEO IP 信息和 Alexa 的流量信息，但某些用于获取搜索引擎数据的常见技术（如信息搜集），往往会被视为违反服务条款，因此这种数 据是不大可能纳入 Majestics 数据库的。
(August 11, 2011) – A new study on the impact of food waste disposal systems reveals that scraping food waste into an in-sink disposer is a better environmental choice than landfills for reducing global warming potential.
威斯康星州拉辛市（2011年8月11日）— 对若干食物 垃圾处理技术的最新研究表明：在水槽里直接处理食物垃圾比填埋法更加环保，因为前者有利于缓和全球变暖趋势 。
网络爬虫：Data Scraping vs Data Crawling – 新知之路
跳至内容
Crawling是在处理大数据时利用crawler自动获取最深层的信息，而Data Scraping是从任何资源处检索信息（并不一定是web）
以下是一些区别
Scraping数据不需要依靠网站，而是可以通过本机、数据库或网页上的“save as”链接获取信息。而网络爬虫中的crawling则代表只能通过在网页上爬取数据。有些时候相同的网页内容显示在不同的网址中，因此数据去重（data deduplication）是crawling中比较智能的一个功能。而data scraping中则不需要。crawling中最难的一件事是如何做好连续性爬取的协调关系。我们的spider在爬取时要足够有礼貌，以避免目的服务器不堪其扰而踢出spider。最后不同的crawler之间可能有冲突，但这种情况不会出现在data scraping上。
Data ScrapingData Crawling从多种资源中获取数据从网页中下载信息任何规模的数据绝大情况下是大数据不需要去重去重是必要的部分需要爬取和解析parser只需要爬取
网络爬取的一些知识
网络爬虫是一种程序，可以自动浏览网络，它们搜寻网页上的关键字、内容和链接。这些爬虫可以有不同的名字，如bot，automatic indexer，和robot。一旦你键入一个搜索请求，这些爬虫扫描所有的包含这些词的相关网页，并返回一个巨大的索引库。比如如果你正在用Google搜索引擎，爬虫将通过服务器中索引出的结果访问指定的页面，然后取出存到Google的服务器中。网络爬虫也会顺着网站中的超链接去访问其他的网站。所以当你向搜索引擎询问“软件开发课程”时，将返回所有符合条件的页面。网络爬虫被配置成可以管理这些网页，以便生成的数据又快又新。
当爬虫访问一个网站时，它们会搜索其他值得访问的网站。它们可以链接到新的网站，标记出和现有网站的变化和标记不通的链接。
Google内部的搜索机制是什么？
Google显示全球有超过60万亿的网页。网站所有者可以决定他们的网页可以通过何种方式被索引，也可以拒绝被索引。索引的规则建立在网页内容的质量和其他因素的排序上。Google的算法会将搜索结果更好的展现出来，并为更高效的搜索提供一些特性，比如：拼写修正、即时性搜索建议、自动补全、同义词等。这些爬虫为提供准确的结果起到了重要的作用。但也需要网站所有者提供更准确、高质量易于检索的内容。谷歌检索规则删除的200种信息。
什么是数据挖掘
数据挖掘是一门强大的技术，可以从数据库中提取出预测性的信息，为公司寻找信息节省时间。数据挖掘提供了很多的工具，可以根据用户之前的行为来预测将来的趋势，帮助企业进行知识驱动、前瞻性的决策。数据挖掘工具帮助最大限度的缩短过去花费在分析大量数据上的时间，同时还会通过特定的方式搜索容易被遗漏的信息。不适合人类手工做的事，数据挖掘可以完成。
当网络爬虫从不同网站中爬取出大量的资料后，这些数据仍是非结构化的，如JSON、CSV或XML格式。数据挖掘即是从这些数据中得到有用的信息。所以你可以说网络爬取是数据挖掘处理的第一步。
大数据和移动化的力量帮助企业提高利润。企业越来越重视管理数据挖掘并遵循分析实践。医药、保险、商业等领域都有很多这样的例子。
图像挖掘——一种数据挖掘的应用
从图像中提取出数据，如比对相同颜色、尺寸或价格。Google Takeout可以帮助用户提取信息。这对于想要提取信息却又不想泄露自己隐私、数据的用户来说是最佳的选择。利用Google Takeout，数据挖掘工作不需要将所有的图片存储在另外的硬盘中。
微博网站Tumblr是另一个图像挖掘的例子。这里有大量的多媒体文件可以随时被提取出。
图像挖掘的出现证明了这样一个事实：社交过程发生了巨大的变化，内容已经缩小到单纯的字幕，“视觉语法”的出现已经风靡社交媒体。
数据提取
网络爬取和数据挖掘之后就是数据提取了。数据提取对于在线购物非常有用。有一些带有数据源的网站有很好的结构，如Amazon，但也有一些仍然是非结构化的并深藏在网站里。想要从这些网站中提取数据，在搜索盒和过滤器中的请求需要细化，这些结果被安置在HTML中。只有一种特殊的爬虫可以解析HTML并提取出数据，包括产品名称、定价、变化、评价、反馈、产品编码等。
用Apache Nutch进行网络爬取
Apache Nutch是一个开源网络爬虫。数据可以通过另一个Apache工具Hadoop连接在一起。可以通过这里下载。可以通过Apache Solr存储大量的数据。
看一下Nutch的主要构件，Elasticsearch提取信息是如何工作的。
指令给到Nutch。所有种子文件的URL被injector收集并存储给CrawlBase。CrawBase记录完整的URL以及它们的结果状态接下来Generator保存URL信息在Segments字典里。Fetcher收集Crawlist上URL的内容，存储在Segments字典中Parser分割各个网站的内容到设计好的处理器中最后Elasticsearch接管并为内容索引。
一些不错的爬虫
Scrapy。Python的爬虫包。如果执行一些中等规模的爬虫工作，Scrapy是个不错的选择。有个特点是你可以插入一个新的函数却不影响它的核心。Storm-crawler。对于低延迟可扩展网络爬虫来说是最佳选择。这也是一个开源程序，可扩展性强，在Apache Storm上运行。Storm-crawler比Nutch好的优点是它为每一个用户的配置单独提取URL，而Nutch是分批处理。反过来Nutch的优点是前者有现成的包而后者不是。Elasticsearch River Web。这个插件是Elasticsearch的一个爬虫应用。它可以用CSS请求来爬取并提取内容。
Web Scraper官方文档中文版（第1部分） – 知乎专栏
一、安装1、安装你可以从Chrome商店（【需科学上网】 安装此扩展（Extension），安装完成后需重启 Chrome 以确保扩展加载完成。如果你不愿重启 Chrome 亦可在安装后新建的标签页（tabs）中使用此扩展。2、要求此扩展要求 Chrome 版本号 31 及以上。无操作系统限制。【欲查看 Chrome 版本，可在浏览器地址栏中输入：chromesettings/help，下图 Chrome 版本 63】二、开启 Web ScraperWeb Scraper 集成入 Chrome 开发者工具（Developer Tools）。图 1 展示了如何打开。你也可以使用以下快捷键（Shortcuts）打开 开发者工具。请在打开 开发者工具 后选中 Web Scraper 标签。快捷键：Windows，Linux：Crtl + Shift + I 或 F12，开启 开发者工具Mac：Cmd + Opt + I，开启 开发者工具开启 Web Scraper三、抓取网站打开欲抓取网站。1、建立 Sitemap欲创建 Sitemap 首先需要指定起始 URL ，这个 URL 是抓取的起点。如果抓取始于多个位置，你也可以指定多个起始 URL。比如，你想要抓取多个搜索结果，就可以为每个搜索结果建立独立的起始 URL。指定存在序列关系的多个 URL如果某个网站的页面 URL 中存在数列， 使用指定序列比使用 Link 选择器的方式抓取网页更为合理。用指定序列 [1-100] 替代 URL 中页码部分。如页码部分有 0 作为占位符可使用 [001-100]。入页码有固定间隔可使用 [0-100:10]。示例如下：1-3] 可抓取以下网页：* 001-100] 可抓取以下网页：* 0-100:10] 可抓取以下网页：* 建选择器（Selector）在创建 sitemap 后可为其添加选择器，在选择器面板可以添加新选择器、对原有选择器进行改进或浏览选择器树状结构。选择器能够以树状结构方式添加，Web Scraper 也按照此结构抓取网页。比如有一个新闻网站，你想抓取上面所有文章，这些文章都链接在网站首页。如下图示例网站：欲抓取此网站，你可以建立 Link 选择器提取首页所有文章链接。然后在添加一个 Text 选择器作为子选择器从上面的 Link 选择器指向的网页提取文章。下图展示了如何为此网站建立 sitemap:需注意，当创建选择器时需使用 Element preview 和 Data preview 功能以确保你选中了正确的网页元素及数据。更多关于选择器树状结构相关信息可在选择器文档中看到。你至少应当阅读以下核心选择器相关内容：1、文本选择器（Text selector）2、链接选择器（Link selector）3、元素选择器（Element selector）浏览选择器树状结构在为 sitemap 建立好选择器后，你可以在 Selector graph panel 浏览选择器树状结构。下图展示了一个示例选择器图。抓取网站在为 sitemap 建立选择器后可开始抓取网站。打开 Scrape 面板开始抓取。此时会打开一个网页窗口， scraper 会在其中加载网页并从中提取数据。在抓取完成后此窗口会关闭并弹出提示信息。你可以打开 Browse 面板查看抓取到的数据，并通过 Export data as CSV 面板将其导出。相关内容：Web Scraper 官方文档中文版（第 2 部分）