建议广告的目标信息，如网站和/或网站类别

具体实施方式

本发明涉及用于新颖的方法、设备、消息格式和/或数据结构，用于帮助广告主确定提供广告的目标。提供下面的说明，使得本领域的技术人员可实施和使用本发明，并且在特定应用和相应需求的环境下提供这些说明。因此，下面的与本发明相一致的实施例的说明提供示例和描述，而不是意在穷尽或把本发明限定在所公开的特定形式。对本领域的技术人员而言，对所公开的实施例的各种修改是显而易见的，并且下面所述的一般原理可应用于其他的实施例和应用。例如，尽管参照流程图描述了一系列动作，在其他实施例中，当一个动作的执行不依赖于另一个动作的完成，这些动作的次序可以不同。另外，不相互依赖的动作可以并行执行。在说明书中，没有哪个要素、操作或指令应当被解释为对本发明是关键或必要的，除非明确如此说明。同样，如这里所采用的，不带有数量限定的项是指包括一个项或多个项。当只表示一个项时，使用术语“一个”或类似的语言。因而，本发明不限于所示出的各实施例，并且发明人认为其发明包括所描述的任何可专利的主题。

下面，在§1提供本说明书中所使用的各种术语的定义。然后，在§2中描述本发明可以在其中操作或使用的环境。然后，在§3中描述本发明的示例性实施例。然后在§4中提供示出本发明实施例的一个示例的有益效果的特定例子。最后，在§5中阐明关于本发明的某些结论。

§1定义

在线广告可具有各种固有特征。这种特征可以由应用和/或广告主规定。这些特征在下文被称为“广告特征”。例如，对于文本广告的情形，广告特征可以包括标题行、广告文本、嵌入式链接等。对于图像广告的情况，广告特征可以包括图像、可执行代码和嵌入式连接等。取决于在线广告的类型，广告特征可以包括下述的一个或多个：文本，链接，音频文件，视频文件，图像文件，可执行代码，嵌入信息等。

当进行在线广告服务时，一个或多个参数可以用于描述如何、何时和/或在何地进行广告服务。这些参数在下文被称为“服务参数”。服务参数可以包括例如一个或多个以下内容：用来或在其上进行广告服务的页面(包括信息)的特征，与该广告服务相关联的搜索查询或搜索结果，用户特征(例如，他们的地理位置，该用户使用的语言，使用的浏览器类型，先前页面浏览，先前行为，用户账户，该系统使用的web cookie，用户设备特征等)，发出请求的主或附属站点(例如，美国在线，谷歌，雅虎)，其上进行广告服务的页面上广告的绝对位置，相对于其它所服务广告的位置(空间或时间的)，广告的绝对尺寸，广告相对于其它广告的尺寸，广告的颜色，所服务的其他广告的数量，所服务的其他广告的类型，服务的日时间，服务的周时间，服务的年时间等。当然，在本发明的范围内还可使用其他参数。

虽然服务参数对于广告特征来说是外在的，但服务参数可以与广告相关联作为服务条件或约束。当用作服务条件或约束时，这种服务参数被简单称为“服务约束”(或“目标判据”)。例如，在某些系统中，广告主可以规定它的广告只在工作日(周一至周五)提供、不低于确定位置、只面向特定地点的用户等，以此来确定广告服务的目标。作为另一示例，在某些系统中，广告主可以指定只有当页面或搜索查询包括特定的关键词或短语时才提供它的广告。作为又另外的例子，在某些系统中，广告主可以规定，仅当所提供的文档包括特定的论题或概念时，或落入特定的聚类或多个聚类或某些其他类别或多个类别时，才进行其广告服务。在某些系统中，广告主可以规定其广告仅提供给(或不提供给)具有特定特征的用户设备。最后，在某些系统中，可确定广告的目标，使得响应于来自特定位置的请求或响应于有关特定位置的请求来提供广告。

“广告信息”可以包括广告特征、广告服务约束、可从广告特征或广告服务约束导出的信息(被称为“广告导出信息”)和/或与广告相关的信息(被称为“广告相关信息”)以及这些信息的扩展(例如，从广告相关信息导出的信息)的任何组合。

广告的选择次数(点击数)与广告的显现次数(即广告被展现的次数)的比率被定义成广告的“选择率”(或“点击率”)。

当用户完成了与以前所提供广告相关的交易，则称为发生“转化(conversion)”。哪些内容构成转化因情况不同而不同，并可根据不同方式来确定。例如，可以是这种情况，当用户在称作广告主页面的广告上点击，并且在离开该页面之前完成购买，则发生转化。作为替换，转化可被定义成这样的用户，对该用户展示了广告、并且该用户在预定时间内(如7天)在该广告主的页面上进行了购买。作为又一种替换，可由广告主把转化定义成用户的任何可观察/可测量的动作，例如，下载白单(white paper)，导航至该网站的至少给定深度，查看了至少特定数量的网页，在网站或网页上花费了至少预定量的时间，登录到网站，等等。常常，如果用户动作没有指出完成的购买，它可能指示了销售的导向，构成转化的用户动作不限于此。实际上，关于哪些可构成转化，还可有其他的定义。

转化数与广告显现数(即广告被展示的次数)的比率被称作“转化率”。如果转化被定义成可能在提供广告以来的预定时间内发生，转化率的一种可能定义可仅考虑在过去提供了超过预定次数的广告。

“资产(property)”是可以在上面呈现广告的一些事物。资产可以包括在线内容(例如，网站、MP3音频节目、在线游戏等)、离线内容(例如，报纸、杂志、剧场演出、音乐会、体育活动等)和/或离线对象(例如，布告板、体育场记分板和外场墙壁、卡车拖车侧面等)。具有内容的资产(例如，杂志、报纸、网站、电子邮件消息等)可以被称作为“媒体资产”。尽管资产本身可能是离线的，不过关于资产的相关信息(例如，属性(一个或多个)、主题(一个或多个)、概念(一个或多个)、类别(一个或多个)、关键词(一个或多个)、相关性信息、所支持的广告类型(一个或多个))可以是在线可用的。例如，户外爵士音乐节可能已经输入主题“音乐”和“爵士乐”、音乐会剧院的位置、音乐会的时间、安排出现在该音乐节的艺术家，以及可用的广告投放点类型(例如，在印刷节目单中的投放点、在舞台上的投放点、在座椅背上的投放点、赞助者的音频通告等)。

“文档(document)”可被广义地解释为包括机器可读和机器可储存的工作产品。文档可以是文件(file)、文件的组合、具有至其他文件的嵌入式链接的一个或多个文件等。文件可以是任何类型，比如文本、音频、图像、视频等。展现给最终用户的文档部分可以被看作是文档的“内容”。文档可包括“结构数据”，包含有内容(文字、图片等)和内容意思的某种指示(如电子邮件字段和相关联的数据、HTML标记和相关联的数据等)。在文档中的广告投放点可以通过嵌入信息或指令来定义。在因特网环境下，常见的文档是Web页面。Web页面常常包括内容并可以包括嵌入的信息(比如元信息，超链接等)和/或嵌入的指令(比如javascript等)。许多情况下，文档具有可寻址的存储位置并可以通过该可寻址位置来唯一标识。统一资源定位符(URL)是用于访问因特网上的信息地址。

“web文档”包括在万维网上公布的任何文档。web文档的例子例如包括网站或网页。

“文档信息”可以包括文档中所包含的任何信息，从文档中所包括的信息导出的信息(被称为“文档导出信息”)，和/或与文档相关的信息(被称为“文档相关信息”)，以及这些信息的扩展(例如，从相关信息导出的信息)。文档导出信息的示例是文档的基于文本内容的类别。文档相关信息的示例包括来自具有链接至当前文档的其它文档的文档信息，以及来自当前文档所链接到的其它文档的文档信息。

来自某个文档的内容可以展现在某种“内容呈现应用程序或设备”上，内容呈现应用程序包括因特网浏览器(如Explorer或Netscape，Opera，Firefox等)，媒体播放器(例如，MP3播放器，Realnetworks流式音频文件播放器等)，阅览器(例如Abobe Acrobat PDF阅读器)等。

“内容拥有者”是对文档中内容具有某种财产权的个人或机构。内容拥有者可以是内容的作者。另外，或作为替换，内容拥有者可具有复制内容的权利，制备该内容的衍生产品的权利，公开演示或执行该内容的权利，和/或该内容的其他禁止性权利。内容服务商可以是其所提供内容的内容拥有者，但也不一定。“web出版者”是内容拥有者的例子。

“垂直(vertical)”是相关产品、服务、产业、内容格式、受众人口普查信息和/或主题的组，可能在网站内容中找到，或对网站内容找到。

“聚类”是倾向于一起靠近出现的一组要素。例如，聚类可以是常常倾向于共同出现的一组词语(例如，在网页上，在搜索查询中，在产品目录中，在演讲文章(在线或离线)中、在论述中或电子邮件序列中等)。

“用户信息”可包括用户行为信息和/或用户简档(profile)信息。

“电子邮件信息”可包括包含在电子邮件中的任何信息(也称作“内部电子邮件信息”)、从该电子邮件中所包括信息导出的信息和/或与该电子邮件相关的信息以及这些信息的扩展(如从相关信息导出的信息)。从电子邮件信息导出的信息的例子是提取的信息或以其他方式从搜索结果中导出的信息，该搜索结果是响应于搜索查询返回的，该搜索查询由从电子邮件主题行中提取的词汇组成。与电子邮件信息相关的信息包括有关由给定电子邮件的相同发送者所发送的一个或多个其他电子邮件的电子邮件信息，或有关电子邮件接收者的用户信息。从电子邮件信息导出的信息或与之相关的信息可称作“外部电子邮件信息”。

“关键字”可以是单词、短语或表达意义的单词部分(如词根)。

§2本发明可在其中运行或利用其来运行的示例性广告环境

图1是一种广告环境的高级示意图。该环境可以包括广告输入、维护和递送系统(简单地称为广告服务器)120。广告主110可以直接或间接地输入、维护并且跟踪系统120中的广告信息。广告可以采用图形广告形式，诸如所谓的横幅(banner)广告、仅有文本的广告、图像广告、音频广告、视频广告、组合任何这类成分的一个或多个的广告等。广告可能还包括嵌入信息，诸如链接和/或机器可执行指令。广告消费者130可以向系统120提交广告请求、从系统120接收对他们请求的广告响应、并向系统120提供使用信息。广告消费者130之外的其他实体可以发出对广告的请求。虽然未示出，但是其它实体可能向系统120提供使用信息(例如，有关该广告的转化或选择是否发生)。这些使用信息可以包括所测量的或所观察的与所提供广告有关的用户行为。

广告服务器120可以类似于在900申请中所描述的。广告计划可以包括关于账户、活动、创意、目标确定等信息。术语“账户(account)”是指用于给定广告主的信息(例如，唯一的电子邮件地址、口令、计费信息等)。“活动(campaign)”或“广告活动”是指一个或多个广告的一个或多个组，并可包括开始日期、结束日期，预算信息，地理目标信息，附属组织信息等。例如，本田公司(Honda)可以有一个广告活动用于它的汽车线，以及相独立的广告活动用于它的摩托车线。用于它的汽车线的活动可以有一个或多个广告组，每个组包含一个或多个广告。每个广告组可以包括目标信息(例如，关键词集合，一个或多个主题的集合)，以及付费价格信息(例如费用、平均费用、最大费用(每显现、每选择、每转化))。因此，单个费用、单个最大费用、和/或单个平均费用可与一个或多个关键词、和/或主题相关联。如所述的，每个广告组可具有一个或多个广告或“创意”(即最后展现给最终用户的广告内容)。每个广告还可包含至URL的链接(如着陆页面，如广告主的主页，或与特定产品或服务相关联的网页)。自然，广告信息可以包括或多或少的信息，并且可以按多种不同的方式组织。

图2示出了可在其中使用本发明的环境200。用户设备(也被称为“客户端”或“客户端设备”)250可能包括浏览器设施(比如微软公司的Explorer浏览器，挪威的opera软件公司的Opera Web Broswer，AOL/Time Warner的Navigator浏览器，Mozilla公司的Firefox浏览器等)，电子邮件工具(例如，微软公司的Outlook)等。搜索引擎220可以允许用户装置250搜索文档集(例如，网页)。内容服务器210可以允许用户装置250访问文档。电子邮件服务器(比如谷歌的GMail、Microsoft Network的Hotmail、Yahoo Mail等)240可以用来向用户装置250提供电子邮件功能。广告服务器210可以用来给用户装置250提供广告。可以与通过搜索引擎220提供的搜索结果相关联地提供广告。然而，可以与内容服务器230提供的内容和/或电子邮件服务器240和/或用户设备电子邮件设施提供的电子邮件相关联地提供内容相关的广告。

如900申请中所讨论的，可以把内容服务器所提供的文档作为目标来投放广告。因而，广告消费者130的一个示例是一般内容服务器230，该内容服务器230接收对文档(例如，文章，讨论贴，音乐，视频，图形，搜索结果，网页列表等)的请求，并且响应该请求或其他服务而检索所请求的文档。内容服务器可以向广告服务器120/210提交对广告的请求。这种广告请求可以包括若干所期望的广告。广告请求可能还包括文档请求信息。这些信息可以包括：文档本身(例如，页面)，对应于文档内容或文档请求的类别或主题(例如，艺术，商业，计算机，艺术电影，艺术音乐等)，部分或所有文档请求，内容年龄，内容类型(例如，文本，图形，视频，音频，混合媒体等)，地理位置信息，文档信息等。

内容服务器230可以把所请求的文档与广告服务器120/210所提供的一个或多个广告组合在一起。然后将包括文档内容和广告的这种组合信息转发给请求该文档的最终用户设备250，用来呈现给用户。最后，内容服务器230可以把关于广告以及如何、何时、和/或在何地呈现广告的信息(例如，位置，是否选择，显现时间，显现日期，大小，是否转化等)发送回到广告服务器120/210。作为替换或附加，可通过其它手段将该信息提供返回到广告服务器120/210。

广告消费者130的另外例子是搜索引擎220。搜索引擎220可以接收查询用于搜索结果。作为响应，搜索引擎可以检索相关搜索结果(例如，从网页的索引)。一种示例性的搜索引擎是在澳大利亚的布里斯班的第七届国际万维网会议上S.Brin和L. Page的文章“TheAnatomy of a Large-Scale Hypertextual Search Engine”和序列号为6,285,999的美国专利中描述(在此将两者内容并入以供参考)。这种搜索结果例如包括网页标题的列表、从这些网页提取的文本摘录、和至这些网页的超文本链接，并且搜索结果可以分组，每组预定数目(例如十个)。

搜索引擎220可以向广告服务器120/210提交广告请求。请求可以包括若干所需的广告。所需广告的数量可取决于搜索结果、由搜索结果占用的屏幕量或页面空间、广告的大小和形状等。在一个实施例中，所需广告的数目在一到十的范围，并且优选是三到五。对广告的请求还可包括查询(如经输入或经句法分析)、基于查询的信息(诸如地理位置信息，查询是否来自附属机构和该附属机构的标识符)，和/或与搜索结果相关或基于搜索结果的信息。这种信息例如可以包括与搜索结果相关的标识符(例如，文档标识符或“docIDs”)，与搜索结果有关的评分(例如，诸如对应于查询和文档的特征向量的点积的信息检索(IR)评分，页面排名评分，和/或IR评分和页面排名评分的组合)，从所识别文档(例如，网页)提取的文本摘录，所识别文档的全文，所识别文档的主题，所识别文档的特征向量等。

搜索引擎220可以把搜索结果与由广告服务器120/210提供的一个或多个广告组合在一起。包括搜索结果和广告的这种组合信息然后转发给提交该搜索的用户，用于呈现给该用户。优选，维持搜索结果与广告相区别，避免使用户不能区分付费广告和中性搜索结果。

搜索引擎220可以把有关广告以及何时、何地、和/或如何展现广告的信息(例如，位置，是否选择，显现时间，显现日期，大小，是否转化等)发送回到广告服务器120/210。作为替换或附加，可通过其它手段将这种信息提供回广告服务器120/210。

最后，电子邮件服务器240可被一般地当作内容服务器，其中所提供的文档就是电子邮件。进一步地，电子邮件应用程序(诸如Microsoft Outlook)可以用来发送和/或接收电子邮件。因此，电子邮件服务器240或应用程序可以被认为是广告消费者130。因而，电子邮件可以被认为是文档，并且可以与这种文档相关联地提供有目标投放的广告。例如，可以在电子邮件之中、之下、之上提供广告，或者按其他方式与电子邮件相关联地提供广告。

虽然上述示例描述了由服务器(i)请求广告和(ii)组合广告与内容，但这些操作的一个或二者可以由客户端设备(诸如最终用户计算机)来执行。

§3示例性实施例

如下面所述，在至少一些符合本发明的实施例中，给定关键字(可多个)和/或文档信息(如网站信息)作为输入，这种实施例可返回一个或多个相关的垂直和/或一个或多个相关文档的信息(如属于某个广告网络的相关网站的信息)作为输出。

这样，至少一些符合本发明的实施例可针对输入的关键字而输出网站。也就是说，例如，给出一列关键字，则可返回广告网络中表示这些关键字所建议的垂直的一系列网站。例子：输入查询＝food-＞输出响应＝www.hungrymonster.com，foodgeeks.com，homecooking.about.com，等。

至少一些符合本发明的实施例可针对输入的关键字输出垂直类别。这样，例如，给出一系列关键字，则可返回一系列垂直类别。例如：输入查询＝anime-＞输出响应＝/Entertainment/Entertainment(Other)/Comics&Animation/Anime&Manga。

至少一些符合本发明的实施例可针对输入的其他网站而输出网站。因此，例如，给出一列网站，则返回广告网络中具有相同或相关垂直类别的网站。例子：输入查询＝www.tomshardware.com-＞输出响应＝www.anandtech.com，www.hardocp.com，www.overclockers.com，等。

图3是按照与本发明相一致的方式执行的示例性操作的数据流图，以及这些操作使用的和/或产生的信息。建议操作320可接收关键字305和/或文档信息(如网站的URL)并输出相关的(如垂直)类别和/或文档(如网站)。

建议操作320可使用一个或多个文档-聚类关联322、关键字-聚类关联324、聚类-文档关联326和聚类-类别关联328来确定给定关键字和/或文档的相关类别和/或文档。这些聚类可以是语义聚类，例如词语同现聚类。例如，如果输入关键字，可使用关键字-聚类关联324来确定一个或多个聚类。所确定聚类的至少一些和聚类-文档关联326可用于确定一个或多个文档。类似地，所确定聚类的至少一些和聚类-类别关联328可用于确定一个或多个类别。作为另外的例子，如果输入文档信息，可使用文档-聚类关联322来确定一个或多个聚类。所确定聚类的至少一些和聚类-文档关联326可用于确定一个或多个文档。类似地，所确定聚类的至少一些和聚类-类别关联328可用于确定一个或多个类别。建议操作320可执行数据约减和/或过滤操作，以约减/过滤聚类、文档和/或类别。如果建议操作320使用类别，操作320可被认为是基于类别的建议操作。

如所示，所确定的相关类别330可包括“通信量估计”(如在给定时间段的页面浏览数目，阅读者数目，在给定时间段内预期广告显现的数目，等等)。还如所示，所产生的文档330可通过文档排序/评分操作340来排序和/或评分。这样的文档还可通过文档过滤操作350来过滤。可使用这样的操作340和/或350来提供最相关的文档作为输出。类似地，可使用操作(未示出)来评分、排序和/或过滤相关类别。

还参见图3，可使用广告主反馈操作360来接收来自广告主的用户输入。例如，在有目标投放广告的情况下，广告主可选择它们想用来提供广告的类别和/或文档。它们还可提供与文档和/或类别相关联的报价信息(如每显现报价、每选择报价、每转换报价、每显现最大报价、每选择最大报价、每转换最大报价等)。这样，例如，在提供了垂直类别“/Computers&Technology/Consumer Electronics/AudioEquipment/MP3 Players”之后，广告主可能乐意出价每显现$0.50来让它的广告展示在属于该垂直类别的网站上。作为另外的例子，在提供了垂直类别“/Automotive/Auto Parts/Vehicle Tires”的最佳50网站之后，广告主可浏览这些网站，选择这些网站中12个(如使用所提供的作为输出330一部分的链接)并提供每显现$0.75的报价来使其广告展示在这12个选择的网站上，以及提供每选择$5.00的报价来使其广告展示在这50个所提供网站的任何一个。

注意，可通过广告主使用文档选择/取消选择362来调整文档-聚类关联322(如果输入文档信息310)、关键字-聚类关联324(如果输入关键字信息305)以及聚类-文档关联326。类似地，可通过广告主使用类别选择/取消选择362来调整文档-聚类关联322(如果输入文档信息305)、关键字-聚类关联324(如果输入关键字信息305)以及聚类-类别关联328。

再参见关联322、324、326和328，这样的关联可以是索引。这样的索引可使用下述美国专利申请所描述的技术来建立和维护：申请号为11/112,716，名称为“CATEGORIZING OBJECTS，SUCH ASDOCUMENTS  AND/OR  CLUSTERS，WITH  RESPECT TO  ATAXONOMY AND DATA STRUCTURES DERIVED FROM SUCHCATEGORIZATION”，2005年4月22日提交并列出David Gehrking，Ching Law和Andrew Maxwell为发明人(下文中称为“716申请”并通过引用结合于此供参考)。

§3.1示例性方法

图4是按与本发明相一致的方式根据一个或多个输入关键字来确定类别和/或文档建议的示例性方法400的流程图。接收一个或多个关键字(框410)，并使用这些关键字来确定一个或多个聚类构成的集合(框420)。可对这些聚类评分、排序和/或过滤(如根据某种次序。阈值分数等)(框430)。这样可使用这些聚类来确定一个或多个分类体系类别构成的集合(框440)。可对这些类别评分、排序和/或过滤(如根据某种次序、某个阈值分数等)(框450)。然后可返回所述一个或多个(如剩余的)分类体系类别(框460)。如果该输出仅包括一个或多个类别，方法400可在这一点退出。但是，如果该输出包括一个或多个文档(如代替类别或除了类别之外)，方法400可进一步使用这些分类体系类别来确定一个或多个文档构成的集合(框470)。可对这些文档评分、排序和/或过滤(框480)。最后，可返回一个或多个(如剩余的)文档(框490)。方法400的各种动作可按上述716申请中描述的那样执行。

图5是按与本发明相一致的方式根据一个或多个输入文档来确定类别和/或文档建议的示例性方法500的流程图。接收一个或多个文档的信息(如标识符)(框505)，并且方法500可执行该流程中的一个或多个动作。

首先参见方法500的左分支，使用所述文档信息来确定一个或多个分类体系类别(如垂直)构成的集合(框510)。可对这些分类体系类别评分、排序和/或过滤(框515)，并且可返回这些(如剩余的)分类体系类别(框520)。可使用这些(如剩余的)分类体系类别中的至少一些来确定一个或多个文档(如网站)构成的集合(框525)。可对这些文档评分、排序和/或过滤(框530)，并且在方法500退出之前(结点560)返回这些(如剩余的)文档(框535)。

再参见方法500的右分支，可使用所述文档信息来确定一个或多个聚类构成的集合(框540)。可对这些聚类评分、排序和/或过滤(框545)。可使用这些(如剩余的)聚类来确定一个或多个分类体系类别构成的集合(框550)，这些分类体系类别可与框510中的分类体系类别一起来使用，并且方法500在框515继续。可使用这些聚类确定一个或多个文档构成的集合(框555)，这些文档可与框525中的文档一起来使用，并且该方法可在框530继续。

再参见图4和图5中的方法400和500，所述文档信息可以是文档标识符。这样，例如，如果文档是web页，文档信息可以是URL，并且如果文档是网站，文档信息可以是该网站主页的URL。

再参见图4和图5，所述聚类可以是语义聚类，例如词语同现聚类。用于产生和/或识别这种聚类的操作的例子是概率分层推理学习者(称作“PHIL”)，如在下述美国专利申请中所描述的：申请号60/416,144(下文称作“144临时申请”)，名称“Methods and Apparatus forProbabilistic Hierarchical Inferential Learner”，2002年10月3日提交，以及申请号10/676,571(下文中称作“571申请”，名称“Methods andApparatus for Characterizing Documents Based on Cluster RelatedWords”，2003年9月30日提交并列出Georges Harik和Noam Shazeer作为发明人。上述申请通过引用并入此处供参考。

再参见图4和图5，可根据某种次序和/或根据某个阈值分数来执行过滤。这样，例如，对排序的结果集，可使用过滤来只选取最佳的N个结果。作为另外的例子，对评分的结果集，可使用过滤只选取超过阈值的结果。所述阈值可动态确定或预先确定。实际上，可使用多个阈值。

图6是按与本发明相一致的方式提供广告主用户界面的示例性方法600的流程图。如事件框605所示出的，可响应各种事件的出现执行方法600的各分支。例如，如果返回一个或多个文档构成的集合(回忆分别在图4和5中的490和535)，有关这些文档的信息被呈现给用户，并且方法600的分支返回到事件框605(框610)。如果返回一个或多个分类体系类别构成的集合(回忆分别在图4和5中的460和520)，分类体系类别被呈现给用户，并且方法600的分支返回到事件框605(框615)。如果用户输入文档信息(回忆附图5中的505)，则提供该文档信息给建议操作作为输入，并且方法600的分支返回到事件框605(框620)。如果用户输入一个或多个关键字(回忆附图4中的420)，则提供这些关键字给建议操作作为输入，并且方法600的分支返回到事件框605(框625)。如果用户输入过滤请求，可过滤文档和/或分类体系类别，并且方法600的分支返回到事件框605(框630)。如果用户输入选择，则保存该选择(框640)，可调用广告活动管理例程(框645)，并且方法600的分支返回到事件框605。如果用户输入检查文档的请求，把选择的文档展示给用户，并且方法600的分支返回到事件框605(框650)。如果用户取消选择(deselect)文档和/或类别，则删除该选择(框660)，可对该取消选择加标记用于分析(框665)，并且方法600的分支返回到事件框605。如果用户请求对话概要，向用户提供会话概要，并且方法600的分支返回到事件框605(框670)。如果用户提供退出命令，则方法600可退出。

再参见框665，在符合本发明的至少一个实施例中，可标识出从建议中被取消选择的网站(如加标记)用于人类评估，例如，查看它们是否属于不同的类别，或应该从广告网络中删除。

§3.2示例性设备

图7是执行一个或多个上述操作的机器700的高级框图。机器700基本上包括一个或多个处理器710，一个或多个输入/输出接口单元730，一个或多个存储装置720，以及一个或多个系统总线和/或网络740用于实现所耦合各元件之间的信息通信。一个或多个输入装置732以及一个或多个输出装置734可以与一个或多个输入/输出接口730耦合。

一个或多个处理器710可执行机器可执行指令(如运行在Solaris操作系统或Linux操作系统上的C或C++程序，Solaris操作系统可从总部在美国加利福尼亚Palo Alto市的Sun Microsystems公司得到，Linux操作系统可广泛地从多个厂商获得，诸如北卡罗来那的Durham市的Red Hat公司)以执行本发明的一个或多个方面。至少部分机器可执行指令可以(暂时或永久地)存储在一个或多个存储装置720上和/或可以经由一个或多个输入接口单元730从外部源接收。

在一个实施例中，机器700可以是一个或多个常规的个人计算机。在这种情况下，处理单元710可以是一个或多个微处理器。总线740可以包括系统总线。存储装置720可以包括系统存储器，比如只读存储器(ROM)和/或随机存取存储器(RAM)。存储装置720可能还包括用于读取并写入硬盘的硬盘驱动器、读取并写入(例如，可移除的)磁盘的磁盘驱动器以及读取并写入诸如光盘或其它(磁)光媒体可移动的(磁)光盘的光盘驱动器。

用户通过输入装置732向个人计算机输入命令和信息，输入装置诸如键盘和指示装置(例如鼠标)。还可(或替换地)包括诸如麦克风、游戏杆、游戏板、卫星盘、扫描仪等其他输入装置。这些及其他输入装置常常通过耦合到系统总线740的适当接口730而连接到处理单元710。输出装置734可能包括监视器或其他类型显示装置，它们也可以经由适当接口连接到系统总线740。除了(或取代)监视器，个人计算机可能包括其他(外围)输出装置(未示出)，诸如扬声器和打印机。

再参照图2，一个或多个机器700可以用作最终用户客户端装置250，内容服务器230，搜索引擎220，电子邮件服务器240，和/或广告服务器210。

§3.3求精和替换

尽管根据诸如网站的在线文档的情况描述了许多本发明的示例性实施例，符合本发明的实施例可用于离线媒体资产的环境，如报纸、期刊、戏剧演出、音乐会、体育赛事等。但是，有关这些离线媒体资产的信息应该可以按机器可读形式获得。

至少一些符合本发明的实施例可使得广告主过滤网站输出，例如，因此限制返回网站的数目，因此限制返回网站的语言，等等。

至少一些符合本发明的实施例，对单个的关键字查询，可组合关键字-＞垂直的结果和关键字-＞网站的结果以产生该关键字所有意义的网站的集合加上与该关键字所建议的垂直相关联的最佳网站。广告用户可按意义(垂直)求精它们的一般网站。

至少一些符合本发明的实施例，广告主用户可输入不在该广告网络中的网站来查找在该广告网络中的类似网站。在这种实施例中，文档聚类过滤(回忆图3的322)将不限于该广告网络中的文档(网站)。在该广告网络之外的网站可按需要来爬取，或预先爬取并索引(特别当需要量高时)。

至少一些符合本发明的实施例可允许存储网站，用于按各种属性来评论(如与关键字或广告主输入的网站的相关性、网站页面访问次数(pageviews)、网站的CPM价格等)。

在至少一些符合本发明的实施例中可对建议的网站分组，从而使广告主用户可容易地对大量的网站设定报价(如每显现出价)。例如，网站建议可按与关键字或广告主输入网站的相关性、网站页面访问次数、网站的CPM价格等来分组。给定CPM(每显现价格)或CPC(每点击价格)报价信息，至少一些符合本发明的实施例可估计整个这种网站组的广告显现(或选择、或转化)。

在至少一些符合本发明的实施例中，可对网站建议列表中被取消选择的网站加标记，用于人类评估，以帮助改进网站选择和/或评分(如相关性)算法。作为替换或作为附加，人类评估可用于确定是否应该把该网站从该广告网络中删除。

在至少一些符合本发明的实施例中，如果选择某个网站，但该网站不是活动的(如由于它不在该广告网络中，由于网站出版者尚未许可公开命名其网站作为该广告网络的一部分)，如果并且当该网站变成该广告网络的一部分时，广告主的广告可自动变为可利用该网站来提供。

在至少一些符合本发明的实施例中，网站所有者(或某些其他资产的所有者)可提供附加数据，如网站描述、受众的人口普查信息和/或其他结构化或非结构化数据。在至少一些符合本发明的实施例中，广告主用户可使用这种附加数据来搜索和/或排序结果。

§4操作例子

例1

图8-11示出使用与本发明相一致的示例性用户界面，示出了实施例的示例性使用。假定广告主“Blue Ridge Beverages”想把它的一个广告投放到特定网站。在过去，该广告主可能必须或者(a)协商在涉及酒类的各种网站上投放其广告，或者(b)让其广告运行在广告网络上，可能在很宽的类别内(如食品和饮料类)。

图8示出了与本发明相一致的显示画面800，包括网页的一部分，用于帮助广告主在广告网络的相关页面上确定提供其广告的目标位置。该用户可能已经选择了“Target ad”超文本810，来获取显示画面800。(还可提供另外的超文本，如“Set pricing”820、“Set daily budget”830以及“Review and save”840)。显示画面800的区段850用于帮助广告主标识它想用作目标投放其广告的网站。广告主可分别在框860和870中提供认为是相关的关键字和/或网站。

作为一个例子，广告主可能已经参与了广告搜索查询关键字相关的广告宣传(如来自谷歌的AdWords)并且可能在该活动中使用了特定的关键字(如Wine，Wine tasting，Wine enthusiast和California wine)。自然，这些关键字的源不必是预先存在的搜索查询关键字相关的广告活动。作为另外的例子，广告主可能知道它想在已经知晓的特定网站上(如www.winesite1.com和winesite2.com)做广告。图9示出显示画面的部分900，具有区段850′，其中框860′和870′分别包括广告主输入的关键字和网站。该广告主然后可以通过选择“Find Sites＞”按钮910来请求属于该广告网络的相关网站。

图10示出了包括网页部分的显示画面1000，该网页包括对于图9的框860′和870′中所示的给定输入关键字和网站的“Find Sites”请求结果。该结果1010包括若干数据项。该广告主可过滤这些结果网站。例如，下拉菜单1015能够使得广告主仅显示可接收文本和图像广告的网站、可接收图像广告的网站、可接收文本广告的网站、等等。这些数据项的每个可包括带有指向该网站的链接的网站地址1030。按这种方式，广告主可通过选择超文本链接来查看网站。每个数据项还可包括关于该网站的统计数据，例如每天的显现(页面浏览)数量。见框1050所示，广告主可对它想在上面展示广告的一个或多个网站构成的集合进行添加或删除。例如，广告主可检查框1025并且可使用按钮1055和1060来分别添加和删除这样的网站。可提供按钮1020使得广告主可选择(检查)所有数据项。最后，如所示，可提供按钮1070使得广告主可使用框1050中的网站作为输入(如同使用框870′中列出的网站)来查找其他网站(如被分类到与所述输入网站相同或相似的垂直类别中的网站)。

假定广告主已经在它想用来提供广告的网站集合中添加了若干网站。在显示画面1000上所显示的网页部分(未示出)可包括命令元素(如类似图8中的820、830、840)以使得该广告主可提供广告活动信息，用于把所选择网站的某一些作为目标来提供它的广告。例如，参见图11，屏幕画面部分1100可包括有关广告创意的信息，如广告1110的微小图像，以及若干数据项1120。每个数据项：可包括复选框1130，网站的文本(可能带有链接)1140，有关该网站当前是否参与该广告网络的状态信息1150，广告主输入的报价信息1160，该广告的各种统计数据1170如选择(点击)、显现次数、选择率(CTR)、每千次显现的平均费用(CPM)、总费用等。还可由广告主提供有关广告活动的数据范围信息，如工具元素1180所示出的。

尽管上述例子示出了符合本发明的实施例如何用于建议广告主想要作为目标的网站，但本发明并不限于这样的实施例。例如，如上所述，符合本发明的实施例可用于建议广告主要作为目标的垂直类别。

例2

假设宝马公司(BMW)打算在某个广告网络启动品牌建设广告活动。例如，假定它有“BMW-精制如美酒”的广告宣传活动，这些广告是打算以饮酒的人(这些人与豪华车购买者高度关联)为目标。BMW可使用与本发明相一致的网站建议工具来输入wine.com和winespectator.com(回忆图8中的870)作为它打算作为目标的网站的两个例子。该网站建议工具查看两个输入的网站并为每个查找最流行的聚类(如phil聚类)(回顾图3的322)。

使用这些聚类，该网站建议工具可使用聚类-文档关联(回顾图3的326)、和/或聚类-类别关联(回顾图3的328)和类别-文档关联来返回按相关性得分排序的最佳N(如N＝500)个网站。

使用过滤工具，BMW可把关注点放在它认为最相关的垂直类别和/或网站上。可向该广告主提供所关注的关于该网站的统计数据，如页面浏览数、最小CPM(如由web出版者指出的)和平均CPM(如由其他广告主为该网站报出的)。BMW可使用过滤和复选框选择来选取要出价特定CPM的网站，并且对该选择的网站应用该CPM。可使用相同的机制在以后对这些设置做改动。假定BMW输入3作为“用户可观看广告的最大次数”频率限制，以获得估计为200K的每日页面浏览和估计为$1,000.00的每日花费。

假定当BMW查阅该网站列表，有几个网站看起来可疑，并且在点击它们并查看网站内容之后，从该列表中取消对这些网站的选择。可对这些取消选择加标记，用于(如人工)质量评论。

假定BMW有足够大的预算来进一步扩展该列表，这样他们就点击“add more sites(添加更多站点)”按钮并输入“fine cuisine(美食)”作为关键字(回顾图8的框860)。假定返回另外100个网站，其中大多数只是松散相关的。但假定BMW依然找到他们选择的15个网站(如他们可取消选择所有其他而选择这15个)，并对这组网站设置$3的CPM出价。

最后，假定BMW让“automatically notify me of new sites similar tomy target list(自动通知我类似我的目标列表的新站点)”选择工具元素保持被检查状态。这样，假定两周之后，BMW接到通知，两个被认为相关的新网站已经添加到该广告网络，并邀请把这两个网站添加到BMW的目标网站集合中。

假定最终概要(回顾如图8中的超文本840)给出估计为300K的每日页面浏览和估计为$1,250.00的每日花费，这满足BMW的目标花费。

例3

假定谷歌(Google)打算对软件开发者做广告宣传并在AdWords设立“Google developers wanted”文本广告。假定进而谷歌在网站建议工具输入“Slashdot.com”和“freshmeat.com”(回顾图8的框870)。则向广告主呈现包括Slashdot的一系列开发者社区网站作为输出。假定网站“Freshmeat”不在该广告网络中，它被示为“inactive(非活动的)”。尽管谷歌最初只打算在Slashdot上做广告，但在对它提供了10个非常相似的“开发者社区网站”之后，它可能改变主意。这样，它可能决定在所有这些网站上出价$5.00 CPM。假定谷歌不打算接收有关新网站的通知，则因此不选择“automatically notify me of new sitessimilar to my target list(自动通知我类似我的目标列表的新站点)”复选框。进一步假定谷歌使用默认为5的“用户可观看广告的最大次数”值，因向用户提供超出该次数的广告可被认为是“垃圾广告”。

假定在后来网站“Freshmeat”加入到该广告网络。在这种情况下，对“Freshmeat.com”网站的出价可自动变成活动的。

§5结论

从上述可知，符合本发明的实施例可用于通过响应广告主提供的关键字和/或网站而提供相关媒体资产(如网站或网页)和/或相关垂直类别，由此来帮助广告主更好地确定他们广告活动的目标。可支持针对广告主输入(如关键字、人口普查信息)定制的更细粒度的垂直。例如，广告主可选择/Computers&Technology(计算机与技术)，然后通过按关键字“Mac”搜索来窄化该范围。