Mic King @iPullRank Ok, let's get this party started! A couple weeks ago I said I was publishing the most important thing I ever wrote. I was wrong. Documentation related to the Google Search algorithm leaked and I spent the weekend tearing it apart. ipullrank.com/google-algo-le… ✌🏾 2024-05-28 11:10:19 数週間前、私はこれまで書いた中で最も重要なものを発表すると言いました。それは間違いだった。 Google検索のアルゴリズムに関するドキュメントが漏洩したため、私は週末をかけてそれを徹底的に調
1: 購入 0: 閲覧(したが購入してない) -: 未観測 ユーザーベース型 ユーザー同士の類似度を計算 「あなたと購入履歴の似たユーザーはこんな商品を買っています」 行を各ユーザーのベクトルとみなして、似たユーザーを見つける（上位N人） 似たユーザーが購入しているアイテムを推薦する（N人の平均値などで購入しそうな順に提示） アイテムベース型 アイテム同士の類似度を計算 「この商品を買ったユーザーはこんな商品も買ってます」 列を各アイテムのベクトルとみなして、類似度の高いアイテムを推薦する（上位M件） 類似度計算には、コサイン類似度やJaccard類似度が使われる。 類似度を計算する際に、未観測「-」は適当な値（0, 0.5など）で埋めるか、無視をする。 ログデータを使うため、情報の少ない新規アイテム/新規ユーザーに弱いコールドスタート問題がある。 コンテンツベースフィルタリング アイテム
インタビュー記事はこちら https://www.piratewires.com/p/interview-with-jack-dorsey-mike-solana GIGAZINEはBlueskyのかなり初期から分散SNSを追っていて他のメディアより比較的コンテキストがわかっていると思いますが、今回は是非元になったインタビュー記事を読んでほしいです。SNSと言論の自由、検閲について興味があるなら特に 私とBlueskyそれでお前は誰やねんって話なので、ちょっと自己紹介します 多分bsky.appの日本人だと一番古いか、三番目くらいに古いユーザーで、多分世界初のBlueskyのサードパーティサーバー（PDS）のboobee.blueを運営しています。 その時の記事はこれ https://note.com/kingyosun/n/n45d3b1ff89bf 上の記事のときは「プロトコルはマジで
山下 裕毅 先端テクノロジーの研究を論文ベースで記事にするWebメディア「Seamless/シームレス」を運営。最新の研究情報をX（@shiropen2）にて更新中。 オランダのライデン大学と研究機関AMOLFに所属する研究者らが発表した論文「Controlled pathways and sequential information processing in serially coupled mechanical hysterons」は、ゴムを使った構造物を用いて、エレベーター、自動販売機、改札口、洗濯機などのデバイスに用いられる単純な電子計算タスクを実行できることを示した研究報告である。 従来の電子機器では、複雑な回路を構成する多数の要素を用いてデジタルビットによる計算が行われている。一方、研究チームは、細長いゴム素材を機械的なビットとして使用した構造体を組み立てることで、電子回路を
プログラマ視点での生成AIとの付き合い方
プログラミングについて、最近考えてることについてのポエム。 基本的に、 GPT-4 と Claude-3-Opus を使った経験を念頭に置いて話をする。機械学習エンジニアではないので、あくまで利用者に徹した視点での話。仕事で生成AIを使ったパイプラインを作ったりはしている。 生成AIの進化速度を予測しておく 今大事なことは、今AIがどの程度の性能かという定点の話ではなく、その進化の速度を認識すること。 コード生成というタスクにおいて、生成AIモデルを人間に当てはめると、こんな感じの人物像を自分は持っている。 GPT-4: プログラミング経験2年目の大学2年生 Claude-3-Opus: プログラミング経験3年目の大学3年生 ここでいうn年目は、業務経験ではなく、プログラミングの単位がある大学での、教育課程としての経験年数。今のひたすら学習量を増やす方式だと、単に1年に1年分ぐらい賢くなっ
Secrets from the Algorithm: Google Search’s Internal Engineering Documentation Has Leaked
Google, if you’re reading this, it’s too late. Ok. Cracks knuckles. Let’s get right to it. Internal documentation for Google Search’s Content Warehouse API has leaked. Google’s internal microservices appear to mirror what Google Cloud Platform offers and the internal version of documentation for the deprecated Document AI Warehouse was accidentally published publicly to a code repository for the c
スーパーマリオシリーズで「クリア不可能なコース」が作成できることを数学的に証明 米MITの研究者ら【研究紹介】 レバテックラボ（レバテックLAB）
米マサチューセッツ工科大学（MIT）に所属する研究者らが発表した論文「You Can’t Solve These Super Mario Bros. Levels: Undecidable Mario Games」は、任天堂のスーパーマリオシリーズの一部のゲームにおいて、プレイヤーがクリアすることが理論上不可能なコースを数学的に証明した研究報告である。 keyboard_arrow_down 研究内容 keyboard_arrow_down 研究結果 対象となったゲームは、「New スーパーマリオブラザーズ」シリーズ（オリジナル版、Wii、U、2）と、「スーパーマリオメーカー」1および2の全ゲームスタイル（スーパーマリオブラザーズ1、3、ワールド、New スーパーマリオブラザーズU、3Dワールド）である。 研究チームは、これらのゲームにおいて、ステージがクリアできるかどうかの判定が決定不可
統計学で用いる行列演算の小技 - Qiita
はじめに 千葉大学・株式会社Nospareの川久保です．今回は，統計学（特に多変量解析）で多く出てくる行列演算の小技集を，線形回帰モデルにおける簡単な実用例を交えて紹介します． 転置に関する公式 行列の転置とは，$(i,j)$要素を$(j,i)$要素に入れ替えることです．$m$行$n$列の行列$A$の$(i,j)$要素を$a_{ij} \ (i=1,\dots,m; j=1,\dots,n)$とすると，$A$を転置した$n$行$m$列の行列$A^\top$の$(j,i)$要素が$a_{ij}$となります．また，自明ですが，転置行列の転置は元の行列になります．すなわち，$(A^\top)^\top = A$です． 行列の和の転置 行列$A$と$B$の和の転置は，転置行列の和です．つまり， が成り立ちます． 行列の積の転置 次に，行列$A$と$B$の積$AB$の転置としては，以下の公式が成り立
株式会社リコー（社長執行役員：大山 晃）と、理化学研究所 数理創造プログラム（iTHEMS：Interdisciplinary Theoretical and Mathematical Sciences Program／青山 秀明客員主管研究員、相馬 亘客員研究員）はこのたび、過去に開発したアルゴリズムを応用し、特許と論文に共通して出現するキーワードを多重解析するアルゴリズムを開発しました。 本アルゴリズムは、大学や研究機関などのアカデミアサイドの研究が一段落し、企業などのビジネスサイドで事業化フェーズに移行しつつある技術を、「実用化の兆し」があるものとして捉え、実用化の兆しを数値によって判定することが可能となります。なお、本技術は特許出願済みです。 リコーと理化学研究所は2023年6月に、既存の技術文献データから新しいトレンドの変化点を定量的に測定し把握するアルゴリズムを共同研究により開
C言語に代わってOS開発に採用されているRust。本連載では、Rustで有名アルゴリズムを実装して、Rustについての理解を深めています。今回扱うのは、生物の栄枯盛衰をシミュレーションするライフゲームです。 コンウェイのライフゲームで生物のシミュレーションをしよう コンウェイのライフゲームとは？ 「ライフゲーム(Life Game)」は、イギリスの数学者コンウェイによって考案されたもので、簡単な配列操作によって実装できる簡単な生物のシミュレーションです。次のように動きます。 コンウェイのライフゲームを動かしているところ 見た目が面白いのに加えて、プログラミング言語の性質や特徴を知るのにもってこいの題材であるため、次の姉妹連載でも何度か紹介しています。ぜひ、今回のRust版と見比べてみてください。 - Python連載9回目(https://news.mynavi.jp/techplus/a
めっちゃくちゃ久しぶりの記事です。 弊社のStampはTabisakiの運用を始めたこともあり、SEOに取り組む機会も増えてきました。そんなタイミングで、Googleの検索結果のランキングアルゴリズムが流出したとのことですので海外の記事をベースにAIで内容をまとめました。 ドメイン権威（Domain Authority） ドメイン権威（Domain Authority、DA）は、SEOの世界で広く使用される指標であり、特定のドメインが検索エンジンの結果ページ（SERP）でどれだけの影響力を持つかを測定するものです。この指標は主にMozが提供しているもので、0から100のスコアで表され、高いスコアほど検索結果でのランキングが高くなる可能性があるとされています。ドメイン権威は以下のような要因に基づいて計算されます。 リンクプロファイルの質と量: 外部サイトからのリンクの数と質。 ドメインの年齢
Googleの検索ランキングアルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書についてコメントを拒否していたGoogleですが、ついにこれが本物であることを認めました。 Google confirms the leaked Search documents are real - The Verge https://www.theverge.com/2024/5/29/24167407/google-search-algorithm-documents-leak-confirmation 世界最大級の検索エンジンであるGoogle検索を運用するGoogleの、検索アルゴリズムに関する2500ページ超の内部文書「Google API Content Warehouse」がリークされました。この内部文書により
memcached proxyで使うハッシュアルゴリズムを比較した話 - Mirrativ Tech Blog
memcached proxyのハッシュアルゴリズム比較 はじめまして！hibikiです(@add_bakkers) 現在大学3年生で、最近はネットワークに興味があり勉強中です。2023年8月からインフラチームにインターンとして参加しました。 本記事ではmemcached proxyのハッシュアルゴリズム比較の結果を紹介します。 memcached proxyのハッシュアルゴリズム比較 1. 背景と目的 ミラティブでのmemcachedの利用 課題: クライアントサイドでサーバ決定をしている memcached proxyの検討 2. memcached proxyに求められるアルゴリズム キーの分散 移動率の抑制 パフォーマンス ハッシュアルゴリズムの比較 3. 今回行うベンチマークの概要 計測対象とシナリオ 分散と移動率のベンチ 処理性能のベンチ 4. ベンチマークの結果と比較 移動率
最適化超入門
この「最適化超入門」は、『最適化したい！』と思った時に、最初に参考になりそうなものをつらつらと語りました。
スパム防止などのためのレート制限を行うアルゴリズムは多数存在しています。さまざまなアルゴリズムの特徴をアニメーションでわかりやすくまとめたブログ記事をChatGPT関連のサービスsmudge.aiが開発ブログにて公開しました。 rate limiter – smudge.ai blog https://smudge.ai/blog/ratelimit-algorithms 配信のチャット欄にスパムが出現するという状況において、レート制限がない場合にはスパマーは短時間のうちに多数の投稿を行ってチャット欄を一人で埋め尽くしてしまいます。 左上の「Enable rate limiting」にチェックを入れるとレート制限を加えた場合の挙動が確認できます。レート制限が加わったことで、スパマーの投稿のほとんどをブロックしてチャット欄に与える影響を下げることができました。このとき、状況に応じて適切なアル
驚くほどキレイな三次元シーン復元、「3D Gaussian Splatting」を徹底的に解説する - Qiita
はじめに 最近、3D業界で大きな衝撃を与えた「3D Gaussian Splatting」1について、ご存知でしょうか？数少ない写真から、目を奪われるほど美しい三次元シーンを再構成できるデモを見て私も大感動しました。なぜこんなに美しいのか、どんな技術で実現したのか、興味が湧いています！ "普通の3D物体ではなく、カメラの移動に合わせて、水面に映る景色も正確に表現しています。これはなかなか凄い..." 私も時間をかけて論文や公開されたコード2を勉強しました。本家の実装はCUDA化されており、難解な部分が多く、論文に書かれていないこともあります。そのため、「3D Gaussian Splatting」を勉強したい人にむけ、わかりやすい解説記事を書こうと思いました。単に概念や考え方だけでなく、ゼロから再実装できるように、すべてのロジックを数式として整理し、徹底的に解説しようと思います。 「3D
「アルゴリズム」という言葉の由来は？
アルゴリズムという言葉はGoogle検索やSNSでの分析や、特定のタスクを実行して処理するプログラム、人工知能の開発などで私たちの生活に不可欠です。だれもが聞いたことある「アルゴリズム(Algorithm)」というワードがどこから来たのかという由来と歴史について、メルボルン大学でデジタルヘルスの研究員を務めるデビー・パッシー氏が解説しています。 Why are algorithms called algorithms? A brief history of the Persian polymath you’ve likely never heard of https://theconversation.com/why-are-algorithms-called-algorithms-a-brief-history-of-the-persian-polymath-youve-likely-n
Suppose you have an array of floating-point numbers, and wish to sum them. You might naively think you can simply add them, e.g. in Rust: fn naive_sum(arr: &[f32]) -> f32 { let mut out = 0.0; for x in arr { out += *x; } out } This however can easily result in an arbitrarily large accumulated error. Let’s try it out: naive_sum(&vec![1.0; 1_000_000]) = 1000000.0 naive_sum(&vec![1.0; 10_000_000]) = 1
Collaboratively editing strings of text is a common desire in peer-to-peer applications. For example, a note-taking app might represent each document as a single collaboratively-edited string of text. The algorithm presented here is one way to do this. It comes from a family of algorithms called CRDTs, which I will not describe here. It's similar to the approaches taken by popular collaborative te
現地時間の2024年6月7日(金)、ニューヨーク州議会が「ソーシャルメディアプラットフォームが子どもに対して中毒性のある推奨アルゴリズムを使用すること」を禁止する法案を可決しました。 New York passes legislation that would ban 'addictive' social media algorithms for kids https://www.nbcnews.com/tech/social-media/new-york-passes-legislation-ban-addictive-social-media-algorithms-kids-rcna155470 Prodded by fed up parents, some in Congress try to curb kids’ use of social media - Nextgov/FCW
Visualizing algorithms for rate limitingMay 15, 2024Why rate limit?Imagine a Twitch chat with many active participants and just one spammer. Without rate limiting, the sole spammer can easily dominate the entire conversation. With rate limiting, each user has a fair chance to participate. A rate limiter lets you control the rate of traffic that your service processes by blocking requests that exce
試してわかるGo ModulesとMinimal Version Selection @shino_nobishii(のびしー） for Go Conference 2024 (↓スライドURL)
Queueing – An interactive study of queueing strategies – Encore Blog
We're Encore and we build tools to help developers create distributed systems and event-driven applications. In this blog, you're going on an interactive journey to help you understand common queueing strategies. It's been meticulously crafted with love and attention by Sam Rose. Queues are everywhere. We queue at bars, in restaurants, and at the bank. When you loaded this web page, the request to
概要 この記事では、選択した周囲の神社仏閣から自分だけのパワースポットを探し出すアプリ「結界発見」の制作の経緯や五芒星・六芒星探索アルゴリズムの説明などを書いている。 まだ試したことのない人はぜひリンクから遊んでみよう。 https://hothukurou.com/#6 陰謀論ウォッチャーとして有名なライター雨宮純氏のツイートをふと見つけたことから始まる。 私はもとよりオカルトや不思議な噂に興味がある方である。某ルポ漫画で「某公園に存在しないはずの大仏を見た人がおり、その人は後日出世した！」という話を読んだ際には、写真などの情報から場所を特定して怪談ハンターとして赴く程度にはこういう話が好きだ。 といいつつもさすがに神社仏閣を結んだ五芒星・六芒星話については「日本にはたくさん神社仏閣があるから、あちこちで結べる気がするなあ」と思っていた。実際、n個の点から5点選ぶ時の組み合わせ数はnの値
5月27日、シリコンバレー発で世界最大級のスタートアップ・起業家・イノベーター・クリエイターが集まるコミュニティ「Startup Grind」YouTubeチャンネルで、「アフリカ・南米を中心にグローバルで活躍するweb3起業家に聞く」（ゲストスピーカー：日置玲於奈氏）と題したアーカイブ動画が公開されました。イベントは2月20日に、Startup Grindの日本・名古屋拠点である「Startup Grind Nagoya」が開催しています。 ゲストスピーカーとして招かれた日置玲於奈（ひおき・れおな）氏は、暗号資産のイーサリアム（以降、Ethereum）を中心に暗号資産・ブロックチェーン関連技術を多く開発するエンジニアです。イベントでは自身の事業内容を中心に、暗号資産・ブロックチェーン開発において応用されている暗号技術について語りました。 本記事では日置氏の説明をベースにしながら、ビッ
GitHub - onecodex/rust-bfield: B-field implementation in Rust
The B-field is a novel, probabilistic data structure for storing key-value pairs (or, said differently, it is a probabilistic associative array or map). B-fields support insertion (insert) and lookup (get) operations, and share a number of mathematical and performance properties with the well-known Bloom filter. A B-field lookup will always return the correct value for any inserted key,1 but may r
Computer Scientists Invent an Efficient New Way to Count | Quanta Magazine
Imagine that you’re sent to a pristine rainforest to carry out a wildlife census. Every time you see an animal, you snap a photo. Your digital camera will track the total number of shots, but you’re only interested in the number of unique animals — all the ones that you haven’t counted already. What’s the best way to get that number? “The obvious solution requires remembering every animal you’ve s
グーグルの社内文書が流出、検索アルゴリズムに関する過去の説明と食い違う（CNET Japan） - Yahoo!ニュース
Googleは、米国時間5月27日に流出した2500ページ超の社内文書が本物であることを認めた。この文書は、同社のインターネット検索アルゴリズムの仕組みを詳述するもの。The Vergeが29日の夜に報じ、米CNETにこれが事実だと明言した。 この流出は、検索エンジン最適化（SEO）の専門家らが何年も前から推測していたことを裏付けるもののようだ。Googleはこれらの多くを否定してきた。例えば、CTR（クリック率）がランキングに影響すること、サブドメインが独自のランキングを持つこと、新しいウェブサイトは検索で上位に表示されるようになるまで別の「サンドボックス」に入れられること、ドメインの経年数がランキングで考慮されることなどが、このリーク文書に示されているようだ。 この文書は、SparkToroとSnackbar Studioの共同創業者でSEO専門家のRand Fishkin氏に対し、デ
むかしむかし、グラフィック画面に点を打つのに、自分でアドレスを計算して直接VRAMに値を書き込むことで点を打つ話を以下の記事に書きました。 自分で点を打つ世界 点ですら自分で打たなくてはならなかったくらいなのですから、当然のように線も自分で引かないとなりません。線というのは２つの点を結ぶものですから、２つのXY座標を指定して線を引きます。学校でならったと思いますが、直線の方程式は Y = mX + nですから、２つの点(X0,Y0)と(X1,Y1)を満たすmとnを計算して、XからY（またはYからX）を求める式を作ります。 Y = (Y1 - Y0) / (X1 - X0) ✕ (X - X0) + Y0これでXをX0からX1に変化させながらYを求めて線を描いていけばいいはずです。 【高校】直線の方程式５パターンの求め方をイチから！
自分で点を打つ世界｜kzn
今のPCはグラフィック画面の１ドットが見えないくらい精密な描画をしていますし、APIに座標を指定すればサッと点を打ってくれるのが当たり前なので、どうやって点を打つかなんて気にする必要はまったく無いのですが、８ビットな時代には、必ずしもそんな便利なサブルーチンが提供されているとは限らず、有っても汎用的には便利であっても特定の用途ではパフォーマンスに難があったりして、自力で点を打つ必要に迫られることも無くはありませんでした。 グラフィック画面はVRAMと呼ばれる特定のメモリ領域が使われていて、機種によって構造は大きく異なるのですが、良くある構造はカラープレーンごとに特定のアドレスからビット単位で横方向にデータが並べられて画面の右端まで行くと次の縦方向のデータが続くというものです。 VRAMの構造(例)ですから(0,12)に点を打ちたければ、12は12/8(整数除算)の結果である1をベースアドレ
線分の描画
本ウェブページ内の数式表示には， MathJax （外部サービス）を利用させていただいております． 学内から正しく閲覧するには，プロキシ経由での接続が必要です． 走査変換 現代のコンピュータスクリーン（LCD や CRT）を利用する場合， 三次元の図形を CG 画像として表示するためには， まず，図形の構成要素（ポリゴンなど）を二次元に投影し， 更に，その二次元図形をディジタル画像（画素の集合） へ変換する必要がある． この画像化処理が 走査変換（scan-conversion，rasterize）である．
先日、Googleの検索ランキングシステムを形成する要素の一部のドキュメントが漏洩される事件(？)が起こりました。どうやら独禁法裁判における証拠資料の際にGoogleの内部エンジニアが使用した検索ランキングシステムのドキュメントが流出してしまったようで(その内容を分析して示した記事に関しては英文を和訳化している最中ですが)、これを機に、あらためてNavboostとGlueに注目が集まっています。他にもサイトのオーソリティ性等もありますが、これはまた別途ご紹介するとして…今回はこのNavboostとGlueについてご紹介したいと思います。 Navboostとは？ 難しい話を抜きにすると、検索結果画面(SERPs)からのクリック数やクリック率が良いサイトページは検索上位になりやすい、という話です。難しい言い方をすると、Googleのコアアルゴリズムの中には、クリックをシグナル化したモジュールが
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleの検索アルゴリズムの内部資料が漏洩か？「SEO業界で長年疑われていたものが明らかに」
レコメンドアルゴリズム入門：基礎から応用まで実装に必要な知識を解説 - Qiita
ジャック・ドーシーがBlueskyを辞めた理由をもうちょい詳しくエスパーする｜KingYoSun
電力不要「“ゴム”コンピュータ」 伸縮により「0」と「1」をカウント【研究紹介】 レバテックラボ（レバテックLAB）
リコーと理化学研究所、技術の実用化の兆しを察知する独自のアルゴリズムを開発 | リコーグループ 企業・IR | リコー
Rustで有名アルゴリズムに挑戦(18) Rustでライフゲームを作ってみよう
Googleのランキングアルゴリズム流出から考えるSEO - Qiita
Google検索のアルゴリズムに関する2500ページ超の内部文書が本物であることをGoogleが認める
さまざまなレート制限アルゴリズムをアニメーションでわかりやすく視覚化するとこんな感じ
Kenn Ejima on X: "Googleのサーチアルゴリズムが漏洩。 さすがにこの規模のリークは歴史上、初めてのことだと記憶しています。 そして、Google自身は否定していたもののSEO業界では長年疑われていたアルゴリズムの数々が実在していたことも明らかになりました。 2,596個のモジュール、計14,014個のランキング特徴量。"
Taming Floating-Point Sums | orlp.net
CRDT: Text Buffer - Made by Evan
18歳未満に対して「中毒性」のある推奨アルゴリズムをソーシャルメディアが使用することを禁止する法案をニューヨーク州が可決
rate limiter – smudge.ai blog
試してわかるGo ModulesとMinimal Version Selection
パワースポットを見つける地図アプリ「結界発見」の製作経緯とアルゴリズム解説
前編：Ethereumレイヤー2とゼロ知識証明を学ぶための手引 | gihyo.jp
線を引く - 単純そうに見える奥の深い世界｜kzn
Navboost？ Glue？ | SEO | 清野剛のふわふわビジネスブログ