絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
skf - simple kanji filter プロジェクト日本語トップページ - OSDN
nkf 1.4 互換の、国際化された漢字フィルタです。CJK 他、KOI-8,KEIS などの非 iso-2022 コードセットに対応しています。また、recode 相当の TeX/SGML/Docbook 向けのサニタイズ機能を含んでいます。1.99/2.10 が安定版です。 インストール ＃from README 2. Install SKF Since skf depends on only basic file I/O and provides configure scripts, install should be easy except some switches related to locale features. Here are some supported... インストール方法を見る
Rubyのエンコーディングその2 - tmtms のメモ
この前「Rubyのエンコーディング」という記事を書いたのですが、それをネタに 8/25 の NSEG で発表しました。 Rubyのエンコーディング from Masahiro Tomita この中で、エンコーディングが原因で予期しないところで落ちてしまうことが結構あるという話もしたんですが、今回はプログラムが落ちないようにするにはどうすればいいかを考えてみます。 エンコーディングが原因で落ちてしまうのは大体次のパターンのようです。 文字列や正規表現のエンコーディングが異なる 文字列中に不正な文字が含まれている 文字列や正規表現のエンコーディングが異なる 正規表現をリテラルで生成していれば、エンコーディングは敢えて指定しない限りは普通はスクリプトエンコーディングになってると思うので、問題は文字列の方です。 特にファイルから読み込んだ文字列のエンコーディングが何になっているかに注意しましょう。
Rubyのエンコーディング - tmtms のメモ
Ruby 1.9 から文字列や正規表現オブジェクトはそれぞれエンコーディング(いわゆる文字コード)を保持するようになりました。 たとえば 0xB1 0xB2 という２バイトは EUC-JP エンコーディングでは「渦」、SHIFT_JIS エンコーディングでは「ｱｲ」という文字になります。つまり同じバイト列でもエンコーディングが異なれば異なる文字として解釈されます。 1.8 では文字列はただのバイト列でした。なので、それがどのような文字を表しているのか、つまりエンコーディングが何なのかはプログラムが知っている必要がありました。 1.9 では文字列オブジェクト自身が自分が何のエンコーディングかを知っています。同じ 0xB1 0xB2 というバイト列でも、それが EUC-JP の「渦」なのか SHIFT_JIS の「ｱｲ」なのかは、文字列自身が知っています。 スクリプトエンコーディング スクリプ
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Top Smart Phones Credit Card Application Parental Control Best Mortgage Rates Cheap Air Tickets Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Cookie settings|Do Not Sell or Share My Personal Information
janog の文字コード話その後 - TenForward
たぶん，ほとんどの人がもうええやろ，と思っているタイミングで，カチンと来てメールを出してしまったんですが (janog:09913)，それに対するリプライにさらにカチンと来て書いたメールがあったんですが，考えた結果出さない事にしました．(その後もっとシンプルなメールを結局出してるんですが ^^;) たぶん，09913 で言った事の繰り返し． 09913 でちゃんとそれなりの人がわかってくれているはず，という期待 (幻想かも) まあ，折角それなりに時間をかけて書いたので，もったいないので，あまり誰も読んでないであろう場にさらしておきます．:p 私が一番言いたかった事は UTF-8 だ，ISO-2022-JP だ，とかそういう個別の 事ではなく，「この場にメールを出す事の一番の目的を考えましょう．その上 で色々な選択肢があるのであれば，その目的に一番かなう手段を選びましょう」 ということです．
電子メールで日本語でやりとりするときの文字コード - TenForward
janog ML でなんでか延々続いているメールの文字コードのお話．最初は mohta さんが出てきたので，うわなつかしー，とか思って喜んで読んでましたが，もう途中からお腹いっぱいというか，もう飽きてしまったので，読まずに gmail (Google Apps) のアーカイブ行きにしていますが，まだ続いているようですね． 個人的には UTF-8 で出そうが，ISO-2022-JP で出そうが，わけわからんヤツで出そうが，出す自由はあると思ってるんで，何で出しても勝手にどうぞ，という感じですけどね．何人か納得出来るというか，まともだなあと思う意見は出てきていましたね． 以下，個人的に思う所．途中からスレッドは読んでないので外している可能性大ですけどね． メーリングリスト (以下 ML) でコミュニケーションをやりとりする目的を第一に考えれば，どうするのが一番良いのかおのずと答えは見つかるはず
viで日本語の文字コードを自動判別 - 玉虫色に染まれ!!
今日は以前の「Ubuntuのvimを快適にする」の続きとして、今日は文字コードの自動判別の設定を紹介します。 最近のディストリビューションでは、デフォルトのロケールが UTF-8 になっているので、CJKフォント(China, Japan, Korea……要はアジア系文字のフォント)さえ入っていれば、いちいちロケールを切り替えなくても、日本語でも韓国語でも表示できてしまいます。なので、コマンドの出力などでは、特に意識しなくとも、文字化けすることは殆どありません。 vimも標準で文字コードの自動判別や変換に対応していますので、どのような文字コードで書かれたファイルでもきちんと読み書きできるのですが、自動判別を上手く効かせるためには、多少設定してやる必要があります。 .vimrc の設定 私が使っている自動判別の設定は以下の通りです。~/.vimrc ファイルの末尾に追加してみてください。 :
プログラミング/小ネタ集/Unicode対応コーディング - ルーチェ's Homepage
概要 † このコンテンツは、C/C++言語でWindowsプログラミングをしていて、かつMFCやATLにある CString クラスを使っていない人くらいにしか実益はないかもしれません。 が、内容的に知っておいて損はないことなので書いておきます。 概要としては、 LPTSTR 型や TCHAR 型について知り、NT系（Unicode環境）と9x系（非Unicode環境）のどちらにも最適化できるソースコードを書こうというお話です。 TCHAR 型を見たことがなくても、 LPTSTR 型なら見たことがある人も結構いるでしょう。 初心〜中級のWindowsプログラマは、大抵は LPTSTR 型と LPSTR 型の違いを特に意識せずにコードを書いています。 しかし、この二つの型を混同するのは非常に危険なことです。 まずはこれらの型の定義を説明し、 TCHAR 型を用いることでUnicode対応プロ
.aspx)
Download Visual Studio 2005 Retired documentation from Official Microsoft Download Center
All Microsoft Global Microsoft 365 Teams Copilot Windows Surface Xbox Deals Small Business Support Software Windows Apps AI Outlook OneDrive Microsoft Teams OneNote Microsoft Edge Skype PCs & Devices Computers Shop Xbox Accessories VR & mixed reality Certified Refurbished Trade-in for cash Entertainment Xbox Game Pass Ultimate PC Game Pass Xbox games PC and Windows games Movies & TV Business Micro
絵文字が開いてしまった「パンドラの箱」第5回--絵文字と日本マンガの親密な関係
絵文字の収録をめぐって、国際規格で大論争--「Google提案」を振り返る 皆さんこんにちは、面白くてタメになる（？）文字コード漫談の時間がやってまいりました。2月からとびとびで書いてきた絵文字の報告も、いよいよ今回が最終回。どうかよろしくお付き合いください。 さて、前回はどこまでお話ししたのでしたっけ。日本の絵文字をUnicodeに収録しようとするGoogleとAppleによる提案（以下、主導者の名をとりGoogle提案と略）ですが、去年の12月にパブリックレビューが開始されると、Unicode-MLで時ならぬ非難の嵐が吹き荒れたこと。そこでの反発を一言で言い表すなら、日本の文化に強く依存する絵文字を単純に国際規格に収録しようとした点にあったこと。 なぜなら国際規格の審議は参加各国の総意で成り立っており、特定の国しか便利に使えない文字を収録することは、当然強い反対をうけるからです。さらに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Windows の CUI 環境で文字化けが起こるのはこんなとき
マスタリング バベル
Twitter / tnozaki: 文字コードだとautodetectが必須な空気がある ...